テーブルのマージ
データ書込In-DB ツールは、Databricks Unity Catalogに接続されたワークフローのテーブルマージ機能をサポートしています。このオプションは、入力レコード( ソース )に基づいた一連の更新または削除をターゲットのDeltaテーブル( ターゲット )にマージします。
Databricksのドキュメント で説明されているように、MERGE INTOステートメントが使用されます。
データ書込In-DBツールでテーブルのマージを設定するには:
[In-DB接続の管理] ダイアログを使用して、Databricks Unity Catalog接続を作成します。
ソースデータを作成するには、次のオプションのいずれかを選択します。
接続In-DBツール をDatabricks Unity Catalog接続に接続し、テーブルマージのソースデータとして使用されるテーブルにマップします。
データストリーム入力ツール を使用して、外部データセットのデータをDatabricksに取り込み、ソースデータとして使用します。
データ書込In-DBツール をワークフローに接続し、出力モードとして [ テーブルのマージ ] を選択します。
ターゲットテーブル名 を入力します。これは変更するテーブルです。このテーブルはDeltaテーブルである必要があります。
[ 適用 ] を選択して、ターゲットテーブル名を保存し、マージフィールドを更新します。
ドロップダウンから [ マージフィールド ] を選択します。マージフィールドのセットを少なくとも1つ選択する必要があります。
一致アクション を選択します。
削除 : ターゲットテーブル内の一致するテーブル行をすべて削除します。
更新 : 一致するターゲットテーブル行をソースデータで更新します。
名前による自動設定 : ソースデータのフィールドをターゲットテーブルに自動的にマッピングします。ソースデータの余分なフィールドは無視されます。フィールドが見つからないと、ワークフローは失敗します。
カスタム : ソースデータのフィールドをターゲットテーブルに手動で一致させます。すべてのフィールドをマッピングする必要があります。ターゲットフィールドを [
なし] にすることはできません。フィールドが見つからないと、ワークフローは失敗します。