[ルックアップ] 変換を使用してカタログテーブルから一致するデータを追加する

PDF

RSS

フォーカスモード

[ルックアップ] 変換を使用してカタログテーブルから一致するデータを追加する - AWS Glue

[ルックアップ] 変換では、キーがデータ内の定義済みのルックアップ列と一致する場合、定義済みのカタログテーブルから列を追加できます。これは、データとルックアップテーブル間を左外部結合し、条件に一致する列として使用するのと同じです。

[ルックアップ] 変換を追加するには

リソースパネルを開いて、[Lookup] を選択し、ジョブ図に新しい変換を追加します。ノードを追加する際に選択したノードが、その親になります。
(オプション) [Node properties] (ノードのプロパティ) タブで、ジョブ図にノードの名前を入力できます。ノードの親がまだ選択されていない場合は、[Node parents] (ノードの親) リストから、変換の入力ソースとして使用するノードを選択します。
[変換] タブで、ルックアップの実行に使用するカタログテーブルの完全修飾名を入力します。例えば、データベースが「mydb」で、テーブルが「mytable」の場合は、「mydb.mytable」と入力します。次に、ルックアップキーが作成されている場合は、ルックアップテーブルで一致するものを見つけるための基準を入力します。キー列のリストは、カンマで区切って入力します。1 つ以上のキー列に同じ名前がない場合は、マッチマッピングを定義する必要があります。

例えば、データ列が「user_id」と「region」で、ユーザーテーブルで対応する列の名前が「id」と「region」の場合、[一致する列] フィールドに「user_id=id, region」と入力します。region=region と入力することもできますが、これらは同じなので必要ありません。
最後に、ルックアップテーブルで一致した行から取得する列を入力して、それらをデータに組み込みます。一致するものが見つからなかった場合、それらの列は NULL に設定されます。

注記
[ルックアップ] 変換では、効率を上げるため左結合を使用しています。ルックアップテーブルに複合キーがある場合は、一致する列がすべてのキーの列と一致するように設定されていることを確認し、一致が 1 つだけになるようにしてください。そうしないと、複数のルックアップ行が一致し、一致するごとに余分な行が追加されます。