一般的な統合タスク - AWS Glue

一般的な統合タスク

統合の作成

このセクションでは、統合を作成するための一般的なステップについて説明します。この例では、Amazon DynamoDB をソースとして使用します。

  1. AWS Glue コンソールのホームページで、[ゼロ ETL 統合] を選択します。

  2. [ゼロ ETL 統合] ホームページですべての統合を表示できます。新しい統合を作成するには、[ゼロ ETL 統合の作成] を選択します。

    このスクリーンショットは、メインの [ゼロ ETL 統合] ページを示しています。
  3. [ソースタイプ] を選択するように求められます。ソースを選択し、[次へ] をクリックします。SaaS 統合ソースのソース設定セクションを参照してください。

  4. [ソースとターゲットの設定] ページで、レプリケートするテーブルまたはエンティティを選択します。Amazon DynamoDB の場合は、PITR および RBAC ポリシーが設定されていることを確認します。

  5. 統合ターゲットを指定します。

    • AWS Glue データカタログターゲットの場合は、データをレプリケートする AWS Glue データベースを選択します。

    • Amazon Redshift データウェアハウスターゲットの場合は、Redshift クラスター名前空間または Redshift Serverless ワークグループ名前空間を選択します。

    詳細については、「ターゲットとの統合の設定」を参照してください。

  6. 前提条件で作成したターゲット IAM ロールを指定します。

  7. ターゲットに保存されているデータに対して、任意のターゲット KMS キーを設定する場合は、有効な KMS キーを指定します。同様に、ターゲットネットワーク接続を設定する場合は、AWS Glue 接続を選択します。

  8. [ターゲットの固定] ボタンは、このドキュメントの「前提条件」セクションのステップの一部を設定します。つまり、1) カタログ RBAC ポリシーを提供し、2) Amazon S3 URI が指定されていない場合は生成され、それ以外の場合は指定された URI が使用されます。

  9. Redshift データウェアハウスターゲットとの統合の場合:

  10. [ソースとターゲットの設定] ページの [出力設定] セクションで、ターゲット内のデータに使用するスキーマのネスト解除オプションを選択します。データにカスタマーパーティションキーを使用する場合は、[カスタマーパーティションキーの指定] を選択し、最大 10 個のキーを指定します。それ以外の場合は、レプリケートされる DynamoDB テーブルに割り当てられたパーティションキーを使用できます。

  11. [セキュリティとデータの暗号化] セクションでは、データをターゲットにレプリケートする中間プロセスで使用される KMS キーを指定できます。それ以外の場合は、AWS マネージド KMS キーが使用されます。現在、15 分のレプリケーション設定のみをサポートしています。[統合の詳細] にゼロ ETL 統合の名前を入力します。

  12. 提供されたすべての詳細が正しいことを確認します。すべてが確認されたら、[統合の作成と起動] をクリックします。

  13. ゼロ ETL ホームページで、作成した統合を選択すると、統合の詳細が表示されます。「ステータス」は、統合の状態を示します。

統合の変更

既存の統合を変更できます。

  1. 統合の詳細ページの右上隅にある [編集] を選択します。

  2. [ソースとターゲットの編集] ページで、ターゲット IAM ロールとターゲットネットワーク接続を変更できます。他のフィールドは、統合の作成後に編集できません。[次へ] をクリックします。

  3. 統合の名前と説明は、[統合と設定の編集] ページで編集することもできます。[次へ] をクリックします。

  4. 編集内容を確認し、確認したら [統合の更新] をクリックします。

統合の削除

削除は統合の使用を終了する状態です。一度削除すると、統合を元に戻すことはできません。統合を削除すると、すべての内部メタデータと保存された中間データが消去されます。

このプロセス中に、ターゲットテーブルにデータを書き込んでいる実行中のタスクはすべて終了します。AWS Glue は、ターゲット AWS Glue データベース (データカタログ内) およびアカウントの Amazon S3 バケット内の関連データを削除またはクリーンアップしません。必要に応じて、明示的にクリーンアップする必要があります。

統合を削除するには:

  1. 統合の詳細ページで、[削除] をクリックします。

  2. 「削除」と入力し、[削除] をクリックします。注: これは元に戻せないアクションです。

  3. 統合の詳細ページで、ステータスに「削除中」と表示されます。統合が実際に削除されると、ゼロ ETL 統合ホームページに表示されなくなります。