セキュリティ、監査、または制御の目的で、Amazon S3 データストアまたは Amazon S3 でバックアップされたデータカタログテーブルにはAmazon Virtual Private Cloud 環境 (Amazon ) を介してのみアクセスするようにすることができますVPC。このトピックでは、接続Networkタイプを使用してVPCエンドポイント内の Amazon S3 データストアまたは Amazon S3 でバックアップされたデータカタログテーブルへの接続を作成してテストする方法について説明します。
データストアでクローラーを実行するには、次のタスクを実行します。
前提条件
Amazon Virtual Private Cloud 環境 (Amazon ) を介してアクセスする Amazon S3 データストアまたは Amazon S3 でバックアップされたデータカタログテーブルをセットアップするためのこれらの前提条件を満たしていることを確認しますVPC。
-
設定済みの VPC。例: vpc-01685961063b0d84b。詳細については、「Amazon ユーザーガイド」の「Amazon の使用開始VPC」を参照してください。 VPC
-
にアタッチされた Amazon S3 エンドポイントVPC。例: vpc-01685961063b0d84b。詳細については、Amazon S3のエンドポイント」を参照してください。 VPC
-
VPC エンドポイントを指すルートエントリ。例えば、VPCエンドポイントで使用されるルートテーブルの vpce-0ec5da4d265227786 (vpce-0ec5da4d265227786) です。
-
にACLアタッチされたネットワークは、トラフィックVPCを許可します。
-
にアタッチされたセキュリティグループは、トラフィックVPCを許可します。
Amazon S3 への接続を作成する
通常、Amazon Virtual Private Cloud (Amazon VPC) 内にリソースを作成して、パブリックインターネット経由でアクセスできないようにします。デフォルトでは、 AWS Glue は 内のリソースにアクセスできませんVPC。 AWS Glue が 内のリソースにアクセスできるようにするにはVPC、VPCサブネットIDsとセキュリティグループ を含む追加の VPC固有の設定情報を提供する必要がありますIDs。Network 接続を作成するには、次の情報を指定することが必要です。
-
VPC ID
-
内のサブネット VPC
-
セキュリティグループ
Network 接続をセットアップするには
-
AWS Glue コンソールのナビゲーションペインで、[Add connection] (接続の追加) をクリックします。
-
接続名を入力し、接続タイプとして、[Network] (ネットワーク) を選択します。[Next (次へ)] を選択します。
-
VPC、サブネット、セキュリティグループ情報を設定します。
-
VPC: データストアを含むVPC名前を選択します。
-
サブネット: 内のサブネットを選択しますVPC。
-
セキュリティグループ: 内のデータストアへのアクセスを許可する 1 つ以上のセキュリティグループを選択しますVPC。
-
-
[Next (次へ)] を選択します。
-
接続情報を確認し、[Finish] (完了) をクリックします。
Amazon S3 への接続をテストする
Network 接続を作成したら、VPCエンドポイント内の Amazon S3 データストアへの接続をテストできます。
接続のテスト時に、次のエラーが発生することがあります。
-
INTERNET CONNECTION ERROR: インターネット接続の問題を示します。
-
INVALID BUCKET ERROR: Amazon S3 バケットに問題があることを示します。
-
S3 CONNECTION ERROR: Amazon S3 への接続に失敗したことを示します。
-
INVALID CONNECTION TYPE: 接続タイプに期待値がないことを示します。
NETWORK -
INVALID CONNECTION TEST TYPE: ネットワーク接続テストのタイプに問題があることを示します。
-
INVALID TARGET: Amazon S3 バケットが正しく指定されていないことを示します。
Network 接続をテストするには
-
AWS Glue コンソールで [Network] (ネットワーク) 接続を選択します。
-
[Test connection] を選択します。
-
前のステップで作成したIAMロールを選択し、Amazon S3 バケットを指定します。
-
テストを開始するには、[Test connection] (接続のテスト) をクリックします。結果を表示するには少し時間がかかることがあります。
エラーが発生した場合は、次のチェックを行います。
-
選択したロールに正しい権限が与えられている。
-
正しい Amazon S3 バケットが指定されている。
-
セキュリティグループとネットワークは、必要な送受信トラフィックACLを許可します。
-
VPC 指定した は Amazon S3 VPCエンドポイントに接続されています。
接続のテストに成功したら、クローラーを作成できます。
Amazon S3 データストアのクローラーを作成する
これで、作成した Network 接続を指定したクローラーを作成できます。クローラーの作成についての詳細については、「クローラーの設定」を参照してください。
-
まず、 AWS Glue コンソールのナビゲーションペインでクローラーを選択します。
-
[Add crawler (クローラーの追加) ] を選択します。
-
クローラーの名前を指定して、[Next] (次へ) をクリックします。
-
データソースを要求されたら、[S3] (S3) を選択し、Amazon S3 バケットプレフィックスと前に作成した接続を指定します。
-
必要に応じて、同じネットワーク接続に別のデータストアを追加します。
-
IAM ロールを選択します。IAM ロールは、 AWS Glue サービスと Amazon S3 バケットへのアクセスを許可する必要があります。詳細については、「クローラーの設定」を参照してください。
-
クローラーのスケジュールを定義します。
-
データカタログの既存のデータベースを選択するか、新しいデータベースエントリを作成します。
-
残りのセットアップを完了します。
Amazon S3 backed データカタログテーブルのクローラーを作成する
これで、作成した Network 接続とカタログソースタイプを指定するクローラーを作成できます。クローラーの作成についての詳細については、「クローラーの設定」を参照してください。
-
まず、 AWS Glue コンソールのナビゲーションペインでクローラーを選択します。
-
[Add crawler (クローラーの追加) ] を選択します。
-
クローラーの名前を指定して、[Next] (次へ) をクリックします。
-
クローラーソースタイプを要求されたら、[既存のカタログテーブル] を選択し、使用可能なテーブルのリストからクロールする既存のカタログテーブルを指定します。
-
IAM ロールを選択します。IAM ロールは、 AWS Glue サービスと Amazon S3 バケットへのアクセスを許可する必要があります。詳細については、「クローラーの設定」を参照してください。
-
クローラーのスケジュールを定義します。
-
データカタログの既存のデータベースを選択するか、新しいデータベースエントリを作成します。
-
残りのセットアップを完了し、ステップを確認します。
クローラーの実行
クローラーを実行します。
トラブルシューティング
VPC ゲートウェイを使用した Amazon S3 バケットに関連するトラブルシューティングについては、「ゲートウェイVPCエンドポイントを使用して S3 バケットに接続できないのはなぜですか？」を参照してください。
