AWS PrivateLink for Amazon S3 DistCp を使用してオンプレミスの Hadoop 環境から Amazon S3 にデータを移行する

for Amazon S3 AWS PrivateLink のエンドポイントを作成します。

エンドポイントを確認し、DNSエントリを見つけます。

ファイアウォールルールとルーティング設定を確認してください。

ファイアウォールルールが開かれていて、ネットワーク設定が正しく設定されていることを確認するには、Telnet を使用してポート 443 のエンドポイントをテストします。例:

$ telnet vpce-<your-VPC-endpoint-ID>.s3.us-east-2.vpce.amazonaws.com 443

Trying 10.104.88.6...

Connected to vpce-<your-VPC-endpoint-ID>.s3.us-east-2.vpce.amazonaws.com.

...

$ telnet vpce-<your-VPC-endpoint-ID>.s3.us-east-2.vpce.amazonaws.com 443

Trying 10.104.71.141...

Connected to vpce-<your-VPC-endpoint-ID>.s3.us-east-2.vpce.amazonaws.com.

注: リージョンエントリを使用する場合、テストに成功すると、Amazon VPCコンソールの選択したエンドポイントのサブネットタブに表示される 2 つの IP アドレスDNSが で交互に が表示されていることがわかります。

名前解決の設定を変更します。

Hadoop が Amazon S3 インターフェイスエンドポイントにアクセスできるように名前解決を設定する必要があります。エンドポイント名自体を使用することはできません。代わりに、<your-bucket-name>.s3.<your-aws-region>.amazonaws.com または *.s3.<your-aws-region>.amazonaws.com を解決する必要があります。この命名制限の詳細については、「Introducing the Hadoop S3A client」(Hadoop ウェブサイト) を参照してください。

次の設定オプションのいずれかを選択します。

Amazon S3 の認証の設定。

Hadoop を使用して Amazon S3 への認証を行うには、一時的なロール認証情報を Hadoop 環境にエクスポートすることをお勧めします。詳細については、「Authenticating with S3」(Hadoop ウェブサイト) を参照してください。長時間実行されるジョブの場合は、ユーザーを作成し、S3 バケットにのみデータを保存する権限を持つポリシーを割り当てることができます。アクセスキーとシークレットキーは Hadoop に保存でき、 DistCp ジョブ自体と Hadoop 管理者のみがアクセスできます。シークレットの保存について詳しくは、「Storing secrets with Hadoop Credential Providers」(Hadoop ウェブサイト) を参照してください。その他の認証方法の詳細については、AWSIAM「Identity Center (AWSシングルサインオンの後継) のドキュメント」のAWS「アカウントCLIへのアクセスに使用するIAMロールの認証情報を取得する方法」を参照してください。

一時的な認証情報を使用するには、一時的な認証情報を認証情報ファイルに追加するか、以下のコマンドを実行して認証情報を環境にエクスポートします。

export AWS_SESSION_TOKEN=SECRET-SESSION-TOKEN
export AWS_ACCESS_KEY_ID=SESSION-ACCESS-KEY
export AWS_SECRET_ACCESS_KEY=SESSION-SECRET-KEY

従来のアクセスキーとシークレットキーの組み合わせを使用している場合は、以下のコマンドを実行します。

export AWS_ACCESS_KEY_ID=my.aws.key
export AWS_SECRET_ACCESS_KEY=my.secret.key

注: アクセスキーとシークレットキーの組み合わせを使用する場合は、 DistCp コマンドの認証情報プロバイダーを から "org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider" に変更します"org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider"。

を使用してデータを転送します DistCp。

DistCp を使用してデータを転送するには、次のコマンドを実行します。

hadoop distcp -Dfs.s3a.aws.credentials.provider=\
"org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider" \
-Dfs.s3a.access.key="${AWS_ACCESS_KEY_ID}" \
-Dfs.s3a.secret.key="${AWS_SECRET_ACCESS_KEY}" \
-Dfs.s3a.session.token="${AWS_SESSION_TOKEN}" \
-Dfs.s3a.path.style.access=true \
-Dfs.s3a.connection.ssl.enabled=true \
-Dfs.s3a.endpoint=s3.<your-aws-region>.amazonaws.com \
hdfs:///user/root/ s3a://<your-bucket-name>

注: Amazon AWS PrivateLink Amazon S3 で DistCp コマンドを使用すると、エンドポイントのAWSリージョンが自動的に検出されることはありません。Hadoop 3.3.2 以降のバージョンでは、オプションを有効にして S3 バケットのAWSリージョンを明示的に設定することで、この問題を解決します。詳細については、S3A でオプション fs.s3a.endpoint.region を追加してAWSリージョンを設定する」を参照してください (Hadoop ウェブサイト）。

その他の S3A プロバイダーの詳細については、「General S3A Client configuration」(Hadoop ウェブサイト) を参照してください。例えば、暗号化を使用する場合、暗号化の種類に応じて、上記の一連のコマンドに次のオプションを追加できます。

-Dfs.s3a.server-side-encryption-algorithm=AES-256 [or SSE-C or SSE-KMS]

注: S3A でインターフェイスエンドポイントを使用するには、インターフェイスエンドポイントへの S3 DNS リージョン名 ( などs3.<your-aws-region>.amazonaws.com) のエイリアスエントリを作成する必要があります。手順については、「Amazon S3 の認証の設定」セクションを参照してください。この回避策は Hadoop 3.3.2 以前のバージョンで必要です。S3A の今後のバージョンでは、この回避策は必要なくなります。

Amazon S3 の署名に問題がある場合は、Signature Version 4 (SigV4) 署名を使用するオプションを追加します。

-Dmapreduce.map.java.opts="-Dcom.amazonaws.services.s3.enableV4=true"