for Amazon S3AWS PrivateLink 용 를 사용하여 온프레미스 Hadoop 환경에서 Amazon S3 DistCp 로 데이터 마이그레이션

Amazon S3용 AWS PrivateLink 에 대한 엔드포인트를 생성합니다.

엔드포인트를 확인하고 DNS 항목을 찾습니다.

방화벽 규칙 및 라우팅 구성을 확인합니다.

방화벽 규칙이 열려 있고 네트워킹 구성이 올바르게 설정되었는지 확인하려면 텔넷을 사용하여 포트 443에서 엔드포인트를 테스트하십시오. 예:

$ telnet vpce-<your-VPC-endpoint-ID>.s3.us-east-2.vpce.amazonaws.com 443

Trying 10.104.88.6...

Connected to vpce-<your-VPC-endpoint-ID>.s3.us-east-2.vpce.amazonaws.com.

...

$ telnet vpce-<your-VPC-endpoint-ID>.s3.us-east-2.vpce.amazonaws.com 443

Trying 10.104.71.141...

Connected to vpce-<your-VPC-endpoint-ID>.s3.us-east-2.vpce.amazonaws.com.

참고 : 리전 항목을 사용하는 경우 테스트에 성공하면 DNS가 Amazon VPC 콘솔에서 선택한 엔드포인트의 서브넷 탭에서 볼 수 있는 두 IP 주소 간에 번갈아가며 표시되는 것으로 나타납니다.

이름 풀이를 구성합니다.

Hadoop이 Amazon S3 인터페이스 엔드포인트에 액세스할 수 있도록 이름 풀이를 구성해야 합니다. 엔드포인트 이름 자체는 사용할 수 없습니다. 대신, <your-bucket-name>.s3.<your-aws-region>.amazonaws.com 또는 *.s3.<your-aws-region>.amazonaws.com을 해결해야 합니다. 이 이름 지정 제한 사항에 대한 자세한 내용은 Hadoop S3A 클라이언트 소개(Hadoop 웹사이트)를 참고하십시오.

다음 구성 옵션 중 하나를 선택합니다.

Amazon S3에 대한 인증을 구성합니다.

Hadoop을 통해 Amazon S3에 인증하려면 임시 역할 보안 인증 정보를 Hadoop 환경으로 내보내는 것을 권장합니다. 자세한 내용은 S3를 사용한 인증(Hadoop 웹사이트)을 참고하십시오. 장기 실행 작업의 경우, 사용자를 생성하고 S3 버킷에만 데이터를 넣을 권한이 있는 정책을 할당할 수 있습니다. 액세스 키와 보안 키는 Hadoop에 저장할 수 있으며 작업 DistCp 자체와 Hadoop 관리자만 액세스할 수 있습니다. 암호 저장에 대한 자세한 내용은 Hadoop 보안 인증 정보 공급자를 통한 암호 저장(Hadoop 웹사이트)을 참고하십시오. 다른 인증 방법에 대한 자세한 내용은 AWS IAM Identity Center 설명서(AWSSingle Sign-On 후속 버전)의 AWS 계정에 대한 CLI 액세스와 함께 사용할 IAM 역할의 자격 증명을 가져오는 방법을 참조하세요.

임시 보안 인증 정보를 사용하려면 보안 인증 정보 파일에 임시 보안 인증 정보를 추가하거나 다음 명령을 실행하여 보안 인증 정보를 사용자 환경으로 내보내십시오.

export AWS_SESSION_TOKEN=SECRET-SESSION-TOKEN
export AWS_ACCESS_KEY_ID=SESSION-ACCESS-KEY
export AWS_SECRET_ACCESS_KEY=SESSION-SECRET-KEY

기존 액세스 키와 비밀 키 조합을 사용하는 경우 다음 명령을 실행하십시오.

export AWS_ACCESS_KEY_ID=my.aws.key
export AWS_SECRET_ACCESS_KEY=my.secret.key

참고: 액세스 키와 보안 키 조합을 사용하는 경우 DistCp 명령에서 자격 증명 공급자를 에서 "org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider"로 변경합니다"org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider".

를 사용하여 데이터를 전송합니다 DistCp.

DistCp 를 사용하여 데이터를 전송하려면 다음 명령을 실행합니다.

hadoop distcp -Dfs.s3a.aws.credentials.provider=\
"org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider" \
-Dfs.s3a.access.key="${AWS_ACCESS_KEY_ID}" \
-Dfs.s3a.secret.key="${AWS_SECRET_ACCESS_KEY}" \
-Dfs.s3a.session.token="${AWS_SESSION_TOKEN}" \
-Dfs.s3a.path.style.access=true \
-Dfs.s3a.connection.ssl.enabled=true \
-Dfs.s3a.endpoint=s3.<your-aws-region>.amazonaws.com \
hdfs:///user/root/ s3a://<your-bucket-name>

참고 : Amazon S3에 AWS PrivateLink 대해 와 함께 DistCp 명령을 사용하면 엔드포인트의 AWS 리전이 자동으로 검색되지 않습니다. Hadoop 3.3.2 이상 버전은 S3 버킷의 AWS 리전을 명시적으로 설정하는 옵션을 활성화하여 이 문제를 해결합니다. 자세한 내용은 S3A를 참조하여 fs.s3a.endpoint.region 옵션을 추가하여 AWS 리전을 설정합니다(Hadoop 웹 사이트).

추가 S3A 공급자에 대한 자세한 내용은 일반 S3A 클라이언트 구성(Hadoop 웹사이트)을 참고하십시오. 예를 들어, 암호화를 사용하는 경우 암호화 유형에 따라 위의 명령 시리즈에 다음 옵션을 추가할 수 있습니다.

-Dfs.s3a.server-side-encryption-algorithm=AES-256 [or SSE-C or SSE-KMS]

참고: S3A 에서 인터페이스 엔드포인트를 사용하려면 인터페이스 엔드포인트에 대한 S3 리전 이름(예: s3.<your-aws-region>.amazonaws.com)에 대한 DNS별칭 항목을 생성해야 합니다. 지침은 Amazon S3에 대한 인증 구성 섹션을 참고하십시오. 이 해결 방법은 Hadoop 3.3.2 이하 버전에 필요합니다. S3A의 이후 버전에서는 이 해결 방법이 필요하지 않습니다.

Amazon S3에 서명 문제가 있는 경우, Signature Version 4(SigV4) 서명을 사용하는 옵션을 추가합니다.

-Dmapreduce.map.java.opts="-Dcom.amazonaws.services.s3.enableV4=true"