Google Cloud Storage를 사용하여 AWS DataSync 전송 구성 - AWS DataSync
개요비용사전 조건Google Cloud Storage 버킷에 HMAC 키 생성2단계: 사용자 네트워크 구성3단계: DataSync 에이전트 생성4단계: Google Cloud Storag 버킷에 DataSync 소스 위치 생성5단계: S3 버킷용 DataSync 대상 위치 생성6단계: DataSync 작업 생성 및 시작

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Google Cloud Storage를 사용하여 AWS DataSync 전송 구성

다음 자습서에서는 AWS DataSync 를 사용하여 Google Cloud Storage 버킷에서 Amazon S3 버킷으로 객체를 마이그레이션하는 방법을 보여줍니다.

개요

DataSync는 Google Cloud Storage XML API와 통합되므로 코드를 작성하지 않고도 객체를 Amazon S3로 복사할 수 있습니다. 이 작동 방식은 전송을 용이하게 하는 DataSync 에이전트를 어디에 배포하느냐에 따라 달라집니다.

Agent in Google Cloud

  1. Google Cloud 환경에 DataSync 에이전트를 배포합니다.

  2. 에이전트는 해시 기반 메시지 인증 코드(HMAC) 키를 사용하여 Google Cloud Storage 버킷을 읽습니다.

  3. Google Cloud Storage 버킷의 객체는 퍼블릭 엔드포인트를 사용하여 TLS 1.3 AWS 클라우드 을 통해 로 안전하게 전송됩니다.

  4. DataSync 서비스는 S3 버킷에 데이터를 씁니다.

다음 다이어그램에서 전송을 보여 줍니다.

DataSync 전송의 예제는 객체 데이터가 Google Cloud Storage 버킷에서 S3 버킷으로 전송되는 방법을 보여줍니다. 먼저 DataSync 에이전트가 Google 클라우드 환경에 배포됩니다. 그런 다음 DataSync 에이전트는 Google Cloud Storage 버킷을 읽습니다. 데이터는 퍼블릭 엔드포인트를 통해 로 안전하게 이동하며 AWS, 여기서 DataSync는 DataSync를 사용하는 동일한 AWS 리전 의 S3 버킷에 객체를 씁니다.
Agent in your VPC

  1. DataSync 에이전트를 사용자 AWS 환경의 Virtual Private Cloud(VPC)에 배포합니다.

  2. 에이전트는 해시 기반 메시지 인증 코드(HMAC) 키를 사용하여 Google Cloud Storage 버킷을 읽습니다.

  3. Google Cloud Storage 버킷의 객체는 프라이빗 VPC 엔드포인트를 사용하여 TLS 1.3 AWS 클라우드 을 통해 로 안전하게 전송됩니다.

  4. DataSync 서비스는 S3 버킷에 데이터를 씁니다.

다음 다이어그램에서 전송을 보여 줍니다.

DataSync 전송의 예제는 객체 데이터가 Google Cloud Storage 버킷에서 S3 버킷으로 전송되는 방법을 보여줍니다. 먼저 DataSync 에이전트가 VPC에 배포됩니다. AWS그런 다음 DataSync 에이전트는 Google Cloud Storage 버킷을 읽습니다. 데이터는 VPC 엔드포인트를 통해 로 안전하게 이동하며 AWS, 여기서 DataSync는 VPC AWS 리전 와 동일한의 S3 버킷에 객체를 씁니다.

비용

이 마이그레이션과 관련된 수수료에는 다음이 포함됩니다.

  • Google 컴퓨팅 엔진 가상 머신 인스턴스 실행(Google 클라우드에 사용자 DataSync 에이전트를 배포하는 경우)

  • Amazon EC2 인스턴스 실행(사용자 DataSync 에이전트를 AWS내부 VPC에 배포하는 경우)

  • DataSync를 사용하여 데이터 전송. 여기에는 Google Cloud Storage 및 Amazon S3와 관련된 요청 요금이 포함됩니다(S3가 사용자 전송 위치인 경우)

  • Google Cloud Storage 밖으로 데이터 전송

  • Amazon S3에 데이터 저장

사전 조건

아직 다음 사항을 수행하지 않았다면 시작하기 전에 이를 수행합니다.

Google Cloud Storage 버킷에 HMAC 키 생성

DataSync는 Google 서비스 계정과 연결된 HMAC 키를 사용하여 데이터를 전송하는 버킷을 인증하고 이를 읽습니다. (HMAC 키를 만드는 방법에 대한 자세한 지침은 Google Cloud Storage 설명서를 참조하세요.)

HMAC 키 생성

  1. Google 서비스 계정용 HMAC 키를 만드세요.

  2. Google 서비스 계정에 최소한 Storage Object Viewer권한이 있는지 확인하세요.

  3. HMAC 키 액세스 ID와 비밀 번호를 안전한 위치에 저장합니다.

    이러한 항목은 나중에 DataSync 소스 위치를 구성하는 데 필요합니다.

2단계: 사용자 네트워크 구성

마이그레이션에 필요한 네트워크 요건은 DataSync 에이전트의 배포 방법에 따라 달라집니다.

Google Cloud에서 DataSync 에이전트를 호스팅하려면 DataSync가 퍼블릭 엔드포인트를 통해 전송을 할 수 있도록 네트워크를 구성합니다.

에이전트를 호스팅하려면 인터페이스 엔드포인트가 있는 VPC가 AWS필요합니다. DataSync는 VPC 엔드포인트를 사용하여 전송을 용이하게 합니다.

VPC 엔드포인트에 맞게 네트워크를 구성하려면

  1. VPC가 없는 경우 S3 버킷 AWS 리전 과 동일한에 VPC를 생성합니다.

  2. VPC용 프라이빗 서브넷을 생성합니다.

  3. DataSync에 대한 VPC 엔드포인트를 생성합니다.

  4. DataSync가 VPC 서비스 엔드포인트를 통해 전송을 허용하도록 사용자 네트워크를 구성합니다.

    이렇게 하려면 VPC 서비스 엔드포인트와 연결된 보안 그룹을 수정합니다.

3단계: DataSync 에이전트 생성

Google Cloud Storage 버킷에 액세스하고 이를 읽을 수 있는 DataSync 에이전트가 필요합니다.

이 시나리오에서 DataSync 에이전트는 Google Cloud 환경에서 실행됩니다.

시작하기 전: Google 클라우드 CLI를 설치합니다.

Google 클라우드용 에이전트를 생성하려면

  1. https://console.aws.amazon.com/datasync/ AWS DataSync 콘솔을 엽니다.

  2. 왼쪽 탐색 창에서 에이전트를 선택한 다음, 에이전트 생성을 선택합니다.

  3. 하이퍼바이저의 경우 VMware ESXi를 선택한 다음 이미지 다운로드를 선택하여 에이전트가 포함된 .zip파일을 다운로드합니다.

  4. 터미널을 엽니다. 다음 명령을 실행하여 이미지의 압축을 풉니다.

    unzip AWS-DataSync-Agent-VMWare.zip

  5. 다음 명령을 실행하여 aws-datasync로 시작하는 에이전트 .ova파일의 내용을 추출합니다.

    tar -xvf aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt.ova

  6. 다음 Google Cloud CLI 명령어를 실행하여 에이전트의 .vmdk파일을 Google Cloud로 가져옵니다.

    gcloud compute images import aws-datasync-2-test \
   --source-file INCOMPLETE-aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt-disk1.vmdk \
   --os centos-7
    참고

    .vmdk파일을 가져오는 데 최대 2시간이 걸릴 수 있습니다.

  7. 방금 가져온 에이전트 이미지의 VM 인스턴스를 만들고 시작합니다.

    인스턴스에는 다음과 같은 에이전트 구성이 필요합니다. (인스턴스를 만드는 방법에 대한 자세한 지침은 Google Cloud Compute Engine 설명서를 참조하세요.)

    • 머신 유형은 다음 중 하나를 선택합니다.

      • e2-standard-8 - 최대 2천만 개의 객체를 처리하는 DataSync 작업 실행.

      • e2-standard-16 - 2천만 개 이상의 객체를 처리하는 DataSync 작업 실행.

    • 부팅 디스크 설정은 커스텀 이미지 섹션으로 갑니다. 그런 다음 방금 가져온 DataSync 에이전트 이미지를 선택합니다.

    • 서비스 계정 설정에서 Google 서비스 계정(1단계에서 사용한(와)과 동일한 계정)을 선택합니다.

    • 방화벽 설정에서 HTTP(포트 80) 트래픽을 허용하는 옵션을 선택합니다.

      DataSync 에이전트를 활성화하려면 에이전트에 포트 80이 열려 있어야 합니다. 이 포트는 공개적으로 액세스 되지 않아도 됩니다. 활성화되면 DataSync는 포트를 닫습니다.

  8. VM 인스턴스를 실행한 후 해당 퍼블릭 IP 주소를 메모해 둡니다.

    에이전트를 활성화하려면 이 IP 주소가 필요합니다.

  9. DataSync 콘솔로 되돌아 갑니다. 에이전트 이미지를 다운로드한 에이전트 생성 화면에서 다음을 수행하여 에이전트를 활성화합니다.

    • 엔드포인트 유형에서 공용 서비스 엔드포인트 옵션(예: 미국 동부 오하이오의 공공 서비스 엔드포인트)을 선택합니다.

    • 활성화 키서 에이전트로부터 자동으로 활성화 키 받기를 선택합니다.

    • 에이전트 주소에는 방금 생성한 에이전트 VM 인스턴스의 퍼블릭 IP 주소를 입력합니다.

    • Get key를 선택합니다.

  10. 에이전트 이름을 입력한 다음 에이전트 생성을 선택합니다.

에이전트가 온라인 상태이며 데이터를 전송할 준비가 되어 있습니다.

이 시나리오에서 에이전트는와 연결된 VPC에서 Amazon EC2 인스턴스로 실행됩니다 AWS 계정.

시작하기 전:(AWS Command Line InterfaceAWS CLI)를 설정하세요.

VPC용 에이전트를 만들려면

  1. 터미널을 엽니다. S3 버킷과 연결된 계정을 사용하도록 AWS CLI 프로필을 구성해야 합니다.

  2. 다음 명령을 복사합니다. vpc-region을 사용자 VPC가 있는 AWS 리전 로 바꿉니다(예, us-east-1).

    aws ssm get-parameter --name /aws/service/datasync/ami --region vpc-region

  3. 명령을 실행합니다. 출력에 표시된 "Value"속성을 메모해 둡니다.

    이 값은 사용자가 지정한 리전의 DataSync Amazon Machine Image(AMI) ID입니다. 예를 들어 AMI ID는 ami-1234567890abcdef0과 같을 수 있습니다.

  4. 다음 URL을 복사합니다. 다시 한번, vpc-region을 사용자 VPC가 있는 AWS 리전 로 바꿉니다. ami-id을 이전 단계에서 기록한 AMI ID로 바꿉니다.

    https://console.aws.amazon.com/ec2/v2/home?region=vpc-region#LaunchInstanceWizard:ami=ami-id

  5. 브라우저에 URL을 붙여 넣습니다.

    의 Amazon EC2 인스턴스 시작 페이지가 AWS Management Console 표시됩니다.

  6. 인스턴스 유형에서 DataSync 에이전트용 권장 Amazon EC2 인스턴스 중 하나를 선택합니다.

  7. 키 페어 이름에서 기존 키 페어를 선택하거나 새 이름을 생성합니다.

  8. 네트워크 설정에서 에이전트를 배포하려는 VPC와 서브넷을 선택합니다.

  9. 인스턴스 시작을 선택합니다.

  10. Amazon EC2 인스턴스가 실행되면 VPC 엔드포인트를 선택합니다.

  11. 에이전트 활성화.

4단계: Google Cloud Storag 버킷에 DataSync 소스 위치 생성

Google Cloud Storage 버킷의 DataSync 위치를 설정하려면 1단계에서 생성한 HMAC 키의 액세스 ID와 비밀번호가 필요합니다.

DataSync 소스 위치를 만들려면

  1. https://console.aws.amazon.com/datasync/ AWS DataSync 콘솔을 엽니다.

  2. 왼쪽 탐색 창에서 데이터 전송을 펼친 다음, 위치와 위치 생성을 선택합니다.

  3. 위치 유형에서 개체 스토리지를 선택합니다.

  4. 에이전트에는 3단계에서 생성한 에이전트를 선택합니다.

  5. 서버에 storage.googleapis.com를 입력합니다.

  6. 버킷 이름에 Google Cloud Storage 버킷의 이름을 입력합니다.

  7. 추가 설정을 폅니다. 서버 프로토콜에서 HTTPS를 선택합니다. 서버 포트에서 443을 선택합니다.

  8. 인증 섹션까지 아래로 스크롤합니다. 자격 증명 필요 확인란이 선택되어 있는지 확인하고 다음을 수행하세요.

    • 액세스 키에 사용자 HMAC 키의 액세스 ID를 입력합니다.

    • 비밀 키에 HMAC 키의 암호를 입력합니다.

  9. 위치 생성을 선택합니다.

5단계: S3 버킷용 DataSync 대상 위치 생성

데이터가 최종적으로 가야 할 DataSync 위치가 필요합니다.

DataSync 대상 위치를 만들려면

  1. https://console.aws.amazon.com/datasync/ AWS DataSync 콘솔을 엽니다.

  2. 왼쪽 탐색 창에서 데이터 전송을 펼쳐서 위치와 위치 생성을 선택합니다.

  3. S3 버킷의 DataSync 위치를 생성합니다.

    VPC에 DataSync 에이전트를 배포한 경우이 자습서에서는 S3 버킷이 VPC 및 DataSync 에이전트 AWS 리전 와 동일한에 있다고 가정합니다.

6단계: DataSync 작업 생성 및 시작

소스 및 대상 위치가 구성된 상태에서 데이터를 로 이동할 수 있습니다 AWS.

DataSync 작업을 생성하고 시작하려면

  1. https://console.aws.amazon.com/datasync/ AWS DataSync 콘솔을 엽니다.

  2. 왼쪽 탐색 창에서 데이터 전송을 확장한 다음 작업을 선택하고 작업 생성을 선택합니다.

  3. 소스 위치 구성 페이지에서 다음 작업을 수행하세요.

    1. 기존 위치 선택을 선택합니다.

    2. 4단계에서 생성한 소스 위치를 선택한 후 다음을 선택합니다.

  4. 대상 위치 구성 페이지에서 다음 작업을 수행하세요.

    1. 기존 위치 선택을 선택합니다.

    2. 5단계에서 생성한 대상 위치를 선택한 후 다음을 선택합니다.

  5. 설정 구성 페이지에서 다음을 수행합니다.

    1. 데이터 전송 구성에서 추가 설정을 펼쳐서 개체 태그 복사 확인란의 선택을 취소합니다.

      중요

      DataSync는 Amazon S3 API를 사용하여 Google Cloud Storage와 통신하므로 객체 태그를 복사하려고 하면 제한적으로 DataSync 전송의 실패를 야기할 수 있습니다.

    2. 원하는 다른 작업 설정을 구성한 후 다음을 선택합니다.

  6. 검토 페이지에서 설정을 검토한 다음 작업 생성을 선택합니다.

  7. 작업의 세부 정보 페이지에서 시작을 선택하고 다음 중 하나를 선택하세요:

    • 수정하지 않고 작업을 실행하려면 기본값으로 시작을 선택합니다.

    • 작업을 실행하기 전에 수정하려면 재정의 옵션으로 시작을 선택합니다.

작업이 완료되면 Google Cloud Storage 버킷의 객체가 S3 버킷에 있음을 확인할 수 있습니다.