를 통한 대규모 데이터 마이그레이션 AWS Snow Family devices - AWS Snowball Edge 개발자 가이드
대량 전송 계획

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

를 통한 대규모 데이터 마이그레이션 AWS Snow Family devices

온프레미스 위치에서 대용량 데이터를 마이그레이션하려면 신중한 계획, 오케스트레이션, 실행이 필요합니다. 그래야만 데이터를 성공적으로 AWS에 마이그레이션할 수 있습니다.

기한 초과, 예산 초과 및 마이그레이션 실패 가능성을 방지하려면 마이그레이션을 시작하기 전에 데이터 마이그레이션 전략을 세우는 것이 좋습니다. AWS Snow 서비스를 사용하면 의 Snow Family LDMM (대용량 데이터 마이그레이션 관리자) 기능을 통해 대규모 데이터 마이그레이션 프로젝트를 진행, 주문 및 추적할 수 있습니다. AWS Snow 패밀리 관리 콘솔

주제, 대량 전송 계획 및 대규모 전송 보정에서는 수동 데이터 마이그레이션 프로세스를 설명합니다. Snow Family LDMM 마이그레이션 계획을 사용하여 수동 단계를 간소화할 수 있습니다.

주제

대량 전송 계획

다음 섹션의 지침에 따라 현장에 있는 AWS Snowball Edge 디바이스와 서버 간의 대용량 데이터 전송을 계획하고 보정하는 것이 좋습니다.

1단계: 클라우드로 이동하는 대상 이해

를 사용하여 첫 번째 작업을 생성하기 전에 전송해야 하는 데이터의 양, 데이터가 현재 저장되어 있는 위치 및 전송할 대상을 평가해야 합니다. AWS Snow 패밀리 관리 콘솔페타바이트 규모 이상의 데이터를 전송하는 경우 이러한 관리 정보를 알면 Snow Family 디바이스가 도착할 때 훨씬 더 쉽게 작업을 진행할 수 있습니다.

처음으로 데이터를 로 마이그레이션하는 경우 클라우드 마이그레이션 모델을 설계하는 것이 좋습니다. AWS 클라우드 클라우드 마이그레이션은 하룻밤 사이에 이루어지지 않습니다. 모든 시스템이 예상대로 작동하도록 하려면 신중한 계획 프로세스를 거쳐야 합니다.

이 단계를 완료하면 클라우드로 이동할 총 데이터 양을 알게 됩니다.

2단계: 대상 전송 속도 계산

각 서버에 연결된 Snow Family 디바이스에 얼마나 빠르게 데이터를 전송할 수 있는지 예상해야 합니다. 이 예상 속도(MB/초)는 로컬 네트워크 인프라를 사용하여 데이터 소스에서 Snowball Edge 디바이스로 데이터를 전송할 수 있는 속도를 결정합니다.

참고

대용량 데이터 전송의 경우 Amazon S3를 사용하여 데이터를 전송하는 것이 좋습니다. AWS Snow 패밀리 관리 콘솔에서 디바이스를 주문할 때 이 옵션을 선택해야 합니다.

기준 전송 속도를 결정하려면 데이터의 소규모 하위 집합을 Snowball Edge 디바이스로 전송하거나 10GB의 샘플 파일을 전송하고 처리량을 관찰합니다.

대상 전송 속도를 확인하는 동안 네트워크 속도, 전송 중인 파일의 크기, 로컬 서버에서 데이터를 읽는 속도를 변경하는 등 환경(네트워크 구성 포함)을 조정하여 처리량을 개선할 수 있다는 점에 유의해야 합니다. Amazon S3 어댑터는 조건이 허용하는 한 신속히 Snow Family 디바이스에 데이터를 복사합니다.

3단계: 필요한 Snow Family 디바이스의 수 확인

클라우드로 이전하려는 총 데이터 양, 예상 전송 속도, 데이터 이동을 허용할 일수를 고려하여 AWS대규모 데이터 마이그레이션에 필요한 Snow Family 장치 수를 결정하십시오. 디바이스 유형에 따라 Snowball Edge 디바이스에는 약 39.5TB, 80TB 또는 210TB의 사용 가능한 스토리지 공간이 있습니다. 예를 들어 300TB의 데이터를 10일 AWS 이상으로 이동하고 전송 속도가 250MB/s인 경우 Snowball Edge 디바이스 4개가 필요합니다. 전송할 데이터가 40TB 미만이면 사용 가능한 공간이 14TB인 AWS Snowcone 디바이스를 사용하는 것이 좋습니다.

참고

AWS Snow Family devices LDMM은 동시에 지원할 수 있는 개수를 추정할 수 AWS Snow Family devices 있는 마법사를 제공합니다. 자세한 정보는 대규모 데이터 마이그레이션 계획 수립을 참조하세요.

4단계: 작업 생성

필요한 Snow Family 디바이스 수를 파악한 후에는 각 디바이스에 대해 가져오기 작업을 생성해야 합니다. Snow Family LDMM을 사용하면 여러 개의 작업을 간편하게 생성할 수 있습니다. 자세한 정보는 다음 작업 주문하기을 참조하세요.

참고

권장 작업 주문 일정에서 바로 다음 작업을 주문하고 계획에 자동으로 추가할 수 있습니다. 자세한 정보는 권장 작업 주문 일정을 참조하세요.

5단계: 데이터를 전송 세그먼트로 분리

여러 개의 작업이 관련된 대용량 데이터 전송의 경우 다수의 소용량 관리 가능 데이터 집합으로 데이터를 로컬에서 분리하는 것이 좋습니다. 이렇게 하면 각 파티션을 한 번에 전송하거나 여러 파티션을 병렬로 전송할 수 있습니다. 파티션을 계획할 때는 파티션의 데이터를 결합하여 작업에 사용할 Snow Family 디바이스에 맞는지 확인합니다. 예를 들어 다음과 같은 방법으로 전송을 여러 파티션으로 분리할 수 있습니다.

  • Snowball Edge에 대해 각각 8TB 파티션 10개를 생성할 수 있습니다.

  • 대용량 파일의 경우 각 파일을 Amazon S3의 객체 크기 제한인 최대 5TB에 상당하는 개별 파티션으로 만들 수 있습니다.

  • 각 파티션은 크기가 다를 수 있으며 각 개별 파티션은 동일한 종류의 데이터로 구성될 수 있습니다. 예를 들어 한 파티션에는 소용량 파일, 다른 파티션에는 압축된 아카이브, 다른 파티션에는 대용량 파일 등이 있을 수 있습니다. 이 접근법은 다양한 종류의 파일에 대한 평균 전송 속도를 확인하는 데 도움이 될 수 있습니다.

참고

전송되는 각 파일에 대해 메타데이터 작업이 수행됩니다. 이 오버헤드는 파일 크기와 상관없이 동일하게 유지됩니다. 따라서 작은 파일을 더 큰 번들로 압축하거나 파일을 배치 처리하거나 더 큰 개별 파일을 전송하면 더 빠른 성능을 이용할 수 있습니다.

전송을 1일 이상 실행한 후 대용량 이기종 전송의 문제를 해결하려고 할 경우 작업이 복잡할 수 있기 때문에 데이터 전송 세그먼트를 생성하면 해당 문제를 더 쉽게 빨리 해결할 수 있습니다.

페타바이트 규모의 데이터 전송 계획을 완료한 후에는 서버에서 Snow Family 디바이스로 세그먼트 몇 개를 전송하여 속도 및 총 전송 시간을 보정하는 것이 좋습니다.