Snowball Edge로의 데이터 전송 성능을 개선하기 위해 작은 파일 배치 처리 - AWS Snowball Edge 개발자 안내서

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Snowball Edge로의 데이터 전송 성능을 개선하기 위해 작은 파일 배치 처리

암호화 때문에 각 복사 작업에는 일정한 오버헤드가 있어야 합니다. 작은 파일을 AWS Snowball Edge 디바이스로 전송하는 프로세스의 속도를 높이려면 단일 아카이브에서 함께 배치를 지정할 수 있습니다. 파일을 함께 배치 처리할 때 지원되는 아카이브 형식 중 하나로 배치 처리가 된 경우 Amazon S3로 파일을 가져올 때 자동으로 압축이 풀릴 수 있습니다.

일반적으로 크기가 1MB 이하인 파일이 배치에 포함됩니다. 배치 안에 보유할 수 있는 파일의 수에 대한 하드 제한은 없습니다. 하지만 약 10,000개의 파일로 배치를 제한하는 것이 좋습니다. 배치에 100,000개 이상의 파일이 있는 경우 디바이스를 반환한 이후 파일을 Amazon S3로 가져오는 속도에 영향을 줄 수 있습니다. 각 배치의 총 크기는 100GB를 넘지 않는 것이 좋습니다.

파일 배치 처리는 직접 관리하는 수동 프로세스입니다. 파일을 배치한 후 --metadata snowball-auto-extract=true 옵션과 AWS CLI cp 함께 명령을 사용하여 Snowball Edge 디바이스로 전송합니다. snowball-auto-extract=true를 지정하면 배치 처리된 파일의 크기가 100GB를 넘지 않는 한, 데이터를 Amazon S3로 가져올 때 아카이브된 파일의 내용 압축이 자동으로 풀립니다.

참고

100GB를 넘는 모든 배치는 Amazon S3로 가져올 때 압축이 풀리지 않습니다.

작은 파일을 배치 처리하려면

  1. 작은 파일을 어떤 형식으로 배치 처리할지 결정합니다. 자동 압축 풀기 기능은 TAR, ZIP 및 tar.gz 형식을 지원합니다.

  2. 함께 배치 처리하고자 하는 파일의 크기 및 전체 파일 수를 포함하여 어떤 작은 파일을 함께 배치 처리하고자 하는지 식별합니다.

  3. 명령줄의 파일을 아래 예시와 같이 일괄 처리합니다.

    • Linux의 경우 디바이스로 파일을 전송하는 데 사용되는 것과 동일한 명령줄로 파일을 배치 처리합니다.

      tar -cf - /Logs/April | aws s3 cp - s3://amzn-s3-demo-bucket/batch01.tar --metadata snowball-auto-extract=true --endpoint http://192.0.2.0:8080
      참고

      또는 원하는 아카이브 유틸리티를 사용하여 파일을 하나 이상의 큰 아카이브로 배치 처리할 수 있습니다. 하지만 이러한 접근 방식은 아카이브를 Snowball로 전송하기 전에 이를 저장할 추가 로컬 스토리지가 필요합니다.

    • Windows의 경우 모든 파일이 명령이 실행되는 동일한 디렉터리에 있는 경우 다음 예시 명령을 사용하여 파일을 일괄 처리합니다.

      7z a -tzip -so "test" | aws s3 cp - s3://amzn-s3-demo-bucket/batch01.zip --metadata snowball-auto-extract=true --endpoint http://192.0.2.0:8080

      명령이 실행되는 다른 디렉터리의 파일을 일괄 처리하려면 다음 예시 명령을 사용합니다.

      7z a -tzip -so "test" "c:\temp" | aws s3 cp - s3://amzn-s3-demo-bucket/batch01.zip --metadata snowball-auto-extract=true --endpoint http://10.x.x.x:8080
      참고

      Microsoft Windows 2016의 경우 tar를 사용할 수 없지만 Windows용 Tar 웹 사이트에서 다운로드할 수 있습니다.

      7ZIP 웹 사이트에서 7 ZIP을 다운로드할 수 있습니다.

  4. Snowball Edge를 사용하여 Amazon S3로 전송하고자 하는 모든 작은 파일을 아카이브할 때까지 반복합니다.

  5. 아카이브된 파일을 Snowball로 전송합니다. 데이터를 자동으로 추출하고 1단계에서 앞서 언급한 지원되는 아카이브 형식 중 하나를 사용한 경우 --metadata snowball-auto-extract=true 옵션과 함께 명령을 사용합니다 AWS CLI cp.

    참고

    보관되지 않은 파일이 있는 경우 이 명령을 사용하면 안 됩니다.

아카이브 파일을 만들 때 추출 시 현재 데이터 구조가 유지됩니다. 즉, 파일 및 폴더가 포함된 아카이브 파일을 생성하면 Snowball Edge는 Amazon S3로의 수집 프로세스 중에 이 파일을 다시 생성합니다.

아카이브 파일은 파일이 저장되어 있는 동일한 디렉터리에 추출되며 그에 따라 폴더 구조가 구축됩니다. 아카이브 파일을 복사할 때는 --metadata snowball-auto-extract=true 플래그를 설정하는 것이 중요하다는 점을 명심하세요. 그렇지 않으면 Amazon S3로 데이터를 가져올 때 Snowball Edge는 데이터를 추출하지 않습니다.

3단계의 예시를 사용하여, /Logs/April/의 폴더 구조에 파일 a.txt, b.txt, c.txt 등이 들어 있는 경우 이 아카이브 파일을 /amzn-s3-demo-bucket/의 루트에 배치한 경우 추출 후 데이터는 다음과 같이 표시됩니다.

/amzn-s3-demo-bucket/Logs/April/a.txt
/amzn-s3-demo-bucket/Logs/April/b.txt
/amzn-s3-demo-bucket/Logs/April/c.txt

아카이브 파일을 /amzn-s3-demo-bucket/Test/에 배치한 경우 추출은 다음과 같이 표시됩니다.

/amzn-s3-demo-bucket/Test/Logs/April/a.txt
/amzn-s3-demo-bucket/Test/Logs/April/b.txt
/amzn-s3-demo-bucket/Test/Logs/April/c.txt