Snow 디바이스 클러스터와 함께 Snowball Edge에서 Amazon S3 호환 스토리지 사용 - AWS Snowball Edge 개발자 안내서

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Snow 디바이스 클러스터와 함께 Snowball Edge에서 Amazon S3 호환 스토리지 사용

클러스터는 로컬 스토리지 및 컴퓨팅 용도를 위해 단일 논리 단위로 사용되는 3개 이상의 Snowball Edge 디바이스 집합에 해당합니다. 클러스터는 로컬 스토리지 및 컴퓨팅을 위해 독립형 Snowball Edge 디바이스에 두 가지 주요 장점을 제공합니다.

  • 향상된 내구성 - Snowball Edge 디바이스의 클러스터에 저장된 S3 데이터는 단일 디바이스에 대해 내구성이 향상됩니다. 또한 클러스터의 데이터는 클러스터에서 하드웨어가 중단되는 경우에도 안전하고 실행 가능한 상태를 유지합니다. 클러스터는 데이터가 위험에 처하기 전에 3~4개 디바이스의 클러스터에서 디바이스 하나, 5~16개 디바이스의 클러스터에서 최대 두 개의 디바이스가 손실되어도 견딜 수 있습니다. 비정상 노드를 교체하여 클러스터에 저장된 데이터의 내구성과 안전성을 유지할 수 있습니다.

  • 스토리지 증가 - Snowball Edge 스토리지 최적화 디바이스를 사용하면 최대 2.6PB의 사용 가능한 S3-compatible 스토리지 용량을 갖춘 단일 16 노드 클러스터를 생성할 수 있습니다. Snowball Edge 컴퓨팅 최적화 디바이스를 사용하면 최대 501TB의 사용 가능한 S3-compatible 스토리지 용량으로 구성된 단일 16 노드 클러스터를 생성할 수 있습니다.

Snowball Edge 디바이스의 클러스터는 리더리스 노드로 구성됩니다. 노드는 전체 클러스터에 대해 데이터 쓰기 및 읽기가 가능하며, 모든 노드는 클러스터의 백그라운드 관리를 수행할 수 있습니다.

Snowball Edge 클러스터 사용을 계획할 때에는 다음 고려 사항에 유의하세요.

  • 클러스터에 발생할 수 있는 성능 및 안정성 문제를 줄이려면 클러스터의 모든 디바이스에 대해 중복 전원 장치를 제공하는 것이 좋습니다.

  • 독립형 로컬 스토리지 및 컴퓨팅 작업과 마찬가지로 별도의 가져오기 작업의 일부로 추가 디바이스를 주문하지 않고는 클러스터에 저장된 데이터를 Amazon S3로 가져올 수 없습니다. 추가 디바이스를 가져오기 작업으로 주문하는 경우 클러스터의 데이터를 가져오기 작업 디바이스로 전송할 수 있습니다.

  • Amazon S3에서 클러스터로 데이터를 가져오려면 Amazon S3 API를 사용하여 클러스터에 Amazon S3 버킷을 생성하여 S3에서 객체를 저장하고 검색합니다. 또한 AWS DataSync 를 사용하여 Snowball Edge 디바이스의 Snowball Edge에서 AWS 스토리지 서비스와 Amazon S3 호환 스토리지 간에 객체를 전송할 수 있습니다. 자세한 내용은 Snowball Edge의 S3 호환 스토리지를 사용한 전송 구성을 참조하세요.

  • 작업을 생성하여 AWS Snow 패밀리 관리 콘솔 AWS CLI, 또는 AWS SDKs. 자세한 내용은 Snowball Edge 시작하기 단원을 참조하십시오.

  • 클러스터의 각 디바이스에는 노드 ID가 있습니다. 노드 ID는 독립 실행형 디바이스의 작업 ID와 같이 클러스터의 각 디바이스에 대한 고유 식별자입니다. AWS Snow 패밀리 관리 콘솔, , AWS CLI AWS SDKs 및 Snowball Edge 클라이언트에서 노드 IDs를 가져올 수 있습니다. Snowball Edge 클라이언트 명령 describe-devicedescribe-cluster는 디바이스 또는 클러스터에 대한 다른 정보와 함께 노드 ID를 반환합니다.

  • 클러스터의 수명은 클러스터가 프로비저닝될 때 클러스터 디바이스에 부여된 보안 인증서에 따라 정해집니다. 기본적으로 Snowball Edge 디바이스는 최대 360일간 사용한 후 반환해야 합니다. 그 기간이 종료되면 디바이스는 읽기/쓰기 요청에 응답하지 않습니다. 하나 이상의 디바이스를 360일 이상 보관해야 하는 경우에 문의하십시오 AWS Support.

  • 가 클러스터의 일부인 반환된 디바이스를 AWS 수신하면 디바이스를 완전히 삭제합니다. 이 삭제는 NIST(National Institute of Standards and Technology) 800-88 표준에 따른 것입니다.

Snowball Edge의 Amazon S3 호환 스토리지 클러스터 내결함성 및 스토리지 용량
클러스터 크기 내결함성 Snowball Edge Compute Optimized의 스토리지 용량(AMD EPYC Gen2 및 NVMe GPU 포함 Compute Optimized)(TB) Snowball Edge 스토리지 최적화 210TB 디바이스의 스토리지 용량(TB)

3

최대 1개 노드 손실

38

438

4

최대 1개 노드 손실

57

657

5

최대 2개 노드 손실

57

657

6

최대 2개 노드 손실

76

904

7

최대 2개 노드 손실

95

1096

8

최대 2개 노드 손실

114

1315

9

최대 2개 노드 손실

133

1534

10

최대 2개 노드 손실

152

1754

11

최대 2개 노드 손실

165

1970

12

최대 2개 노드 손실

171

1973

13

최대 2개 노드 손실

190

2192

14

최대 2개 노드 손실

209

2411

15

최대 2개 노드 손실

225

2625

16

최대 2개 노드 손실

228

2631

클러스터를 잠금 해제하면 해당 클러스터에서 데이터를 저장하고 액세스할 준비가 된 것입니다. Amazon S3 호환 엔드포인트를 사용하여 클러스터에서 데이터를 읽고 클러스터에 데이터를 쓸 수 있습니다.

클러스터에 데이터를 읽거나 쓰려면 사용할 수 없는 노드 허용 수보다 적은 읽기/쓰기 쿼럼이 디바이스 클러스터에 있어야 합니다.

Snowball Edge 클러스터 쿼럼

쿼럼은 클러스터에서 읽기/쓰기 쿼럼을 유지하기 위해 서로 통신해야 하는 Snowball Edge 디바이스의 최소 수를 나타냅니다.

클러스터의 모든 디바이스가 정상인 경우에는 클러스터에 대한 읽기/쓰기 쿼럼이 존재합니다. 해당 디바이스 중 하나 이상이 오프라인이 되는 경우 클러스터의 운영 용량이 줄어든 것입니다. 하지만 그래도 클러스터에 읽기 및 쓰기가 가능합니다. 클러스터가 하나 또는 두 개 이상 이외의 모든 노드를 작동하면 클러스터에는 계속 읽기/쓰기 쿼럼이 있습니다. 클러스터의 운영 용량이 영향을 받기 전에 오프라인 상태가 될 수 있는 노드 수는 this table에서 확인할 수 있습니다.

클러스터에서 디바이스 수가 this table에 표시된 수보다 많이 손실되면 쿼럼이 손실될 수 있습니다. 쿼럼이 손실되면 클러스터가 오프라인이 되고 클러스터의 데이터를 사용할 수 없습니다. 이 문제를 해결할 수도 있지만 해결하지 못하는 경우 이벤트의 심각도에 따라 데이터가 영구적으로 손실될 수 있습니다. 임시 외부 전원 이벤트인 경우 Snowball Edge 디바이스에 전원을 다시 공급하고 클러스터의 모든 노드를 잠금 해제하면 데이터를 다시 사용할 수 있습니다.

중요

정상 노드의 최소 쿼럼이 존재하지 않는 경우 AWS Support에 문의하세요.

describe-cluster 명령을 사용하여 각 노드의 잠금 상태 및 네트워크 연결 가능성을 볼 수 있습니다. 클러스터 스토리지를 사용할 때 클러스터 디바이스가 정상이고 연결되어 있는지 확인할 관리 책임은 사용자에게 있습니다. 자세한 내용은 디바이스 상태 가져오기를 참조하십시오.

하나 이상의 노드가 비정상이라고 판단되면 클러스터의 노드를 교체하여 할당량과 데이터의 상태 및 안정성을 유지할 수 있습니다. 자세한 내용은 클러스터에서 노드 교체 단원을 참조하십시오.