기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon OpenSearch Service의 페타바이트 규모
Amazon OpenSearch Service 도메인은 최대 10PB의 연결된 스토리지를 제공합니다. 1,000개의 OR1.16xlarge.search 인스턴스 유형으로 도메인을 구성할 수 있으며, 각각 36TB의 스토리지가 있습니다. 현저한 규모 차이로 인해 이 크기의 도메인 권장 사항은 일반적인 권장 사항과 다릅니다. 이 단원에서는 도메인 생성, 비용, 스토리지, 샤드 크기에 대한 고려 사항을 설명합니다.
이 섹션에서는 i3.16xlarge.search 인스턴스 유형을 자주 참조하지만 여러 다른 인스턴스 유형을 사용하여 총 도메인 스토리지의 10PB에 도달할 수 있습니다.
- 도메인 생성
-
이 크기의 도메인은 기본 한도(도메인당 80개의 인스턴스)를 초과합니다. 도메인당 최대 1,000개의 인스턴스에 대한 서비스 한도 증가를 요청하려면 AWS 지원 센터
에서 사례를 엽니다. - 요금
-
이 크기의 도메인을 생성하기 전에 Amazon OpenSearch Service 요금
페이지를 확인하여 관련 비용이 예상과 일치하는지 확인하세요. Amazon OpenSearch Service를 위한 UltraWarm 스토리지 검사로 핫-웜 아키텍처가 사용 사례에 적합한지 확인합니다. - 스토리지
-
i3인스턴스 유형은 빠른 로컬 비휘발성 메모리 익스프레스(NVMe) 스토리지를 제공하도록 설계되었습니다. 이 로컬 스토리지는 Amazon Elastic Block Store와 비교할 때 성능 이점을 제공하는 경향이 있으므로 OpenSearch 서비스에서 이러한 인스턴스 유형을 선택할 때 EBS 볼륨은 옵션이 아닙니다. EBS 스토리지를 선호하는 경우 와 같은 다른 인스턴스 유형을 사용합니다r6.12xlarge.search. - 샤드 크기 및 개수
-
일반적인 OpenSearch 지침은 샤드당 50GB를 초과하지 않는 것입니다. 대형 도메인 및
i3.16xlarge.search인스턴스에 제공되는 리소스를 수용하는 데 필요한 샤드 수를 고려해 볼 때 100GB 크기의 샤드를 권장합니다.예를 들어 450TB의 소스 데이터가 있고 한 개의 복제본이 필요한 경우 최소 스토리지 요구 사항은 450TB * 2 * 1.1 / 0.95 = 1.04PB에 가깝습니다. 이 계산에 대한 설명은 스토리지 요구 사항 계산 섹션을 참조하세요. 1.04PB/15TB = 70개의 인스턴스가 있지만 스스로에게 스토리지 안전망을 제공하고 노드 실패를 처리하며 시간 경과에 따른 데이터 양 차이를 고려하기 위해 90개 이상의
i3.16xlarge.search인스턴스를 선택할 수 있습니다. 각 인스턴스는 최소 스토리지 요구 사항에 20GiB를 더 추가하지만 이 크기의 디스크에서 20GiB는 거의 무시해도 될 정도입니다.샤드 수를 제어하는 것은 어렵습니다. OpenSearch 사용자는 매일 인덱스를 교체하고 1~2주 동안 데이터를 보존하는 경우가 많습니다. 이때 '활성'과 '비활성' 샤드를 구분하면 유용합니다. 활성화된 샤드는 아주 능동적으로 읽고 씁니다. 비활성화된 샤드는 몇몇 읽기 요청에 응하지만 대체로 유휴 상태입니다. 일반적으로 활성화된 샤드의 수는 몇천 이하여야 합니다. 활성화된 샤드의 수가 10,000을 넘어가면 성능 및 안정성에 치명적인 위협이 될 수 있습니다.
기본 샤드 수를 계산하려면 공식으로 450,000GB * 샤드당 1.1/100GB = 4,950개 샤드를 사용하세요. 복제본을 설명하기 위해서 그 수를 2배로 늘리면 9,900샤드가 되는데 모든 샤드가 활성화 상태라면 이는 주요한 문제가 됩니다. 만일 인덱스를 교체하여 어느 날이든 샤드의 1/7 또는 1/14(각각 1,414 또는 707샤드)만이 활성화 상태라면 클러스터는 정상적으로 작동합니다. 항상 그렇듯이 도메인 규모를 결정하고 구성하는 가장 중요한 단계는 실질적인 데이터 세트를 사용하여 대표적인 클라이언트 테스트를 수행하는 것입니다.
