Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Échelle en pétaoctets dans Amazon Service OpenSearch
Les domaines Amazon OpenSearch Service offrent un stockage attaché d'une capacité maximale de 10 Po. Vous pouvez configurer un domaine avec 1 000 types d'OR1.16xlarge.searchinstances, chacun avec 36 To de stockage. En raison de la différence de l'échelle, des recommandations pour les domaines de cette taille diffèrent de nos recommandations générales. Cette section présente les éléments à prendre en compte pour la création de domaines, les coûts, le stockage et la taille de la partition.
Bien que cette section fasse fréquemment référence aux types d'i3.16xlarge.searchinstances, vous pouvez utiliser plusieurs autres types d'instances pour atteindre 10 Po de stockage de domaine total.
- Création de domaines
-
Les domaines de cette taille dépassent la limite par défaut de 80 instances par domaine. Pour demander une augmentation de la limite de service jusqu'à 1 000 instances par domaine, ouvrez un dossier auprès du AWS Support Center
. - Tarification
-
Avant de créer un domaine de cette taille, consultez la page de tarification d'Amazon OpenSearch Service
pour vous assurer que les coûts associés correspondent à vos attentes. Examinez UltraWarm stockage pour Amazon OpenSearch Service pour voir si une architecture chaude correspond à votre cas d'utilisation. - Stockage
-
Les types d'
i3instances sont conçus pour fournir un stockage rapide et local non volatile express (NVMe) en mémoire non volatile. Étant donné que ce stockage local a tendance à offrir des avantages en termes de performances par rapport à Amazon Elastic Block Store, les EBS volumes ne sont pas une option lorsque vous sélectionnez ces types d'instances dans OpenSearch Service. Si vous préférez le EBS stockage, utilisez un autre type d'instance, tel quer6.12xlarge.search. - Nombre et taille des partitions
-
Il est OpenSearch généralement recommandé de ne pas dépasser 50 Go par partition. Étant donné le nombre de partitions nécessaires pour accueillir les grands domaines et les ressources disponibles pour les instances
i3.16xlarge.search, nous vous recommandons d'utiliser une taille de partition de 100 Go.En résumé, si vous disposez de 450 Go de données sources et que vous souhaitez avoir une copie, votre espace de stockage minimum est plus près de 450 To * 2 * 1,1/0,95 = 1,04 Go. Pour une explication de ce calcul, consultez Calcul des exigences de stockage. Bien que 1.04 Po/15 To = 70 instances, vous pouvez sélectionner un minimum de 90 instances
i3.16xlarge.searchpour vous donner un filet de sécurité de stockage, gérer les défaillances de nœuds et tenir compte de la variation de la quantité de données au fil du temps. Chaque instance ajoute 20 Gio à votre espace de stockage minimal requis. Pour les disques de cette taille, ces 20 Gio sont presque négligeables.Il est difficile de contrôler le nombre de fragments. OpenSearch les utilisateurs font souvent pivoter les index tous les jours et conservent les données pendant une semaine ou deux. Dans ce cas, il peut être utile de faire la distinction entre les partitions « actives » et « inactives ». Les partitions actives sont celles qui sont activement utilisées pour l'écriture ou la lecture. Les partitions inactives peuvent prendre en charge quelques demandes de lecture, mais sont principalement inactives. En général, le nombre de partitions actives doit rester inférieur à quelques milliers. À mesure que le nombre de partitions actives s'approche de 10 000, des risques peuvent peser sur les performances et la stabilité.
Pour calculer le nombre de partitions principales, utilisez cette formule : 450 000 Go * 1,1/100 Go par partition = 4 950 partitions. Si vous multipliez ce chiffre par deux pour prendre en compte le nombre de réplicas, vous obtenez 9 900 partitions, ce qui représente un problème majeur si toutes les partitions sont actives. Mais si vous procédez à la rotation des index et que seulement 1/7e ou 1/14e des partitions sont actives sur un jour donné (1 414 ou 707 partitions, respectivement), le cluster peut fonctionner correctement. Comme toujours, l'étape la plus importante du dimensionnement et de la configuration de votre domaine consiste à effectuer des tests clients représentatifs à l'aide d'un ensemble de données réalistes.
