Création et gestion de domaines Amazon OpenSearch Service - Amazon OpenSearch Service
Création de domaines OpenSearch de serviceConfiguration des politiques d'accèsParamètres avancés du cluster

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création et gestion de domaines Amazon OpenSearch Service

Ce chapitre explique comment créer et gérer des domaines Amazon OpenSearch Service. Un domaine est l'équivalent AWS provisionné d'un cluster open source OpenSearch . Lorsque vous créez un domaine, vous spécifiez ses paramètres, les types d'instances, le nombre d'instances et l'allocation de stockage. Pour plus d'informations sur les clusters open source, consultez la section Création d'un cluster dans la OpenSearch documentation.

Contrairement aux instructions rapidement exposées dans le didacticiel Mise en route, ce chapitre décrit toutes les options et fournit des informations de référence pertinentes. Vous pouvez effectuer chaque procédure en utilisant les instructions de la console de OpenSearch service, du AWS Command Line Interface (AWS CLI) ou du AWS SDKs.

Création de domaines OpenSearch de service

Cette section décrit comment créer des domaines de OpenSearch service à l'aide de la console de OpenSearch service ou à l'aide de la create-domain commande AWS CLI with the.

Création OpenSearch de domaines de service (console)

Utilisez la procédure suivante pour créer un domaine OpenSearch de service à l'aide de la console.

Pour créer un domaine OpenSearch de service (console)

  1. Accédez à la console https://aws.amazon.com.rproxy.goskope.comet choisissez Se connecter à la console.

  2. Sous Analytics, sélectionnez Amazon OpenSearch Service.

  3. Choisissez Create domain (Créer un domaine).

  4. Pour Nom de domaine, entrez un nom de domaine. Le nom doit répondre aux critères suivants :

    • Unique à votre compte et Région AWS

    • Commence par une lettre minuscule

    • Contient entre 3 et 28 caractères

    • Contient uniquement les lettres minuscules a-z, les chiffres 0-9 et le trait d'union (-)

  5. Pour la méthode de création de domaine, choisissez Standard create.

  6. Pour les modèles, choisissez l'option qui correspond le mieux à l'objectif de votre domaine :

    • Domaines de production pour les charges de travail nécessitant une disponibilité et des performances élevées. Ces domaines utilisent des nœuds multi-AZ (avec ou sans veille) et des nœuds maîtres dédiés pour une meilleure disponibilité.

    • Développement/test à des fins de développement ou de test. Ces domaines peuvent utiliser le mode multi-AZ (avec ou sans veille) ou une seule zone de disponibilité.

      Important

      Les différents types de déploiement offrent différentes options sur les pages suivantes. Ces étapes incluent toutes les options.

  7. Pour les options de déploiement, choisissez Domaine avec veille pour configurer un domaine 3-AZ, les nœuds de l'une des zones étant réservés en mode veille. Cette option applique un certain nombre de bonnes pratiques, telles que le nombre de nœuds de données spécifié, le nombre de nœuds maîtres, le type d'instance, le nombre de répliques et les paramètres de mise à jour logicielle.

  8. Dans Version, choisissez la version OpenSearch ou l'ancienne version d'Elasticsearch OSS à utiliser. Nous vous recommandons de choisir la dernière version de OpenSearch. Pour de plus amples informations, veuillez consulter Versions prises en charge de OpenSearch et d'Elasticsearch.

    (Facultatif) Si vous avez choisi une OpenSearch version pour votre domaine, sélectionnez Activer le mode de compatibilité pour OpenSearch signaler sa version 7.10, ce qui permet à certains clients et plugins Elasticsearch OSS qui vérifient la version avant de se connecter de continuer à utiliser le service.

  9. Pour Instance type (Type d'instance), choisissez un type d'instance pour vos nœuds de données. Pour en savoir plus, consultez Types d'instances pris en charge dans Amazon OpenSearch Service.

    Note

    Certaines zones de disponibilité ne prennent pas en charge certains types d'instance. Si vous choisissez le mode Multi-AZ avec ou sans veille, nous vous recommandons de choisir les types d'instances de génération actuelle, tels que R5 ou I3.

  10. Pour Nombre d'instances, tapez le nombre de nœuds de données.

    Pour les valeurs maximales, consultez la section Quotas de domaine et d'instance du OpenSearch service. Les clusters à nœud unique conviennent aux phases de développement et de test, mais pas pour des charges de travail en production. Pour de plus amples informations, veuillez consulter Dimensionnement des domaines Amazon OpenSearch Service et Configuration d'un domaine multi-AZ dans Amazon Service OpenSearch .

    Note

    (Facultatif) Les nœuds de coordination dédiés prennent en charge toutes les OpenSearch versions et ElasticSearch les versions 6.8 à 7.10. Des nœuds de coordination dédiés peuvent être utilisés avec des domaines pour lesquels un gestionnaire de cluster dédié est activé. Pour activer les nœuds de coordination dédiés, vous devez sélectionner le type et le nombre d'instances. Il est recommandé de conserver la même famille d'instances pour votre nœud coordinateur dédié que pour vos nœuds de données (instances basées sur Intel ou instances basées sur Graviton).

  11. Pour le type de stockage, sélectionnez Amazon EBS. Les types de volumes disponibles dans la liste dépendent du type d’instance que vous avez sélectionné. Pour obtenir des conseils sur la création de domaines particulièrement volumineux, consultez Échelle en pétaoctets dans Amazon Service OpenSearch .

  12. Pour le stockage EBS, configurez les paramètres supplémentaires suivants. Certains paramètres peuvent ne pas apparaître en fonction du type de volume choisi.

    Paramètre Description
    Type de volume EBS

    Choisissez entre Usage général (SSD) – gp3 et Usage général (SSD) – gp2, ou la génération précédente IOPS provisionnés (SSD), et Magnétique (standard).
    Taille de stockage EBS par nœud

    Saisissez la taille du volume EBS que vous souhaitez attacher à chaque nœud de données.

    La taille du volume EBS est indiquée par nœud. Vous pouvez calculer la taille totale du cluster pour le domaine de OpenSearch service en multipliant le nombre de nœuds de données par la taille du volume EBS. Les tailles minimale et maximale d'un volume EBS dépendent à la fois du type de volume EBS spécifié et du type d'instance auquel il est attaché. Pour plus d'informations, consultez Limites relatives à la taille du volume EBS.
    IOPS provisionnés

    Si vous avez sélectionné un type de volume SSD IOPS provisionnés, saisissez le nombre d'opérations d'E/S par seconde (IOPS) que le volume peut prendre en charge.

  13. (Facultatif) Si vous avez sélectionné un type de gp3 volume, étendez les paramètres avancés et spécifiez des IOPS supplémentaires (jusqu'à 16 000 pour chaque volume de 3 TiB fourni par nœud de données) et un débit (jusqu'à 1 000 Mbits/s pour chaque volume de 3 TiB fourni par nœud de données) au-delà de ce qui est inclus dans le prix du stockage, moyennant un coût supplémentaire. Pour plus d'informations, consultez les tarifs d'Amazon OpenSearch Service.

  14. (Facultatif) Pour activer le UltraWarm stockage, choisissez Activer UltraWarm les nœuds de données. Chaque type d'instance dispose d'une quantité maximale de stockage qu'il peut traiter. Multipliez cette quantité par le nombre de nœuds de données à chaud pour le stockage à chaud adressable total.

  15. (Facultatif) Pour activer le stockage à froid, choisissez Enable cold storage (Activer le stockage à froid). Vous devez activer le stockage UltraWarm à froid pour activer le stockage à froid.

  16. Si vous utilisez le mode Multi-AZ en mode veille, trois nœuds maîtres dédiés sont déjà activés. Choisissez le type de nœuds maîtres que vous souhaitez. Si vous avez choisi un domaine Multi-AZ sans veille, sélectionnez Activer les nœuds maîtres dédiés et choisissez le type et le nombre de nœuds principaux souhaités. Les nœuds principaux dédiés augmentent la stabilité du cluster et sont obligatoires pour les domaines dont le nombre d'instances est supérieur à 10. Pour les domaines de production, nous vous recommandons trois nœuds principaux dédiés.

    Note

    Vous pouvez choisir différents types d'instance pour les nœuds principaux dédiés et les nœuds de données. Par exemple, vous pouvez sélectionner des instances à visée générale ou optimisées pour le stockage pour vos nœuds de données, mais des instances optimisées pour le calcul pour vos nœuds principaux dédiés.

  17. (Facultatif) Pour les domaines exécutant OpenSearch Elasticsearch 5.3 et versions ultérieures, la configuration Snapshot n'est pas pertinente. Pour plus d'informations sur les instantanés automatiques, consultez Création d'instantanés d'index dans Amazon Service OpenSearch .

  18. Si vous souhaitez utiliser un point de terminaison personnalisé plutôt que le point de terminaison standard de https://search-mydomain-1a2a3a4a5a6a7a8a9a0a9a8a7a.us-east-1.es.amazonaws.com, choisissez Enable custom endpoint (Activer un point de terminaison personnalisé), puis fournissez un nom et un certificat. Pour de plus amples informations, veuillez consulter Création d'un point de terminaison personnalisé pour Amazon OpenSearch Service.

  19. Sous Network (Réseau), choisissez soit VPC Access (Accès VPC), soit Public access (Accès public). Si vous choisissez Public access (Accès public), passez à l'étape suivante. Si vous choisissez VPC Access (Accès VPC), assurez-vous d'avoir respecté les conditions préalables, puis configurez les paramètres suivants :

    Paramètre Description
    VPC

    Choisissez le cloud privé virtuel (VPC) que vous souhaitez utiliser. Le VPC et le domaine doivent être identiques Région AWS, et vous devez sélectionner un VPC dont la location est définie sur Par défaut. OpenSearch Le service ne prend pas encore en charge VPCs l'utilisation de la location dédiée.
    Sous-réseau

    Choisissez un sous-réseau. Si vous avez activé le mode multi-AZ, vous devez choisir deux ou trois sous-réseaux. OpenSearch Le service placera un point de terminaison VPC et des interfaces réseau élastiques dans les sous-réseaux.

    Vous devez réserver suffisamment d'adresses IP pour les interfaces réseau dans le/les sous-réseau(x). Pour plus d'informations, consultez Réservation d'adresses IP dans un sous-réseau VPC.
    Groupes de sécurité

    Choisissez un ou plusieurs groupes de sécurité VPC qui permettent à l'application requise d'atteindre le domaine de OpenSearch service sur les ports (80 ou 443) et les protocoles (HTTP ou HTTPS) exposés par le domaine. Pour de plus amples informations, veuillez consulter Lancement de vos domaines Amazon OpenSearch Service au sein d'un VPC.
    IAM Role

    Conservez le rôle par défaut. OpenSearch Le service utilise ce rôle prédéfini (également appelé rôle lié au service) pour accéder à votre VPC et pour placer un point de terminaison VPC et des interfaces réseau dans le sous-réseau du VPC. Pour plus d'informations, consultez Rôle lié à un service pour l'accès VPC.
    Type d'adresse IP

    Choisissez le type d'adresse IP à double pile ou IPv4 le type d'adresse IP. La double pile vous permet de partager les ressources du domaine entre IPv4 différents types d' IPv6 adresses. C'est l'option recommandée. Si vous définissez le type d'adresse IP sur Dual Stack, vous ne pourrez pas le modifier ultérieurement.

  20. Activer ou désactiver le contrôle précis des accès :

    • Si vous souhaitez utiliser IAM pour la gestion des utilisateurs, choisissez Set IAM ARN as master user (Définir l'ARN IAM en tant qu'utilisateur principal), puis indiquez l'ARN d'un rôle IAM.

    • Si vous souhaitez utiliser la base de données utilisateur interne, choisissez Create master user et spécifiez un nom d'utilisateur et un mot de passe.

    Quelle que soit l'option choisie, l'utilisateur principal peut accéder à tous les index du cluster et à tout OpenSearch APIs. Pour de plus amples informations sur l'option à choisir, veuillez consulter Concepts clés.

    Si vous désactivez le contrôle d'accès affiné, vous pouvez toujours contrôler l'accès à votre domaine en le plaçant dans un VPC, en appliquant une stratégie d'accès restrictive, ou les deux. Vous devez activer node-to-node le chiffrement et le chiffrement au repos pour bénéficier d'un contrôle d'accès précis.

    Note

    Nous vous recommandons vivement d'activer le contrôle précis des accès pour protéger les données de votre domaine. Le contrôle précis des accès assure la sécurité au niveau du cluster, de l'index, du document et du champ.

  21. (Facultatif) Si vous souhaitez utiliser l'authentification SAML pour les OpenSearch tableaux de bord, choisissez Activer l'authentification SAML et configurez les options SAML pour le domaine. Pour obtenir des instructions, consultez Authentification SAML pour les tableaux de bord OpenSearch .

  22. (Facultatif) Si vous souhaitez utiliser l'authentification Amazon Cognito pour les OpenSearch tableaux de bord, choisissez Activer l'authentification Amazon Cognito. Choisissez ensuite le groupe d'utilisateurs et le groupe d'identités Amazon Cognito que vous souhaitez utiliser pour l'authentification des OpenSearch tableaux de bord. Pour obtenir de l'aide pour créer ces ressources, consultez Configuration de l'authentification Amazon Cognito pour les tableaux de bord OpenSearch.

  23. Pour la politique d'accès, choisissez une politique d'accès ou configurez l'une des vôtres. Si vous choisissez de créer une politique personnalisée, vous pouvez la configurer vous-même ou en importer une à partir d'un autre domaine. Pour en savoir plus, consultez Identity and Access Management dans Amazon OpenSearch Service.

    Note

    Si vous avez activé l'accès VPC, vous ne pouvez pas utiliser des stratégies d'accès basées sur l'IP. Vous devez plutôt utiliser des groupes de sécurité pour contrôler les adresses IP qui peuvent accéder au domaine. Pour en savoir plus, consultez À propos des stratégies d'accès pour les domaines de VPC.

  24. (Facultatif) Pour exiger que toutes les demandes envoyées au domaine arrivent via HTTPS, cochez la case Exiger HTTPS pour tout le trafic vers le domaine). Pour activer node-to-node le chiffrement, sélectionnez le ode-to-node chiffrement N. Pour de plus amples informations, veuillez consulter Node-to-node chiffrement pour Amazon OpenSearch Service. Pour activer le chiffrement des données au repos, sélectionnez Activer le chiffrement des données au repos. Ces options sont présélectionnées si vous avez choisi l'option de déploiement Multi-AZ avec mode veille.

  25. (Facultatif) Sélectionnez Utiliser une clé AWS détenue pour que le OpenSearch Service crée une clé de AWS KMS chiffrement en votre nom (ou utilise celle qu'il a déjà créée). Sinon, choisissez votre propre clé KMS. Pour de plus amples informations, veuillez consulter Chiffrement des données au repos pour Amazon OpenSearch Service.

  26. Pour les périodes creuses, sélectionnez une heure de début pour planifier les mises à jour du logiciel de service et les optimisations Auto-Tune nécessitant un déploiement bleu/vert. Les mises à jour hors pointe permettent de minimiser la pression sur les nœuds principaux dédiés d'un cluster pendant les périodes de trafic élevé.

  27. Pour Auto-Tune, choisissez d'autoriser le OpenSearch service à suggérer des modifications de configuration liées à la mémoire pour votre domaine afin d'améliorer la vitesse et la stabilité. Pour de plus amples informations, veuillez consulter Auto-Tune pour Amazon Service OpenSearch .

    (Facultatif) Sélectionnez Fenêtre creuse pour planifier une fenêtre récurrente au cours de laquelle Auto-Tune met à jour le domaine.

  28. (Facultatif) Sélectionnez Mise à jour logicielle automatique pour activer les mises à jour logicielles automatiques.

  29. (Facultatif) Ajoutez des étiquettes pour décrire votre domaine afin de pouvoir classer et filtrer ces informations. Pour plus d'informations, consultez Marquage des domaines Amazon OpenSearch Service.

  30. (Facultatif) Développez et configurez Paramètres avancés de cluster. Pour un résumé de ces options, consultez la section Paramètres avancés du cluster.

  31. Sélectionnez Create (Créer).

Création OpenSearch de domaines de service (AWS CLI)

Au lieu de créer un domaine OpenSearch de service à l'aide de la console, vous pouvez utiliser le AWS CLI. Pour la syntaxe, consultez Amazon OpenSearch Service dans la référence de commande AWS CLI a.

Exemples de commandes

Ce premier exemple illustre la configuration du domaine OpenSearch de service suivante :

  • Crée un domaine OpenSearch de service nommé mylogs avec OpenSearch la version 1.2

  • Remplit le domaine avec deux instances du type r6g.large.search

  • Utilise un volume de stockage EBS gp3 à usage général (SSD) de 100 Gio pour chaque nœud de données

  • Autorise l'accès anonyme, mais uniquement à partir d'une seule adresse IP : 192.0.2.0/32

aws opensearch create-domain \
    --domain-name mylogs \
    --engine-version OpenSearch_1.2 \
    --cluster-config  InstanceType=r6g.large.search,InstanceCount=2 \
    --ebs-options EBSEnabled=true,VolumeType=gp3,VolumeSize=100,Iops=3500,Throughput=125 \
    --access-policies '{"Version": "2012-10-17", "Statement": [{"Action": "es:*", "Principal":"*","Effect": "Allow", "Condition": {"IpAddress":{"aws:SourceIp":["192.0.2.0/32"]}}}]}'

L'exemple suivant illustre la configuration du domaine OpenSearch de service suivante :

  • Crée un domaine OpenSearch de service nommé mylogs avec Elasticsearch version 7.10

  • Remplit le domaine avec six instances du type r6g.large.search

  • Utilise un volume de stockage EBS gp2 à usage général (SSD) de 100 Gio pour chaque nœud de données

  • Restreint l'accès au service à un seul utilisateur, identifié par son Compte AWS identifiant : 555555555555

  • Répartit des instances dans trois zones de disponibilité

aws opensearch create-domain \
    --domain-name mylogs \
    --engine-version Elasticsearch_7.10 \
    --cluster-config  InstanceType=r6g.large.search,InstanceCount=6,ZoneAwarenessEnabled=true,ZoneAwarenessConfig={AvailabilityZoneCount=3} \
    --ebs-options EBSEnabled=true,VolumeType=gp2,VolumeSize=100 \
    --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": {"AWS": "arn:aws:iam::555555555555:root" }, "Action":"es:*", "Resource": "arn:aws:es:us-east-1:555555555555:domain/mylogs/*" } ] }'

L'exemple suivant illustre la configuration du domaine OpenSearch de service suivante :

  • Crée un domaine OpenSearch de service nommé mylogs avec OpenSearch la version 1.0

  • Remplit le domaine avec dix instances du type r6g.xlarge.search

  • Remplit le domaine avec trois instances du type r6g.large.search comme nœuds principaux dédiés

  • Utilise un volume de stockage EBS d'IOPS provisionnés de 100 Gio, configuré avec des performances de base de 1 000 IOPS pour chaque nœud de données

  • Limite l'accès à un seul utilisateur et à une seule sous-ressource, l'API _search

aws opensearch create-domain \
    --domain-name mylogs \
    --engine-version OpenSearch_1.0 \
    --cluster-config  InstanceType=r6g.xlarge.search,InstanceCount=10,DedicatedMasterEnabled=true,DedicatedMasterType=r6g.large.search,DedicatedMasterCount=3 \
    --ebs-options EBSEnabled=true,VolumeType=io1,VolumeSize=100,Iops=1000 \
    --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::555555555555:root" }, "Action": "es:*", "Resource": "arn:aws:es:us-east-1:555555555555:domain/mylogs/_search" } ] }'
Note

Si vous tentez de créer un domaine de OpenSearch service alors qu'un domaine portant le même nom existe déjà, la CLI ne signale aucune erreur. Au lieu de cela, elle renvoie les détails pour le domaine existant.

Création OpenSearch de domaines de service (AWS SDKs)

AWS SDKs (sauf Android et iOS SDKs) prennent en charge toutes les actions définies dans le Amazon OpenSearch Service API Reference, notammentCreateDomain. Pour un exemple de code, consultez Utilisation du AWS SDKs pour interagir avec Amazon OpenSearch Service. Pour plus d'informations sur l'installation et l'utilisation du AWS SDKs, voir Kits de développement AWS logiciel.

Création OpenSearch de domaines de service (AWS CloudFormation)

OpenSearch Le service est intégré à AWS CloudFormation un service qui vous aide à modéliser et à configurer vos AWS ressources afin que vous puissiez passer moins de temps à créer et à gérer vos ressources et votre infrastructure. Vous créez un modèle qui décrit le OpenSearch domaine que vous souhaitez créer, et qui CloudFormation approvisionne et configure le domaine pour vous. Pour plus d'informations, notamment des exemples de modèles JSON et YAML pour les OpenSearch domaines, consultez la référence au type de ressource Amazon OpenSearch Service dans le guide de l'AWS CloudFormation utilisateur.

Configuration des politiques d'accès

Amazon OpenSearch Service propose plusieurs méthodes pour configurer l'accès à vos domaines OpenSearch de service. Pour plus d’informations, consultez Identity and Access Management dans Amazon OpenSearch Service et Contrôle d'accès précis dans Amazon Service OpenSearch .

La console fournit des stratégies d'accès préconfigurées que vous pouvez personnaliser en fonction des besoins spécifiques de votre domaine. Vous pouvez également importer des politiques d'accès depuis d'autres domaines OpenSearch de service. Pour plus d'informations sur la manière dont ces stratégies d'accès interagissent avec l'accès VPC, consultez À propos des stratégies d'accès pour les domaines de VPC.

Pour configurer les stratégies d'accès (console)

  1. Connectez-vous à https://aws.amazon.com puis choisissez Sign In to the Console (Connectez-vous à la console).

  2. Sous Analytics, sélectionnez Amazon OpenSearch Service.

  3. Dans le panneau de navigation, sous Domains (Domaines), choisissez le domaine que vous souhaitez mettre à jour.

  4. Choisissez Actions et Edit security configuration (Modifier la configuration de sécurité).

  5. Modifiez la stratégie d'accès JSON ou importez une option préconfigurée.

  6. Sélectionnez Enregistrer les modifications.

Paramètres avancés du cluster

Utilisez les options avancées pour configurer les éléments suivants :

Index dans les corps de requête

Spécifie si des références explicites aux index sont autorisées dans le corps des requêtes HTTP. Si vous affectez la valeur false à cette propriété, les utilisateurs ne peuvent pas outrepasser le contrôle d'accès aux sous-ressources. Par défaut, la valeur est true. Pour en savoir plus, consultez Options avancées et considérations relatives aux API.

Allocation de cache de données de champ

Spécifie le pourcentage d'espace du tas Java alloué aux données de champ. Par défaut, ce paramètre correspond à 20 % de la pile de la JVM.

Note

De nombreux clients interrogent les index quotidiens en rotation. Nous vous recommandons de débuter des tests comparatifs avec indices.fielddata.cache.size configuré à 40 % de la pile de la JVM pour la plupart de tels cas d'utilisation. Pour les index très volumineux, vous aurez peut-être besoin d'un grand cache de données de champ.

Nombre max. de clauses

Spécifie le nombre maximal de clauses autorisées dans une requête booléenne Lucene. La valeur par défaut est 1 024. Les requêtes comportant davantage de clauses que le nombre autorisé génèrent une erreur TooManyClauses. Pour plus d'informations, consultez la documentation Lucene.