Recherche entre clusters dans Amazon Service OpenSearch

Configurer une connexion

1. Dans le tableau de bord de votre domaine, choisissez un domaine, puis accédez à l'onglet Connections (Connexions).

2. Dans la section Outbound Connections (Connexions sortantes), choisissez Request (Demande).

3. Dans Alias de la connexion, saisissez un nom pour votre connexion.

4. Choisissez entre vous connecter à un domaine dans votre Compte AWS région ou dans un autre compte ou région.

   • Pour vous connecter à un cluster dans votre Compte AWS région, sélectionnez le domaine dans le menu déroulant et choisissez Request.

   • Pour vous connecter à un cluster dans une autre région Compte AWS ou dans une autre région, sélectionnez l'ARN du domaine distant et choisissez Request. Pour connecter des domaines entre différentes régions, les deux domaines doivent exécuter Elasticsearch version 7.10 ou ultérieure ou. OpenSearch

5. Pour ignorer les clusters non disponibles pour les requêtes de cluster, sélectionnez Ignorer les clusters non disponibles. Ce paramètre garantit que vos requêtes inter-clusters renvoient des résultats partiels malgré les défaillances sur un ou plusieurs clusters distants.

6. La recherche inter-clusters valide d'abord la demande de connexion pour s'assurer que les conditions préalables sont remplies. Si les domaines s'avèrent incompatibles, la demande de connexion passera à l'état Validation failed.

7. Une fois la demande de connexion validée avec succès, elle est envoyée au domaine de destination, où elle doit être approuvée. Tant que cette approbation n'a pas eu lieu, la connexion reste dans l'état Pending acceptance. Lorsque la demande de connexion sera acceptée au niveau du domaine de destination, l'état passera à Active et le domaine de destination deviendra disponible pour les demandes.

   • La page du domaine affiche l'état global du domaine et les détails de l'état de l'instance de votre domaine de destination. Seuls les propriétaires de domaines ont la possibilité de créer, de visualiser, de supprimer et de surveiller les connexions vers ou depuis leurs domaines.

1. Dans le tableau de bord de votre domaine, accédez à l'onglet Connexions.

2. Sélectionnez les connexions de domaine que vous souhaitez supprimer et choisissez Delete (Supprimer), puis confirmez la suppression.

1. Vous envoyez une demande de recherche inter-clusters vers le domaine source.

2. Le domaine source évalue cette demande en fonction de sa stratégie d'accès au domaine. Étant donné que la recherche inter-clusters nécessite un contrôle précis des accès, nous recommandons une stratégie d'accès ouvert sur le domaine source.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "AWS": [
             "*"
           ]
         },
         "Action": [
           "es:ESHttp*"
         ],
         "Resource": "arn:aws:es:region:account:domain/src-domain/*"
       }
     ]
   }

   Note

   Si vous incluez des index distants dans le chemin, vous devez encoder l'URI en URL dans l'ARN du domaine. Par exemple, utilisez arn:aws:es:us-east-1:123456789012:domain/my-domain/local_index,dst%3Aremote_index plutôt que arn:aws:es:us-east-1:123456789012:domain/my-domain/local_index,dst:remote_index.

   Si vous choisissez d'utiliser une stratégie d'accès restrictive en plus d'un contrôle précis des accès, votre politique doit autoriser l'accès es:ESHttpGet au minimum.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "AWS": [
             "arn:aws:iam::123456789012:user/test-user"
           ]
         },
         "Action": "es:ESHttpGet",
         "Resource": "arn:aws:es:region:account:domain/src-domain/*"
       }
     ]
   }

3. Le Contrôle précis des accès sur le domaine source évalue la demande :

   • La demande est-elle signée avec des informations d'identification de base IAM ou HTTP valides ?

   • Si c'est le cas, l'utilisateur a-t-il l'autorisation d'effectuer la recherche et d'accéder aux données ?

   Si la demande recherche uniquement des données sur le domaine de destination (par exemple, dest-alias:dest-index/_search), vous avez uniquement besoin d'autorisations sur le domaine de destination.

   Si la demande recherche des données sur les deux domaines (par exemple, source-index,dest-alias:dest-index/_search), vous avez besoin d'autorisations sur les deux domaines.

   Dans le cadre d'un contrôle d'accès précis, les utilisateurs doivent disposer de l'indices:admin/shards/search_shardsautorisation en plus des autorisations standard read ou search des autorisations pour les index concernés.

4. Le domaine source transmet la demande au domaine de destination. Le domaine de destination évalue cette demande en fonction de sa stratégie d'accès au domaine. Vous devez inclure l'autorisation es:ESCrossClusterGet sur le domaine de destination :

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "AWS": "*"
         },
         "Action": "es:ESCrossClusterGet",
         "Resource": "arn:aws:es:region:account:domain/dst-domain"
       }
     ]
   }

   Assurez-vous que l'autorisation es:ESCrossClusterGet est appliquée pour /dst-domain et non pour /dst-domain/*.

   Toutefois, cette politique minimale autorise uniquement les recherches inter-clusters. Pour effectuer d'autres opérations, notamment l'indexation de documents et l'exécution de recherches standard, vous avez besoin d'autorisations supplémentaires. Nous recommandons la politique suivante sur le domaine de destination :

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "AWS": [
             "*"
           ]
         },
         "Action": [
           "es:ESHttp*"
         ],
         "Resource": "arn:aws:es:region:account:domain/dst-domain/*"
       },
       {
         "Effect": "Allow",
         "Principal": {
           "AWS": "*"
         },
         "Action": "es:ESCrossClusterGet",
         "Resource": "arn:aws:es:region:account:domain/dst-domain"
       }
     ]
   }

   Note

   Toutes les demandes de recherche entre clusters entre domaines sont cryptées en transit par défaut dans le cadre du node-to-node chiffrement.

5. Le domaine de destination effectue la recherche et renvoie les résultats au domaine source.

6. Le domaine source combine ses propres résultats (le cas échéant) avec ceux du domaine de destination et vous les renvoie.

7. Nous recommandons Postman pour les demandes de test :

   • Sur le domaine de destination, indexez un document :

     POST https://dst-domain.us-east-1.es.amazonaws.com/books/_doc/1
     
     {
       "Dracula": "Bram Stoker"
     }

   • Pour interroger cet index à partir du domaine source, incluez l'alias de connexion du domaine de destination dans la requête.

     GET https://src-domain.us-east-1.es.amazonaws.com/<connection_alias>:books/_search
     
     {
         ...
       "hits": [
         {
           "_index": "source-destination:books",
           "_type": "_doc",
           "_id": "1",
           "_score": 1,
           "_source": {
             "Dracula": "Bram Stoker"
           }
         }
       ]
     }
     

     Vous trouverez l'alias de connexion dans l'onglet Connexions du tableau de bord de votre domaine.

   • Si vous configurez une connexion entre domain-a -> domain-b avec un alias de connexion cluster_b et domain-a -> domain-c avec un alias de connexion cluster_c, recherchez domain-a, domain-b et domain-c comme suit :

     GET https://src-domain.us-east-1.es.amazonaws.com/local_index,cluster_b:b_index,cluster_c:c_index/_search
     {
       "query": {
         "match": {
           "user": "domino"
         }
       }
     }

     Réponse

     {
       "took": 150,
       "timed_out": false,
       "_shards": {
         "total": 3,
         "successful": 3,
         "failed": 0,
         "skipped": 0
       },
       "_clusters": {
         "total": 3,
         "successful": 3,
         "skipped": 0
       },
       "hits": {
         "total": 3,
         "max_score": 1,
         "hits": [
           {
             "_index": "local_index",
             "_type": "_doc",
             "_id": "0",
             "_score": 1,
             "_source": {
               "user": "domino",
               "message": "Lets unite the new mutants",
               "likes": 0
             }
           },
           {
             "_index": "cluster_b:b_index",
             "_type": "_doc",
             "_id": "0",
             "_score": 2,
             "_source": {
               "user": "domino",
               "message": "I'm different",
               "likes": 0
             }
           },
           {
             "_index": "cluster_c:c_index",
             "_type": "_doc",
             "_id": "0",
             "_score": 3,
             "_source": {
               "user": "domino",
               "message": "So am I",
               "likes": 0
             }
           }
         ]
       }
     }

     Si vous n'avez pas choisi d'ignorer les clusters non disponibles dans la configuration de votre connexion, tous les clusters de destination que vous recherchez doivent être disponibles pour que votre demande de recherche s'exécute correctement. Sinon, la requête entière échoue. Même si l'un des domaines n'est pas disponible, aucun résultat de recherche n'est renvoyé.