Pesquisa entre clusters no Amazon OpenSearch Service

Como configurar uma conexão

1. No painel do domínio, escolha um domínio e escolha a guia Conexões.

2. Na seção Conexões de saída, escolha Solicitar.

3. Em Alias de conexão, insira um nome para a conexão.

4. Escolha entre conectar-se a um domínio na sua Conta da AWS e região ou em outra conta ou região.

   • Para se conectar a um cluster em sua região e Conta da AWS, selecione o domínio no menu suspenso e escolha Solicitação.

   • Para se conectar a um cluster em outra região ou Conta da AWS, especifique o ARN do domínio remoto e escolha Solicitação. Para conectar domínios entre regiões, ambos os domínios devem estar executando o Elasticsearch versão 7.10 ou posterior ou o OpenSearch.

5. Para ignorar clusters indisponíveis para consultas de cluster, selecione Ignorar indisponíveis. Essa configuração garante que suas consultas entre clusters retornem resultados parciais, apesar de falhas em um ou mais clusters remotos.

6. A pesquisa entre clusters primeiro valida a solicitação de conexão para ter certeza de que os pré-requisitos são atendidos. Se os domínios forem considerados incompatíveis, a solicitação de conexão entrará no estado Validation failed.

7. Depois que a solicitação de conexão é validada com êxito, ela é enviada para o domínio de destino, onde precisa ser aprovada. Até que essa aprovação aconteça, a conexão permanecerá em um estado Pending acceptance. Quando a solicitação de conexão é aceita no domínio de destino, o estado muda para Active e o domínio de destino torna-se disponível para consultas.

   • A página de domínio mostra os detalhes gerais da integridade do domínio e da instância do domínio de destino. Os proprietários de domínios têm a flexibilidade de criar, visualizar, remover e monitorar conexões de saída e de entrada de seus domínios.

1. No painel do domínio, selecione a guia Conexões.

2. Selecione as conexões de domínio a serem removidas e escolha Excluir. Em seguida, confirme a exclusão.

1. Envie uma solicitação de pesquisa entre clusters para o domínio de origem.

2. O domínio de origem avalia essa solicitação em relação à política de acesso ao domínio. Como a pesquisa entre clusters requer controle de acesso refinado, recomendamos uma política de acesso aberto no domínio de origem.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "AWS": [
             "*"
           ]
         },
         "Action": [
           "es:ESHttp*"
         ],
         "Resource": "arn:aws:es:region:account:domain/src-domain/*"
       }
     ]
   }

   nota

   Se você incluir índices remotos no caminho, deverá codificar em URL o URI no ARN do domínio. Por exemplo, use arn:aws:es:us-east-1:123456789012:domain/my-domain/local_index,dst%3Aremote_index em vez de arn:aws:es:us-east-1:123456789012:domain/my-domain/local_index,dst:remote_index.

   Se você optar por usar uma política de acesso restritiva além do controle de acesso refinado, sua política deverá permitir o acesso, no mínimo, ao es:ESHttpGet.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "AWS": [
             "arn:aws:iam::123456789012:user/test-user"
           ]
         },
         "Action": "es:ESHttpGet",
         "Resource": "arn:aws:es:region:account:domain/src-domain/*"
       }
     ]
   }

3. O controle de acesso refinado no domínio de origem avalia a solicitação:

   • A solicitação é assinada com credenciais básicas do IAM ou HTTP válidas?

   • Em caso afirmativo, o usuário tem permissão para realizar a pesquisa e acessar os dados?

   Se a solicitação pesquisar dados somente no domínio de destino (por exemplo, dest-alias:dest-index/_search), você só precisará de permissões no domínio de destino.

   Se a solicitação pesquisar dados nos dois domínios (por exemplo, source-index,dest-alias:dest-index/_search), você precisará de permissões nos dois domínios.

   No controle de acesso refinado, os usuários devem ter a permissão indices:admin/shards/search_shards além das permissões read ou search padrão para os índices relevantes.

4. O domínio de origem passa a solicitação para o domínio de destino. O domínio de destino avalia essa solicitação em relação à política de acesso ao domínio. Você deve incluir a permissão es:ESCrossClusterGet no domínio de destino:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "AWS": "*"
         },
         "Action": "es:ESCrossClusterGet",
         "Resource": "arn:aws:es:region:account:domain/dst-domain"
       }
     ]
   }

   Verifique se a permissão es:ESCrossClusterGet é aplicada a /dst-domain e não a /dst-domain/*.

   No entanto, essa política mínima só permite pesquisas entre clusters. Para executar outras operações, como indexar documentos e executar pesquisas padrão, você precisa de permissões adicionais. Recomendamos a seguinte política no domínio de destino:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "AWS": [
             "*"
           ]
         },
         "Action": [
           "es:ESHttp*"
         ],
         "Resource": "arn:aws:es:region:account:domain/dst-domain/*"
       },
       {
         "Effect": "Allow",
         "Principal": {
           "AWS": "*"
         },
         "Action": "es:ESCrossClusterGet",
         "Resource": "arn:aws:es:region:account:domain/dst-domain"
       }
     ]
   }

   nota

   Todas as solicitações de pesquisa entre clusters entre domínios são criptografadas em trânsito por padrão como parte da criptografia de nó para nó.

5. O domínio de destino executa a pesquisa e retorna os resultados para o domínio de origem.

6. O domínio de origem combina seus próprios resultados (se houver) com os resultados do domínio de destino e os retorna para você.

7. Recomendamos o Postman para solicitações de teste:

   • No domínio de destino, indexe um documento:

     POST https://dst-domain.us-east-1.es.amazonaws.com/books/_doc/1
     
     {
       "Dracula": "Bram Stoker"
     }

   • Para consultar esse índice do domínio de origem, inclua o alias de conexão do domínio de destino dentro da consulta.

     GET https://src-domain.us-east-1.es.amazonaws.com/<connection_alias>:books/_search
     
     {
         ...
       "hits": [
         {
           "_index": "source-destination:books",
           "_type": "_doc",
           "_id": "1",
           "_score": 1,
           "_source": {
             "Dracula": "Bram Stoker"
           }
         }
       ]
     }
     

     Você pode encontrar o alias de conexão na guia Conexões no painel do domínio.

   • Se você configurar uma conexão entre domain-a -> domain-b com alias de conexão cluster_b e domain-a -> domain-c com alias de conexão cluster_c, domain-a, pesquise domain-b e domain-c da seguinte forma:

     GET https://src-domain.us-east-1.es.amazonaws.com/local_index,cluster_b:b_index,cluster_c:c_index/_search
     {
       "query": {
         "match": {
           "user": "domino"
         }
       }
     }

     Resposta

     {
       "took": 150,
       "timed_out": false,
       "_shards": {
         "total": 3,
         "successful": 3,
         "failed": 0,
         "skipped": 0
       },
       "_clusters": {
         "total": 3,
         "successful": 3,
         "skipped": 0
       },
       "hits": {
         "total": 3,
         "max_score": 1,
         "hits": [
           {
             "_index": "local_index",
             "_type": "_doc",
             "_id": "0",
             "_score": 1,
             "_source": {
               "user": "domino",
               "message": "Lets unite the new mutants",
               "likes": 0
             }
           },
           {
             "_index": "cluster_b:b_index",
             "_type": "_doc",
             "_id": "0",
             "_score": 2,
             "_source": {
               "user": "domino",
               "message": "I'm different",
               "likes": 0
             }
           },
           {
             "_index": "cluster_c:c_index",
             "_type": "_doc",
             "_id": "0",
             "_score": 3,
             "_source": {
               "user": "domino",
               "message": "So am I",
               "likes": 0
             }
           }
         ]
       }
     }

     Se você não optou por ignorar clusters indisponíveis na sua configuração de conexão, todos os clusters de destino na sua pesquisa precisam estar disponíveis para que sua solicitação de pesquisa seja executada com êxito. Caso contrário, toda a solicitação falhará — mesmo que um dos domínios não esteja disponível, nenhum resultado da pesquisa será retornado.