Tutorial: Ingestão de dados em uma coleção usando o Amazon OpenSearch Ingestion

Para criar a função de pipeline

1. Abra o AWS Identity and Access Management console em https://console.aws.amazon.com/iamv2/.

2. Escolha Políticas e, depois, Criar política.

3. Selecione JSON e cole a política a seguir no editor.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Action": [
           "aoss:BatchGetCollection",
           "aoss:APIAccessAll"
         ],
         "Effect": "Allow",
         "Resource": "arn:aws:aoss:{region}:{your-account-id}:collection/{collection-id}"
       },
       {
         "Action": [
           "aoss:CreateSecurityPolicy",
           "aoss:GetSecurityPolicy",
           "aoss:UpdateSecurityPolicy"
         ],
         "Effect": "Allow",
         "Resource": "*",
         "Condition": {
           "StringEquals": {
             "aoss:collection": "{collection-name}"
           }
         }
       }
     ]
   }

4. Escolha Avançar, escolha Avançar e nomeie sua política collection-pipeline-policy.

5. Escolha Criar política.

6. Depois, crie um perfil e anexe a política à ele. Selecione Funções e, em seguida, Criar função.

7. Escolha Política de confiança personalizada e cole a política a seguir no editor:

   {
      "Version":"2012-10-17",
      "Statement":[
         {
            "Effect":"Allow",
            "Principal":{
               "Service":"osis-pipelines.amazonaws.com"
            },
            "Action":"sts:AssumeRole"
         }
      ]
   }

8. Escolha Próximo. Em seguida, pesquise e selecione collection-pipeline-policy(que você acabou de criar).

9. Escolha Avançar e nomeie a função PipelineRole.

10. Selecione Criar função.

1. Navegue até o console do Amazon OpenSearch Service em https://console.aws.amazon.com/aos/home.

2. Escolha Coleções no painel de navegação à esquerda e escolha Criar coleção.

3. Nomeie a coleção ingestion-collection.

4. Em Configurações de acesso à rede, altere o tipo de acesso para Público .

5. Mantenha todas as outras configurações em seus valores padrão e escolha Próximo.

6. Para Método de definição, escolha JSON e cole a seguinte política no editor. Essa política faz duas coisas:

   • Permite que o perfil de pipeline faça gravações na coleção.

   • Permite que você leia a coleção. Posteriormente, depois de ingerir alguns dados de amostra no pipeline, você consultará a coleção para garantir que os dados foram ingeridos e gravados com sucesso no índice.

     [
       {
         "Rules": [
           {
             "Resource": [
               "index/ingestion-collection/*"
             ],
             "Permission": [
               "aoss:CreateIndex",
               "aoss:UpdateIndex",
               "aoss:DescribeIndex",
               "aoss:ReadDocument",
               "aoss:WriteDocument"
             ],
             "ResourceType": "index"
           }
         ],
         "Principal": [
           "arn:aws:iam::{your-account-id}:role/PipelineRole",
           "arn:aws:iam::{your-account-id}:role/Admin"
         ],
         "Description": "Rule 1"
       }
     ]

7. Substitua os elementos Principal. A entidade principal deve especificar o perfil do pipeline que você criou. A entidade secundária deve especificar um usuário ou perfil que você possa usar para consultar a coleção posteriormente.

8. Escolha Próximo. Nomeie a política de acesso pipeline-domain-accesse escolha Avançar novamente.

9. Reveja sua configuração da coleção e escolha Enviar.

Para criar um pipeline

1. No console do Amazon OpenSearch Service, escolha Pipelines no painel de navegação esquerdo.

2. Selecione Criar pipeline.

3. Nomeie o pipeline como serverless-ingestion e mantenha as configurações de capacidade como padrão.

4. Neste tutorial, criaremos um subpipeline simples chamado log-pipeline, que usa o plug-in de fonte do HTTP. Este plug-in aceita dados de log em formato de matriz JSON. Vamos especificar uma única coleção OpenSearch Serverless como coletor e ingerir todos os dados no índice. my_logs

   Em Configuração do pipeline, cole a seguinte configuração de YAML no editor:

   version: "2"
   log-pipeline:
     source:
       http:
         path: "/${pipelineName}/test_ingestion_path"
     processor:
       - date:
           from_time_received: true
           destination: "@timestamp"
     sink:
       - opensearch:
           hosts: [ "https://{collection-id}.us-east-1.aoss.amazonaws.com" ]
           index: "my_logs"
           aws:
             sts_role_arn: "arn:aws:iam::{your-account-id}:role/PipelineRole"
             region: "us-east-1"
             serverless: true

5. Substitua o URL hosts pelo endpoint da coleção criada na seção anterior. Substitua o parâmetro sts_role_arn pelo ARN de PipelineRole. Opcionalmente, modifique o region.

6. Escolha Validar pipeline e certifique-se de que a validação seja bem-sucedida.

7. Para simplificar neste tutorial, configuraremos o acesso público do pipeline. Sob Rede, selecione Acesso público.

   Para obter mais informações sobre como configurar VPC, consulte Configurando o acesso à VPC para pipelines de ingestão da Amazon OpenSearch .

8. Mantenha a publicação de logs ativada caso encontre algum problema ao concluir este tutorial. Para ter mais informações, consulte Monitoramento dos logs de pipeline.

   Especifique o seguinte nome do grupo de logs: /aws/vendedlogs/OpenSearchIngestion/serverless-ingestion/audit-logs

9. Escolha Próximo. Revise sua configuração do pipeline e escolha Criar pipeline. O pipeline leva de 5 a 10 minutos para se tornar ativo.