Tutorial: ingestão de dados em uma coleção usando a Ingestão do Amazon OpenSearch

Para criar a função de pipeline

1. Abra o console AWS Identity and Access Management em https://console.aws.amazon.com/iamv2/.

2. Escolha Políticas e, depois, Criar política.

3. Selecione JSON e cole a política a seguir no editor. Modifique o ARN da coleção e o nome de acordo.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Action": [
           "aoss:BatchGetCollection",
           "aoss:APIAccessAll"
         ],
         "Effect": "Allow",
         "Resource": "arn:aws:aoss:us-east-1:your-account-id:collection/collection-id"
       },
       {
         "Action": [
           "aoss:CreateSecurityPolicy",
           "aoss:GetSecurityPolicy",
           "aoss:UpdateSecurityPolicy"
         ],
         "Effect": "Allow",
         "Resource": "*",
         "Condition": {
           "StringEquals": {
             "aoss:collection": "collection-name"
           }
         }
       }
     ]
   }

4. Escolha Próximo, então Próximo, e nomeie sua política collection-pipeline-policy.

5. Escolha Criar política.

6. Depois, crie um perfil e anexe a política à ele. Selecione Funções e, em seguida, Criar função.

7. Escolha Política de confiança personalizada e cole a política a seguir no editor:

   {
      "Version":"2012-10-17",
      "Statement":[
         {
            "Effect":"Allow",
            "Principal":{
               "Service":"osis-pipelines.amazonaws.com"
            },
            "Action":"sts:AssumeRole"
         }
      ]
   }

8. Escolha Próximo. Em seguida, pesquise e selecione collection-pipeline-policy (que você acabou de criar).

9. Escolha Próximo e nomeie a função PipelineRole.

10. Selecione Criar função.

1. Navegue até o console do Amazon OpenSearch Service em https://console.aws.amazon.com/aos/home.

2. Escolha Coleções no painel de navegação à esquerda e escolha Criar coleção.

3. Nomeie a coleção ingestion-collection.

4. Em Segurança, escolha Criação padrão.

5. Em Configurações de acesso à rede, altere o tipo de acesso para Público .

6. Mantenha todas as outras configurações em seus valores padrão e escolha Próximo.

7. Agora, configure uma política de acesso aos dados para a coleção. Para Método de definição, escolha JSON e cole a seguinte política no editor. Essa política faz duas coisas:

   • Permite que o perfil de pipeline faça gravações na coleção.

   • Permite que você leia a coleção. Posteriormente, depois de ingerir alguns dados de amostra no pipeline, você consultará a coleção para garantir que os dados foram ingeridos e gravados com sucesso no índice.

     [
       {
         "Rules": [
           {
             "Resource": [
               "index/ingestion-collection/*"
             ],
             "Permission": [
               "aoss:CreateIndex",
               "aoss:UpdateIndex",
               "aoss:DescribeIndex",
               "aoss:ReadDocument",
               "aoss:WriteDocument"
             ],
             "ResourceType": "index"
           }
         ],
         "Principal": [
           "arn:aws:iam::your-account-id:role/PipelineRole",
           "arn:aws:iam::your-account-id:role/Admin"
         ],
         "Description": "Rule 1"
       }
     ]

8. Substitua os elementos Principal. A entidade principal deve especificar o perfil do pipeline que você criou. A entidade secundária deve especificar um usuário ou perfil que você possa usar para consultar a coleção posteriormente.

9. Escolha Próximo. Nomeie a política de acesso pipeline-domain-access e escolha Próximo novamente.

10. Reveja sua configuração da coleção e escolha Enviar.

Para criar um pipeline

1. No console do Amazon OpenSearch Service, escolha Pipelines no painel de navegação à esquerda.

2. Selecione Criar pipeline.

3. Selecione o pipeline em branco e escolha Selecionar esquema.

4. Nomeie o pipeline como serverless-ingestion e mantenha as configurações de capacidade como padrão.

5. Neste tutorial, criaremos um subpipeline simples chamado log-pipeline, que usa o plug-in de fonte do HTTP. O plug-in aceita dados de log em formato de matriz JSON. Vamos especificar uma única coleção tecnologia sem servidor do OpenSearch como coletor e ingerir todos os dados no índice my_logs.

   Em Configuração do pipeline, cole a seguinte configuração de YAML no editor:

   version: "2"
   log-pipeline:
     source:
       http:
         path: "/${pipelineName}/test_ingestion_path"
     processor:
       - date:
           from_time_received: true
           destination: "@timestamp"
     sink:
       - opensearch:
           hosts: [ "https://collection-id.us-east-1.aoss.amazonaws.com" ]
           index: "my_logs"
           aws:
             sts_role_arn: "arn:aws:iam::your-account-id:role/PipelineRole"
             region: "us-east-1"
             serverless: true

6. Substitua o URL hosts pelo endpoint da coleção criada na seção anterior. Substitua o parâmetro sts_role_arn pelo ARN de PipelineRole. Opcionalmente, modifique o region.

7. Escolha Validar pipeline e assegure-se de que a validação seja bem-sucedida.

8. Para simplificar neste tutorial, configuraremos o acesso público do pipeline. Sob Rede, selecione Acesso público.

   Para obter mais informações sobre como configurar VPC, consulte Como configurar o acesso da VPC aos pipelines do Amazon OpenSearch Ingestion.

9. Mantenha a publicação de logs ativada caso encontre algum problema ao concluir este tutorial. Para ter mais informações, consulte Monitoramento dos logs de pipeline.

   Especifique o seguinte nome do grupo de logs: /aws/vendedlogs/OpenSearchIngestion/serverless-ingestion/audit-logs

10. Escolha Próximo. Revise sua configuração do pipeline e escolha Criar pipeline. O pipeline leva de 5 a 10 minutos para se tornar ativo.