Tutorial: incorporar datos en una colección mediante Amazon OpenSearch Ingestion

Cómo crear el rol de canalización

1. Abra la consola AWS Identity and Access Management en https://console.aws.amazon.com/iamv2/.

2. Seleccione Políticas y, a continuación, seleccione Crear política.

3. Seleccione JSON y pegue la siguiente política en el editor. Modifique el ARN y el nombre de la colección en consecuencia.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Action": [
           "aoss:BatchGetCollection",
           "aoss:APIAccessAll"
         ],
         "Effect": "Allow",
         "Resource": "arn:aws:aoss:us-east-1:your-account-id:collection/collection-id"
       },
       {
         "Action": [
           "aoss:CreateSecurityPolicy",
           "aoss:GetSecurityPolicy",
           "aoss:UpdateSecurityPolicy"
         ],
         "Effect": "Allow",
         "Resource": "*",
         "Condition": {
           "StringEquals": {
             "aoss:collection": "collection-name"
           }
         }
       }
     ]
   }

4. seleccione Siguiente, seleccione Siguiente y asigne a su política el nombre collection-pipeline-policy.

5. Seleccione Crear política.

6. A continuación, cree un rol y añádale la política. Seleccione Roles y, a continuación, Crear rol.

7. Seleccione Política de confianza personalizada y pegue la siguiente política en el editor:

   {
      "Version":"2012-10-17",
      "Statement":[
         {
            "Effect":"Allow",
            "Principal":{
               "Service":"osis-pipelines.amazonaws.com"
            },
            "Action":"sts:AssumeRole"
         }
      ]
   }

8. Seleccione Siguiente. Luego busque y seleccione collection-pipeline-policy (que acaba de crear).

9. Seleccione Siguiente y asigne al rol el nombre PipelineRole.

10. Seleccione Crear rol.

1. Vaya a la consola de Amazon OpenSearch Service en https://console.aws.amazon.com/aos/home.

2. Seleccione Colecciones del panel de navegación de la izquierda y elija Crear colección.

3. Nombre la colección ingestion-collection.

4. En Seguridad, elija Creación estándar.

5. En Configuración de acceso a la red, cambie el tipo de acceso a Público.

6. Mantenga todas las demás configuraciones en sus valores predeterminados y elija Siguiente.

7. Ahora, configure una política de acceso a los datos para la colección. Seleccione JSON para el Método de definición y pegue la siguiente política en el editor. Esta política realiza dos tareas:

   • Permite que el rol de canalización escriba en la colección.

   • Le permite leer de la colección. Más adelante, después de incorporar algunos datos de muestra a la canalización, consultará la colección para garantizar que los datos se hayan incorporado y escrito correctamente en el índice.

     [
       {
         "Rules": [
           {
             "Resource": [
               "index/ingestion-collection/*"
             ],
             "Permission": [
               "aoss:CreateIndex",
               "aoss:UpdateIndex",
               "aoss:DescribeIndex",
               "aoss:ReadDocument",
               "aoss:WriteDocument"
             ],
             "ResourceType": "index"
           }
         ],
         "Principal": [
           "arn:aws:iam::your-account-id:role/PipelineRole",
           "arn:aws:iam::your-account-id:role/Admin"
         ],
         "Description": "Rule 1"
       }
     ]

8. Sustituya los elementos Principal. La primera entidad principal debe especificar el rol de canalización que ha creado. El segundo debe especificar un usuario o rol que pueda usar para consultar la colección más adelante.

9. Seleccione Siguiente. Asigne a la política de acceso el nombre pipeline-domain-access y vuelva a seleccionar Siguiente.

10. Revise la configuración de la colección y seleccione Enviar.

Para crear una canalización

1. En la consola de Amazon OpenSearch Service, seleccione Canalizaciones en el panel de navegación izquierdo.

2. Seleccione Create pipeline.

3. Seleccione la canalización en blanco y, a continuación, elija Seleccionar proyecto.

4. Asigne el nombre serverless-ingestion a la canalización y mantenga la configuración de capacidad como predeterminada.

5. En este tutorial, crearemos una subcanalización sencilla llamada log-pipeline que utilice el complemento fuente HTTP. El complemento acepta datos de registro en un formato de matriz JSON. Especificaremos una única colección de OpenSearch sin servidor como el receptor e incorporaremos todos los datos al índice my_logs.

   En Configuración de canalización, pegue la siguiente configuración de YAML en el editor:

   version: "2"
   log-pipeline:
     source:
       http:
         path: "/${pipelineName}/test_ingestion_path"
     processor:
       - date:
           from_time_received: true
           destination: "@timestamp"
     sink:
       - opensearch:
           hosts: [ "https://collection-id.us-east-1.aoss.amazonaws.com" ]
           index: "my_logs"
           aws:
             sts_role_arn: "arn:aws:iam::your-account-id:role/PipelineRole"
             region: "us-east-1"
             serverless: true

6. Reemplace la URL hosts por el punto de conexión de la colección que creó en la sección anterior. Sustituya el parámetro sts_role_arn por el ARN de PipelineRole. Si lo desea, modifique el region.

7. Seleccione Validar canalización y asegúrese de que la validación se realice correctamente.

8. Para simplificar este tutorial, configuraremos el acceso público para la canalización. En Red, seleccione Acceso público.

   Para obtener información acerca de la configuración del acceso a VPC, consulte Configuración del acceso a la VPC para canalizaciones de Amazon OpenSearch Ingestion.

9. Mantenga habilitada la publicación de registros en caso de que surja algún problema al completar este tutorial. Para obtener más información, consulte Monitoreo de registros de canalización.

   Especifique el siguiente nombre de grupo de registro: /aws/vendedlogs/OpenSearchIngestion/serverless-ingestion/audit-logs

10. Seleccione Siguiente. Revise la configuración de la canalización y elija Crear canalización. La canalización tarda entre 5 y 10 minutos en activarse.