Tutorial: Inserimento di dati in una raccolta con Amazon Ingestion OpenSearch

Per creare il ruolo della pipeline

1. Apri la AWS Identity and Access Management console all'indirizzo https://console.aws.amazon.com/iamv2/.

2. Scegli Politiche, quindi scegli Crea politica.

3. Seleziona JSON e incolla la seguente politica nell'editor.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Action": [
           "aoss:BatchGetCollection",
           "aoss:APIAccessAll"
         ],
         "Effect": "Allow",
         "Resource": "arn:aws:aoss:{region}:{your-account-id}:collection/{collection-id}"
       },
       {
         "Action": [
           "aoss:CreateSecurityPolicy",
           "aoss:GetSecurityPolicy",
           "aoss:UpdateSecurityPolicy"
         ],
         "Effect": "Allow",
         "Resource": "*",
         "Condition": {
           "StringEquals": {
             "aoss:collection": "{collection-name}"
           }
         }
       }
     ]
   }

4. Scegli Avanti, scegli Avanti e dai un nome alla tua politica collection-pipeline-policy.

5. Scegli Crea policy.

6. Quindi, crea un ruolo e allega la politica ad esso. Selezionare Roles (Ruoli), quindi selezionare Create role (Crea ruolo).

7. Scegli una politica di fiducia personalizzata e incolla la seguente politica nell'editor:

   {
      "Version":"2012-10-17",
      "Statement":[
         {
            "Effect":"Allow",
            "Principal":{
               "Service":"osis-pipelines.amazonaws.com"
            },
            "Action":"sts:AssumeRole"
         }
      ]
   }

8. Seleziona Avanti. Quindi cerca e seleziona collection-pipeline-policy(che hai appena creato).

9. Scegli Avanti e assegna un nome al ruolo PipelineRole.

10. Scegli Crea ruolo.

1. Accedi alla console di Amazon OpenSearch Service all'indirizzo https://console.aws.amazon.com/aos/home.

2. Scegli Raccolte dalla barra di navigazione a sinistra e scegli Crea raccolta.

3. Assegna un nome alla raccolta ingestion-collection.

4. In Impostazioni di accesso alla rete, modifica il tipo di accesso in Pubblico.

5. Mantenere tutte le altre impostazioni come valori predefiniti e scegliere Successivo.

6. Per il metodo di definizione, scegli JSON e incolla la seguente politica nell'editor. Questa politica fa due cose:

   • Consente al ruolo della pipeline di scrivere nella raccolta.

   • Consente di leggere i contenuti della raccolta. Successivamente, dopo aver inserito alcuni dati di esempio nella pipeline, interrogherete la raccolta per assicurarvi che i dati siano stati inseriti e scritti correttamente nell'indice.

     [
       {
         "Rules": [
           {
             "Resource": [
               "index/ingestion-collection/*"
             ],
             "Permission": [
               "aoss:CreateIndex",
               "aoss:UpdateIndex",
               "aoss:DescribeIndex",
               "aoss:ReadDocument",
               "aoss:WriteDocument"
             ],
             "ResourceType": "index"
           }
         ],
         "Principal": [
           "arn:aws:iam::{your-account-id}:role/PipelineRole",
           "arn:aws:iam::{your-account-id}:role/Admin"
         ],
         "Description": "Rule 1"
       }
     ]

7. Sostituisci gli elementi. Principal Il primo principale dovrebbe specificare il ruolo della pipeline che hai creato. Il secondo dovrebbe specificare un utente o un ruolo da utilizzare per interrogare la raccolta in un secondo momento.

8. Seleziona Avanti. Assegna un nome alla politica di accesso pipeline-domain-accesse scegli nuovamente Avanti.

9. Rivedi la configurazione della raccolta e scegli Submit (Invia).

Per creare una pipeline

1. Nella console di Amazon OpenSearch Service, scegli Pipelines dal riquadro di navigazione a sinistra.

2. Scegliere Create pipeline (Crea pipeline).

3. Assegna un nome alla pipeline serverless-ingestion e mantieni le impostazioni di capacità come predefinite.

4. In questo tutorial, creeremo una semplice sottopipeline chiamata che utilizza il plugin sorgente HTTP. log-pipeline Il plugin accetta i dati di registro in un formato di matrice JSON. Specificheremo una singola raccolta OpenSearch Serverless come sink e inseriremo tutti i dati nell'indice. my_logs

   In Configurazione Pipeline, incolla la seguente configurazione YAML nell'editor:

   version: "2"
   log-pipeline:
     source:
       http:
         path: "/${pipelineName}/test_ingestion_path"
     processor:
       - date:
           from_time_received: true
           destination: "@timestamp"
     sink:
       - opensearch:
           hosts: [ "https://{collection-id}.us-east-1.aoss.amazonaws.com" ]
           index: "my_logs"
           aws:
             sts_role_arn: "arn:aws:iam::{your-account-id}:role/PipelineRole"
             region: "us-east-1"
             serverless: true

5. Sostituisci l'hostsURL con l'endpoint della raccolta che hai creato nella sezione precedente. Sostituisci il sts_role_arn parametro con l'ARN di. PipelineRole Facoltativamente, modificare il. region

6. Scegli Convalida pipeline e assicurati che la convalida abbia esito positivo.

7. Per semplicità, in questo tutorial, configureremo l'accesso pubblico alla pipeline. In Rete, scegli Accesso pubblico.

   Per informazioni sulla configurazione dell'accesso al VPC, vedere. Configurazione dell'accesso VPC per le pipeline di Amazon Ingestion OpenSearch

8. Mantieni abilitata la pubblicazione dei log in caso di problemi durante il completamento di questo tutorial. Per ulteriori informazioni, consulta Monaggio aggio aggio aggio aggio aggio aggio aggio aggio aggio.

   Specificate il seguente nome del gruppo di log: /aws/vendedlogs/OpenSearchIngestion/serverless-ingestion/audit-logs

9. Seleziona Avanti. Controlla la configurazione della pipeline e scegli Crea pipeline. La pipeline impiega 5-10 minuti per diventare attiva.