Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

ETLIntegrazione zero con Amazon OpenSearch Service

Amazon OpenSearch Service come destinazione

OpenSearch L'integrazione del servizio con Amazon DocumentDB consente di trasmettere eventi di dati a pieno carico e di modifica sui domini. OpenSearch L'infrastruttura di ingestione è ospitata come pipeline di OpenSearch importazione e fornisce un meccanismo ad alta scalabilità e bassa latenza per lo streaming continuo di dati dalle raccolte Amazon DocumentDB.

A pieno carico, l'ETLintegrazione zero estrae innanzitutto i dati storici a pieno carico utilizzando una pipeline di ingestione. OpenSearch Una volta acquisiti i dati a pieno carico, le pipeline di inserimento inizieranno a OpenSearch leggere i dati dai flussi di modifiche di Amazon DocumentDB e alla fine si metteranno al passo per mantenere la coerenza dei dati quasi in tempo reale tra Amazon DocumentDB e. OpenSearch OpenSearch archivia i documenti in indici. I dati in entrata da una raccolta Amazon DocumentDB possono essere inviati a un indice o possono essere partizionati in indici diversi. Le pipeline di ingestione sincronizzeranno tutti gli eventi di creazione, aggiornamento ed eliminazione in una raccolta Amazon DocumentDB come corrispondenti attività di creazione, aggiornamento ed eliminazione dei OpenSearch documenti per mantenere sincronizzati entrambi i sistemi di dati. Le pipeline di ingestione possono essere configurate per leggere i dati da una raccolta e scriverli in un indice o leggere i dati da una raccolta e instradarli in modo condizionale verso più indici.

Le pipeline di ingestione possono essere configurate per lo streaming di dati da Amazon DocumentDB ad Amazon Service utilizzando: OpenSearch

Per configurare la pipeline di ingestione, esegui i seguenti passaggi:

Passaggio 1: crea un dominio Amazon OpenSearch Service o una raccolta OpenSearch serverless

È richiesta una raccolta Amazon OpenSearch Service con le autorizzazioni appropriate per leggere i dati. Per creare una raccolta, consulta la sezione Guida introduttiva ad Amazon OpenSearch Service o Guida introduttiva ad Amazon OpenSearch Serverless nella Amazon OpenSearch Service Developer Guide. Consulta Amazon OpenSearch Ingestion nella Amazon OpenSearch Service Developer Guide per creare un AIM ruolo con le autorizzazioni corrette per accedere ai dati di scrittura nella raccolta o nel dominio.

Fase 2: abilitare i flussi di modifica sul cluster Amazon DocumentDB

Assicurati che i flussi di modifica siano abilitati nelle raccolte richieste nel cluster Amazon DocumentDB. Per ulteriori informazioni, consulta Utilizzo dei flussi di modifica con Amazon DocumentDB.

Passaggio 3: configura il ruolo della pipeline con le autorizzazioni di scrittura nel bucket Amazon S3 e nel dominio o nella raccolta di destinazione

Dopo aver creato la raccolta Amazon DocumentDB e aver abilitato il flusso di modifica, configura il ruolo pipeline che desideri utilizzare nella configurazione della pipeline e aggiungi le seguenti autorizzazioni nel ruolo:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "allowReadAndWriteToS3ForExport",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:AbortMultipartUpload",
                "s3:PutObject",
                "s3:PutObjectAcl"
            ],
            "Resource": [
                "arn:aws:s3:::my-bucket/export/*"
            ]
        }
    ]
}

Affinché una OpenSearch pipeline possa scrivere dati su un OpenSearch dominio, il dominio deve avere una politica di accesso a livello di dominio che consenta al ruolo della pipeline sts_role_arn di accedervi. Il seguente esempio di policy di accesso al dominio consente al ruolo pipeline denominatopipeline-role, creato nel passaggio precedente, di scrivere dati nel dominio denominato: ingestion-domain

{
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::{your-account-id}:role/{pipeline-role}"
      },
      "Action": ["es:DescribeDomain", "es:ESHttp*"],
      "Resource": "arn:aws:es:{region}:{your-account-id}:domain/{domain-name}/*"
    }
  ]
}

Passaggio 4: aggiungere le autorizzazioni richieste sul ruolo pipeline per creare X- ENI

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "ec2:AttachNetworkInterface",
                "ec2:CreateNetworkInterface",
                "ec2:CreateNetworkInterfacePermission",
                "ec2:DeleteNetworkInterface",
                "ec2:DeleteNetworkInterfacePermission",
                "ec2:DetachNetworkInterface",
                "ec2:DescribeNetworkInterfaces"
            ],
            "Resource": [
                "arn:aws:ec2:*:420497401461:network-interface/*",
                "arn:aws:ec2:*:420497401461:subnet/*",
                "arn:aws:ec2:*:420497401461:security-group/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "ec2:DescribeDhcpOptions",
                "ec2:DescribeRouteTables",
                "ec2:DescribeSecurityGroups",
                "ec2:DescribeSubnets",
                "ec2:DescribeVpcs",
                "ec2:Describe*"
            ],
            "Resource": "*"
        },
        { 
            "Effect": "Allow",
            "Action": [ "ec2:CreateTags" ],
            "Resource": "arn:aws:ec2:*:*:network-interface/*",
            "Condition": { 
               "StringEquals": { "aws:RequestTag/OSISManaged": "true" } 
            } 
        }
    ]
}

Fase 5: Creare la pipeline

Configura una pipeline OpenSearch di ingestione specificando Amazon DocumentDB come origine. Questa configurazione di esempio della pipeline presuppone l'uso di un meccanismo di recupero del flusso di modifiche. Per ulteriori informazioni, consulta Using an OpenSearch Ingestion pipeline with Amazon DocumentDB nella OpenSearch Amazon Service Developer Guide.

Limitazioni

Le seguenti limitazioni si applicano all'integrazione con Amazon DocumentDB: OpenSearch