Connettività ai cluster OpenSearch pubblici Connettività ai cluster in un OpenSearch VPC

Utilizzo di una pipeline OpenSearch di ingestione con OpenSearch

Puoi utilizzare una pipeline di OpenSearch ingestion con gestione automatica OpenSearch o Elasticsearch per migrare i dati verso domini Amazon Service e raccolte Serverless. OpenSearch OpenSearch OpenSearch Ingestion supporta configurazioni di rete pubbliche e private per la migrazione dei dati da Elasticsearch autogestiti e da Elasticsearch. OpenSearch

Connettività ai cluster OpenSearch pubblici

Puoi utilizzare le pipeline di OpenSearch Ingestion per migrare i dati da un cluster autogestito OpenSearch o Elasticsearch con una configurazione pubblica, il che significa che il nome di dominio può essere risolto pubblicamente. DNS A tale scopo, configura una pipeline di OpenSearch ingestion con Elasticsearch OpenSearch o autogestita come origine e Service o Serverless come destinazione. OpenSearch OpenSearch Ciò consente di migrare efficacemente i dati da un cluster di origine autogestito a un dominio o una raccolta di destinazione gestiti. AWS

Prerequisiti

Prima di creare la pipeline di OpenSearch Ingestion, effettuate le seguenti operazioni:

Crea un cluster autogestito OpenSearch o Elastisearch che contenga i dati che desideri migrare e configura un nome pubblico. DNS
Crea un dominio OpenSearch di servizio o una raccolta OpenSearch Serverless verso cui migrare i dati. Per ulteriori informazioni, consulta Creazione di domini di OpenSearch servizio e Creazione di raccolte.
Configura l'autenticazione sul tuo cluster autogestito con. AWS Secrets Manager Abilita la rotazione dei segreti seguendo la procedura descritta in Ruota AWS Secrets Manager i segreti.
Allega una politica basata sulle risorse al tuo dominio o una politica di accesso ai dati alla tua raccolta. Queste politiche di accesso consentono a OpenSearch Ingestion di scrivere dati dal cluster autogestito al dominio o alla raccolta.

Il seguente esempio di policy di accesso al dominio consente al ruolo pipeline, creato nel passaggio successivo, di scrivere dati su un dominio. Assicurati di aggiornarli resource con i tuoi. ARN
```
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::{pipeline-account-id}:role/pipeline-role"
      },
      "Action": [
        "es:DescribeDomain",
        "es:ESHttp*"
      ],
      "Resource": [
        "arn:aws:es:{region}:{account-id}:domain/domain-name"
      ]
    }
  ]
}
```
Per creare un IAM ruolo con le autorizzazioni corrette per accedere ai dati di scrittura nella raccolta o nel dominio, vedi Autorizzazioni richieste per i domini e Autorizzazioni richieste per le raccolte.

Fase 1: Configurare il ruolo della pipeline

Dopo aver impostato i prerequisiti della OpenSearch pipeline, configura il ruolo della pipeline che desideri utilizzare nella configurazione della pipeline e aggiungi l'autorizzazione alla scrittura su un dominio di OpenSearch servizio o una raccolta OpenSearch Serverless, nonché l'autorizzazione a leggere i segreti da Secrets Manager.

Fase 2: Creare la pipeline

È quindi possibile configurare una pipeline OpenSearch di ingestione come la seguente, che viene specificata OpenSearch come origine.

È possibile specificare più domini di OpenSearch servizio come destinazioni per i dati. Questa funzionalità consente il routing o la replica condizionale dei dati in entrata in più domini di servizio. OpenSearch

Puoi anche migrare i dati da un'origine OpenSearch o da un cluster Elasticsearch a una raccolta Serverless. OpenSearch VPC Assicurati di fornire una politica di accesso alla rete all'interno della configurazione della pipeline.


version: "2"
opensearch-migration-pipeline:
  source:
    opensearch:
      acknowledgments: true
      host: [ "https://my-self-managed-cluster-name:9200" ]
      indices:
        include:
          - index_name_regex: "include-.*"
        exclude:
          - index_name_regex: '\..*'
      authentication:
        username: ${aws_secrets:secret:username}
        password: ${aws_secrets:secret:password}
        scheduling:
           interval: "PT2H"
           index_read_count: 3
           start_time: "2023-06-02T22:01:30.00Z"
  sink:
  - opensearch:
      hosts: ["https://search-mydomain.us-east-1.es.amazonaws.com"]
      aws:
          sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
          region: "us-east-1"
          #Uncomment the following lines if your destination is an OpenSearch Serverless collection
          #serverless: true
          # serverless_options:
          #     network_policy_name: "network-policy-name"
      index: "${getMetadata(\"opensearch-index\")}"
      document_id: "${getMetadata(\"opensearch-document_id\")}"
      enable_request_compression: true
      dlq:
        s3:
          bucket: "bucket-name"
          key_path_prefix: "apache-log-pipeline/logs/dlq"
          region: "us-east-1"
          sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
extension:
  aws:
    secrets:
      secret:
        secret_id: "my-opensearch-secret"
        region: "us-east-1"
        sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
        refresh_interval: PT1H

È possibile utilizzare un blueprint preconfigurato per creare questa pipeline. Per ulteriori informazioni, consulta Utilizzo dei blueprint per creare una pipeline.

Connettività ai cluster in un OpenSearch VPC

Puoi anche utilizzare le pipeline di OpenSearch Ingestion per migrare i dati da un cluster autogestito OpenSearch o Elasticsearch in esecuzione in un. VPC A tale scopo, configura una pipeline di OpenSearch ingestion con Elasticsearch OpenSearch o autogestita come origine e Service o Serverless come destinazione. OpenSearch OpenSearch Ciò consente di migrare efficacemente i dati da un cluster di origine autogestito a un dominio o una raccolta di destinazione gestiti. AWS

Prerequisiti

Prima di creare la pipeline di OpenSearch Ingestion, effettuate le seguenti operazioni:

Crea un cluster autogestito OpenSearch o Elastisearch con una configurazione di VPC rete che contenga i dati che desideri migrare.
Crea un dominio OpenSearch di servizio o una raccolta OpenSearch Serverless verso cui migrare i dati. Per ulteriori informazioni, consulta Creazione di domini di OpenSearch servizio e Creazione di raccolte.
Configura l'autenticazione sul tuo cluster autogestito con. AWS Secrets Manager Abilita la rotazione dei segreti seguendo la procedura descritta in Ruota AWS Secrets Manager i segreti.
Ottieni l'ID di chi ha accesso a VPC Elasticsearch OpenSearch o autogestito. Scegli quello che deve essere utilizzato VPC CIDR da Ingestion. OpenSearch

Nota
Se utilizzi il AWS Management Console per creare la tua pipeline, devi anche collegare la pipeline di OpenSearch Ingestion alla tua per utilizzare Elasticsearch o VPC autogestita. OpenSearch Per farlo, trova la sezione Configurazione di rete, seleziona la VPC casella di controllo Allega a e scegli una delle opzioni predefinite fornite CIDR oppure selezionane una personalizzata. È possibile utilizzarne uno qualsiasi CIDR da uno spazio di indirizzi privato, come definito nella Best Current RFC Practice del 1918.
Per fornire una personalizzazioneCIDR, seleziona Altro dal menu a discesa. Per evitare una collisione negli indirizzi IP tra OpenSearch Ingestion e Self-managed OpenSearch, assicurati che la gestione automatica OpenSearch VPC CIDR sia diversa da quella di for Ingestion. CIDR OpenSearch
Allega una policy basata sulle risorse al tuo dominio o una policy di accesso ai dati alla tua raccolta. Queste politiche di accesso consentono a OpenSearch Ingestion di scrivere dati dal cluster autogestito al dominio o alla raccolta.

Il seguente esempio di policy di accesso al dominio consente al ruolo pipeline, creato nel passaggio successivo, di scrivere dati su un dominio. Assicurati di aggiornarli resource con i tuoi. ARN
```
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::{pipeline-account-id}:role/pipeline-role"
      },
      "Action": [
        "es:DescribeDomain",
        "es:ESHttp*"
      ],
      "Resource": [
        "arn:aws:es:{region}:{account-id}:domain/domain-name"
      ]
    }
  ]
}
```
Per creare un IAM ruolo con le autorizzazioni corrette per accedere ai dati di scrittura nella raccolta o nel dominio, vedi Autorizzazioni richieste per i domini e Autorizzazioni richieste per le raccolte.

Fase 1: Configurare il ruolo della pipeline

Dopo aver impostato i prerequisiti della pipeline, configura il ruolo della pipeline che desideri utilizzare nella configurazione della pipeline e aggiungi le seguenti autorizzazioni nel ruolo:


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "SecretsManagerReadAccess",
            "Effect": "Allow",
            "Action": [
                "secretsmanager:GetSecretValue"
            ],
            "Resource": ["arn:aws:secretsmanager:{region}:{account-id}:secret:secret-name"]
        },
        {
            "Effect": "Allow",
            "Action": [
                "ec2:AttachNetworkInterface",
                "ec2:CreateNetworkInterface",
                "ec2:CreateNetworkInterfacePermission",
                "ec2:DeleteNetworkInterface",
                "ec2:DeleteNetworkInterfacePermission",
                "ec2:DetachNetworkInterface",
                "ec2:DescribeNetworkInterfaces"
            ],
            "Resource": [
                "arn:aws:ec2:*:{account-id}:network-interface/*",
                "arn:aws:ec2:*:{account-id}:subnet/*",
                "arn:aws:ec2:*:{account-id}:security-group/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "ec2:DescribeDhcpOptions",
                "ec2:DescribeRouteTables",
                "ec2:DescribeSecurityGroups",
                "ec2:DescribeSubnets",
                "ec2:DescribeVpcs",
                "ec2:Describe*"
            ],
            "Resource": "*"
        },
        { 
            "Effect": "Allow",
            "Action": [ 
                "ec2:CreateTags"
            ],
            "Resource": "arn:aws:ec2:*:*:network-interface/*",
            "Condition": { 
               "StringEquals": 
                    {
                        "aws:RequestTag/OSISManaged": "true"
                    } 
            } 
        }
    ]
}

Devi fornire le EC2 autorizzazioni Amazon di cui sopra per il IAM ruolo che utilizzi per creare la pipeline OpenSearch Ingestion, poiché la pipeline utilizza queste autorizzazioni per creare ed eliminare un'interfaccia di rete nel tuo. VPC La pipeline può accedere al cluster solo tramite questa interfaccia di rete. OpenSearch

Fase 2: Creare la pipeline

È quindi possibile configurare una pipeline OpenSearch di ingestione come la seguente, che viene specificata OpenSearch come origine.


version: "2"
opensearch-migration-pipeline:
  source:
    opensearch:
      acknowledgments: true
      host: [ "https://my-self-managed-cluster-name:9200" ]
      indices:
        include:
          - index_name_regex: "include-.*"
        exclude:
          - index_name_regex: '\..*'
      authentication:
        username: ${aws_secrets:secret:username}
        password: ${aws_secrets:secret:password}
        scheduling:
           interval: "PT2H"
           index_read_count: 3
           start_time: "2023-06-02T22:01:30.00Z"
  sink:
  - opensearch:
      hosts: ["https://search-mydomain.us-east-1.es.amazonaws.com"]
      aws:
          sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
          region: "us-east-1"
          #Uncomment the following lines if your destination is an OpenSearch Serverless collection
          #serverless: true
          # serverless_options:
          #     network_policy_name: "network-policy-name"
      index: "${getMetadata(\"opensearch-index\")}"
      document_id: "${getMetadata(\"opensearch-document_id\")}"
      enable_request_compression: true
      dlq:
        s3:
          bucket: "bucket-name"
          key_path_prefix: "apache-log-pipeline/logs/dlq"
          region: "us-east-1"
          sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
extension:
  aws:
    secrets:
      secret:
        secret_id: "my-opensearch-secret"
        region: "us-east-1"
        sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
        refresh_interval: PT1H

È possibile utilizzare un blueprint preconfigurato per creare questa pipeline. Per ulteriori informazioni, consulta Utilizzo dei blueprint per creare una pipeline.

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Kafka autogestito

Migrazione dei dati tra domini e raccolte

Utilizzo di una pipeline OpenSearch di ingestione con OpenSearch

Connettività ai cluster OpenSearch pubblici

Prerequisiti

Fase 1: Configurare il ruolo della pipeline

Fase 2: Creare la pipeline

Connettività ai cluster in un OpenSearch VPC

Prerequisiti

Nota

Fase 1: Configurare il ruolo della pipeline

Fase 2: Creare la pipeline