Konnektivität zu öffentlichen Kafka-Clustern von Confluent Cloud Konnektivität zu Confluent Cloud Kafka-Clustern in einem VPC

Eine OpenSearch Ingestion-Pipeline mit Confluent Cloud Kafka verwenden

Sie können eine OpenSearch Ingestion-Pipeline verwenden, um Daten von Confluent Cloud Kafka-Clustern zu Amazon OpenSearch Service-Domains und serverlosen Sammlungen zu streamen. OpenSearch OpenSearch Ingestion unterstützt sowohl öffentliche als auch private Netzwerkkonfigurationen für das Streaming von Daten aus Confluent Cloud Kafka-Clustern zu Domains oder Sammlungen, die von Service oder Serverless verwaltet werden. OpenSearch OpenSearch

Konnektivität zu öffentlichen Kafka-Clustern von Confluent Cloud

Sie können OpenSearch Ingestion-Pipelines verwenden, um Daten aus einem Confluent Cloud Kafka-Cluster mit einer öffentlichen Konfiguration zu migrieren, was bedeutet, dass der Domainname öffentlich aufgelöst werden kann. DNS Richten Sie dazu eine OpenSearch Ingestion-Pipeline mit dem öffentlichen Kafka-Cluster von Confluent Cloud als Quelle und Service oder Serverless als Ziel ein. OpenSearch OpenSearch Dadurch werden Ihre Streaming-Daten von einem selbstverwalteten Quellcluster zu einer verwalteten Zieldomäne oder -sammlung verarbeitet. AWS

Voraussetzungen

Bevor Sie Ihre OpenSearch Ingestion-Pipeline erstellen, führen Sie die folgenden Schritte aus:

Erstellen Sie einen Confluent Cloud Kafka-Cluster-Cluster, der als Quelle fungiert. Der Cluster sollte die Daten enthalten, die Sie in den Service aufnehmen möchten. OpenSearch
Erstellen Sie eine OpenSearch Dienstdomäne oder eine OpenSearch serverlose Sammlung, in die Sie Daten migrieren möchten. Weitere Informationen finden Sie unter OpenSearch Dienstdomänen erstellen und Sammlungen erstellen.
Richten Sie die Authentifizierung auf Ihrem Confluent Cloud Kafka-Cluster mit ein. AWS Secrets ManagerAktivieren Sie die Rotation von Geheimnissen, indem Sie die Schritte unter Geheimnisse rotieren befolgen. AWS Secrets Manager
Fügen Sie Ihrer Domain eine ressourcenbasierte Richtlinie oder Ihrer Sammlung eine Datenzugriffsrichtlinie hinzu. Diese Zugriffsrichtlinien ermöglichen es OpenSearch Ingestion, Daten aus Ihrem selbstverwalteten Cluster in Ihre Domain oder Sammlung zu schreiben.

Die folgende Beispielrichtlinie für den Domänenzugriff ermöglicht es der Pipeline-Rolle, die Sie im nächsten Schritt erstellen, Daten in eine Domäne zu schreiben. Stellen Sie sicher, dass Sie die resource mit Ihrer eigenen aktualisierenARN.
```
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::{pipeline-account-id}:role/pipeline-role"
      },
      "Action": [
        "es:DescribeDomain",
        "es:ESHttp*"
      ],
      "Resource": [
        "arn:aws:es:{region}:{account-id}:domain/domain-name"
      ]
    }
  ]
}
```
Informationen zum Erstellen einer IAM Rolle mit den richtigen Berechtigungen für den Zugriff auf Schreibdaten für die Sammlung oder Domäne finden Sie unter Erforderliche Berechtigungen für Domänen und Erforderliche Berechtigungen für Sammlungen.

Schritt 1: Konfigurieren Sie die Pipeline-Rolle

Nachdem Sie die Voraussetzungen für Ihre Confluent Cloud Kafka-Cluster-Pipeline eingerichtet haben, konfigurieren Sie die Pipeline-Rolle, die Sie in Ihrer Pipeline-Konfiguration verwenden möchten, und fügen Sie die Berechtigung hinzu, in eine OpenSearch Service-Domain oder eine OpenSearch Serverless-Sammlung zu schreiben, sowie die Erlaubnis, Geheimnisse aus Secrets Manager zu lesen.

Für die Verwaltung der Netzwerkschnittstelle ist die folgende Berechtigung erforderlich:


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "ec2:AttachNetworkInterface",
                "ec2:CreateNetworkInterface",
                "ec2:CreateNetworkInterfacePermission",
                "ec2:DeleteNetworkInterface",
                "ec2:DeleteNetworkInterfacePermission",
                "ec2:DetachNetworkInterface",
                "ec2:DescribeNetworkInterfaces"
            ],
            "Resource": [
                "arn:aws:ec2:*:{account-id}:network-interface/*",
                "arn:aws:ec2:*:{account-id}:subnet/*",
                "arn:aws:ec2:*:{account-id}:security-group/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "ec2:DescribeDhcpOptions",
                "ec2:DescribeRouteTables",
                "ec2:DescribeSecurityGroups",
                "ec2:DescribeSubnets",
                "ec2:DescribeVpcs",
                "ec2:Describe*"
            ],
            "Resource": "*"
        },
        { 
            "Effect": "Allow",
            "Action": [ "ec2:CreateTags" ],
            "Resource": "arn:aws:ec2:*:*:network-interface/*",
            "Condition": { 
               "StringEquals": { "aws:RequestTag/OSISManaged": "true" } 
            } 
        }
    ]
}

Die folgende Berechtigung ist erforderlich, um Geheimnisse aus dem AWS Secrets Manager Dienst zu lesen:


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "SecretsManagerReadAccess",
            "Effect": "Allow",
            "Action": ["secretsmanager:GetSecretValue"],
            "Resource": ["arn:aws:secretsmanager:<region:<account-id>:secret:<,secret-name>"]
        }
    ]
}

Die folgenden Berechtigungen sind erforderlich, um in eine Amazon OpenSearch Service-Domain zu schreiben:


{
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::{your-account-id}:role/{pipeline-role}"
      },
      "Action": ["es:DescribeDomain", "es:ESHttp*"],
      "Resource": "arn:aws:es:{region}:{your-account-id}:domain/{domain-name}/*"
    }
  ]
}

Schritt 2: Erstellen Sie die Pipeline

Anschließend können Sie eine OpenSearch Ingestion-Pipeline wie die folgende konfigurieren, die Ihr Confluent Cloud Kafka als Quelle angibt.

Sie können mehrere OpenSearch Service-Domains als Ziele für Ihre Daten angeben. Diese Funktion ermöglicht das bedingte Routing oder die Replikation eingehender Daten in mehrere OpenSearch Dienstdomänen.

Sie können auch Daten von einem Confluent-Kafka-Quellcluster zu einer OpenSearch serverlosen Sammlung migrieren. VPC Stellen Sie sicher, dass Sie in der Pipeline-Konfiguration eine Netzwerkzugriffsrichtlinie angeben. Sie können eine Confluent-Schemaregistrierung verwenden, um ein Confluent-Schema zu definieren.


version: "2"
kafka-pipeline:
  source:
    kafka:
      encryption:
        type: "ssl"
      topics:
        - name: "topic-name"
          group_id: "group-id"
      bootstrap_servers:
        - "bootstrap-server.us-west-2.aws.private.confluent.cloud:9092"
      authentication:
        sasl:
          plain:
            username: ${aws_secrets:confluent-kafka-secret:username}
            password: ${aws_secrets:confluent-kafka-secret:password}
      schema:
        type: confluent
        registry_url: https://my-registry.us-west-2.aws.confluent.cloud
        api_key: "${{aws_secrets:schema-secret:schema_registry_api_key}}"
        api_secret: "${{aws_secrets:schema-secret:schema_registry_api_secret}}"
        basic_auth_credentials_source: "USER_INFO"
  sink:
  - opensearch:
      hosts: ["https://search-mydomain.us-west-2.es.amazonaws.com"]
      aws:
          sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
          region: "us-west-2"
      index: "confluent-index"
extension:
  aws:
    secrets:
      confluent-kafka-secret:
        secret_id: "my-kafka-secret"
        region: "us-west-2"
        sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
      schema-secret:
        secret_id: "my-self-managed-kafka-schema"
        region: "us-west-2"
        sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"

Sie können einen vorkonfigurierten Blueprint verwenden, um diese Pipeline zu erstellen. Weitere Informationen finden Sie unter Verwenden von Blueprints zum Erstellen einer Pipeline.

Konnektivität zu Confluent Cloud Kafka-Clustern in einem VPC

Sie können OpenSearch Ingestion-Pipelines auch verwenden, um Daten aus einem Confluent Cloud Kafka-Cluster zu migrieren, der in einem läuft. VPC Richten Sie dazu eine OpenSearch Ingestion-Pipeline mit einem Confluent Cloud Kafka-Cluster als Quelle und Service oder Serverless als Ziel ein. OpenSearch OpenSearch Dadurch werden Ihre Streaming-Daten von einem Confluent Cloud Kafka-Quellcluster zu einer verwalteten Zieldomain oder -sammlung verarbeitet. AWS

OpenSearch Ingestion unterstützt Confluent Cloud Kafka-Cluster, die in allen unterstützten Netzwerkmodi in Confluent konfiguriert sind. Die folgenden Modi der Netzwerkkonfiguration werden als Quelle in Ingestion unterstützt: OpenSearch

AWS VPCPeering
AWS PrivateLink für dedizierte Cluster
AWS PrivateLink für Unternehmenscluster
AWS Transit Gateway

Voraussetzungen

Bevor Sie Ihre OpenSearch Ingestion-Pipeline erstellen, führen Sie die folgenden Schritte aus:

Erstellen Sie einen Confluent Cloud Kafka-Cluster mit einer VPC Netzwerkkonfiguration, die die Daten enthält, die Sie in Service aufnehmen möchten. OpenSearch
Erstellen Sie eine OpenSearch Service-Domain oder eine OpenSearch serverlose Sammlung, in die Sie Daten migrieren möchten. Weitere Informationen finden Sie unter OpenSearch Dienstdomänen erstellen und Sammlungen erstellen.
Richten Sie die Authentifizierung auf Ihrem Confluent Cloud Kafka-Cluster mit ein. AWS Secrets ManagerAktivieren Sie die Rotation von Geheimnissen, indem Sie die Schritte unter Geheimnisse rotieren befolgen. AWS Secrets Manager
Besorgen Sie sich die ID der PersonVPC, die Zugriff auf das selbstverwaltete Kafka hat. Wählen Sie die aus VPCCIDR, die von OpenSearch Ingestion verwendet werden soll.

Anmerkung
Wenn Sie die verwenden, um Ihre Pipeline AWS Management Console zu erstellen, müssen Sie auch Ihre OpenSearch Ingestion-Pipeline an Ihre anhängen, um selbstverwaltetes VPC Kafka verwenden zu können. Suchen Sie dazu den Abschnitt Netzwerkkonfiguration, aktivieren Sie das VPC Kontrollkästchen Anhängen an und wählen Sie eine der bereitgestellten Standardoptionen oder wählen Sie Ihre eigene CIDR aus. Sie können jeden beliebigen Adressraum CIDR aus einem privaten Adressraum verwenden, wie in der Best Current Practice von RFC 1918 definiert.
Wenn Sie einen benutzerdefinierten Wert angeben möchtenCIDR, wählen Sie im Dropdownmenü die Option Andere aus. Um eine Kollision der IP-Adressen zwischen OpenSearch Ingestion und Self-managed zu vermeiden, stellen Sie sicher OpenSearch, dass sich die selbst verwaltete Adresse von der für OpenSearch VPC CIDR Ingestion unterscheidet. CIDR OpenSearch
Fügen Sie Ihrer Domain eine ressourcenbasierte Richtlinie oder Ihrer Sammlung eine Datenzugriffsrichtlinie hinzu. Diese Zugriffsrichtlinien ermöglichen es OpenSearch Ingestion, Daten aus Ihrem selbstverwalteten Cluster in Ihre Domain oder Sammlung zu schreiben.

Anmerkung
Wenn Sie Kafka verwenden AWS PrivateLink , um Ihre Confluent Cloud zu verbinden, müssen Sie Optionen konfigurieren. VPC DHCP DNSHostnamen und DNSAuflösung sollten aktiviert sein.

Das folgende Beispiel für eine Domänenzugriffsrichtlinie ermöglicht es der Pipeline-Rolle, die Sie im nächsten Schritt erstellen, Daten in eine Domäne zu schreiben. Stellen Sie sicher, dass Sie die resource mit Ihrer eigenen aktualisierenARN.
```
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::{pipeline-account-id}:role/pipeline-role"
      },
      "Action": [
        "es:DescribeDomain",
        "es:ESHttp*"
      ],
      "Resource": [
        "arn:aws:es:{region}:{account-id}:domain/domain-name"
      ]
    }
  ]
}
```
Informationen zum Erstellen einer IAM Rolle mit den richtigen Berechtigungen für den Zugriff auf Schreibdaten für die Sammlung oder Domäne finden Sie unter Erforderliche Berechtigungen für Domänen und Erforderliche Berechtigungen für Sammlungen.

Schritt 1: Konfigurieren Sie die Pipeline-Rolle

Nachdem Sie Ihre Pipeline-Voraussetzungen eingerichtet haben, konfigurieren Sie die Pipeline-Rolle, die Sie in Ihrer Pipeline-Konfiguration verwenden möchten, und fügen Sie der Rolle die folgenden Berechtigungen hinzu:


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "SecretsManagerReadAccess",
            "Effect": "Allow",
            "Action": [
                "secretsmanager:GetSecretValue"
            ],
            "Resource": ["arn:aws:secretsmanager:{region}:{account-id}:secret:secret-name"]
        },
        {
            "Effect": "Allow",
            "Action": [
                "ec2:AttachNetworkInterface",
                "ec2:CreateNetworkInterface",
                "ec2:CreateNetworkInterfacePermission",
                "ec2:DeleteNetworkInterface",
                "ec2:DeleteNetworkInterfacePermission",
                "ec2:DetachNetworkInterface",
                "ec2:DescribeNetworkInterfaces"
            ],
            "Resource": [
                "arn:aws:ec2:*:{account-id}:network-interface/*",
                "arn:aws:ec2:*:{account-id}:subnet/*",
                "arn:aws:ec2:*:{account-id}:security-group/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "ec2:DescribeDhcpOptions",
                "ec2:DescribeRouteTables",
                "ec2:DescribeSecurityGroups",
                "ec2:DescribeSubnets",
                "ec2:DescribeVpcs",
                "ec2:Describe*"
            ],
            "Resource": "*"
        },
        { 
            "Effect": "Allow",
            "Action": [ 
                "ec2:CreateTags"
            ],
            "Resource": "arn:aws:ec2:*:*:network-interface/*",
            "Condition": { 
               "StringEquals": 
                    {
                        "aws:RequestTag/OSISManaged": "true"
                    } 
            } 
        }
    ]
}

Sie müssen die oben genannten EC2 Amazon-Berechtigungen für die IAM Rolle angeben, die Sie zum Erstellen der OpenSearch Ingestion-Pipeline verwenden, da die Pipeline diese Berechtigungen verwendet, um eine Netzwerkschnittstelle in Ihrem zu erstellen und zu löschen. VPC Die Pipeline kann nur über diese Netzwerkschnittstelle auf den Kafka-Cluster zugreifen.

Schritt 2: Erstellen Sie die Pipeline

Anschließend können Sie eine OpenSearch Ingestion-Pipeline wie die folgende konfigurieren, die Kafka als Quelle angibt.

Sie können mehrere OpenSearch Dienstdomänen als Ziele für Ihre Daten angeben. Diese Funktion ermöglicht das bedingte Routing oder die Replikation eingehender Daten in mehrere OpenSearch Dienstdomänen.


 version: "2"
kafka-pipeline:
  source:
    kafka:
      encryption:
        type: "ssl"
      topics:
        - name: "topic-name"
          group_id: "group-id"
      bootstrap_servers:
        - "bootstrap-server.us-west-2.aws.private.confluent.cloud:9092"
      authentication:
        sasl:
          plain:
            username: ${aws_secrets:confluent-kafka-secret:username}
            password: ${aws_secrets:confluent-kafka-secret:password}
      schema:
        type: confluent
        registry_url: https://my-registry.us-west-2.aws.confluent.cloud
        api_key: "${{aws_secrets:schema-secret:schema_registry_api_key}}"
        api_secret: "${{aws_secrets:schema-secret:schema_registry_api_secret}}"
        basic_auth_credentials_source: "USER_INFO"
  sink:
  - opensearch:
      hosts: ["https://search-mydomain.us-west-2.es.amazonaws.com"]
      aws:
          sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
          region: "us-west-2"
      index: "confluent-index"
extension:
  aws:
    secrets:
      confluent-kafka-secret:
        secret_id: "my-kafka-secret"
        region: "us-west-2"
        sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
      schema-secret:
        secret_id: "my-self-managed-kafka-schema"
        region: "us-west-2"
        sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"

Sie können einen vorkonfigurierten Blueprint verwenden, um diese Pipeline zu erstellen. Weitere Informationen finden Sie unter Verwenden von Blueprints zum Erstellen einer Pipeline.

Warnung JavaScript ist in Ihrem Browser nicht verfügbar oder deaktiviert.

Zur Nutzung der AWS-Dokumentation muss JavaScript aktiviert sein. Weitere Informationen finden auf den Hilfe-Seiten Ihres Browsers.

Dokumentkonventionen

Amazon DocumentDB

Amazon MSK

Eine OpenSearch Ingestion-Pipeline mit Confluent Cloud Kafka verwenden

Konnektivität zu öffentlichen Kafka-Clustern von Confluent Cloud

Voraussetzungen

Schritt 1: Konfigurieren Sie die Pipeline-Rolle

Schritt 2: Erstellen Sie die Pipeline

Konnektivität zu Confluent Cloud Kafka-Clustern in einem VPC

Voraussetzungen

Anmerkung

Anmerkung

Schritt 1: Konfigurieren Sie die Pipeline-Rolle

Schritt 2: Erstellen Sie die Pipeline