Menggunakan pipa OpenSearch Ingestion dengan Amazon Managed Streaming for Apache Kafka

Buat klaster yang MSK disediakan Amazon dengan mengikuti langkah-langkah dalam Membuat klaster di Amazon Managed Streaming for Apache Kafka Developer Guide. Untuk jenis Broker, pilih opsi apa pun kecuali untuk t3 jenis, karena ini tidak didukung oleh OpenSearch Ingestion.

Setelah klaster memiliki status Aktif, ikuti langkah-langkah di Aktifkan VPC multi-konektivitas.

Ikuti langkah-langkah di Lampirkan kebijakan klaster ke MSK klaster untuk melampirkan salah satu kebijakan berikut, tergantung pada apakah klaster dan pipeline Anda berada dalam kondisi yang sama Akun AWS. Kebijakan ini memungkinkan OpenSearch Ingestion untuk membuat AWS PrivateLink sambungan ke MSK klaster Amazon Anda dan membaca data dari topik Kafka. Pastikan Anda memperbarui resource dengan milik Anda sendiriARN.

Kebijakan berikut berlaku jika klaster dan pipeline Anda berada dalam kondisi yang sama Akun AWS:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis-pipelines.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    }
  ]
}

Jika MSK klaster Amazon Anda berbeda Akun AWS dari pipeline Anda, lampirkan kebijakan berikut sebagai gantinya. Perhatikan bahwa akses lintas akun hanya dimungkinkan dengan kluster Amazon yang disediakan dan bukan kluster MSK Amazon Tanpa Server. MSK ARNUntuk itu AWS principal harus ARN untuk peran pipeline yang sama yang Anda berikan ke konfigurasi pipleine YAML Anda:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{msk-account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis-pipelines.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{msk-account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::{pipeline-account-id}:role/pipeline-role"
      },
      "Action": [
        "kafka-cluster:*",
        "kafka:*"
      ],
      "Resource": [
        "arn:aws:kafka:us-east-1:{msk-account-id}:cluster/cluster-name/cluster-id",
        "arn:aws:kafka:us-east-1:{msk-account-id}:topic/cluster-name/cluster-id/*",
        "arn:aws:kafka:us-east-1:{msk-account-id}:group/cluster-name/*"
      ]
    }
  ]
}

Buat topik Kafka dengan mengikuti langkah-langkah di Buat topik. Pastikan itu BootstrapServerString adalah salah satu bootstrap URLs endpoint pribadi (single-VPC). Nilai untuk --replication-factor harus 2 atau3, berdasarkan jumlah zona yang dimiliki MSK kluster Amazon Anda. Nilai untuk setidaknya --partitions harus10.

Menghasilkan dan mengkonsumsi data dengan mengikuti langkah-langkah dalam Menghasilkan dan mengkonsumsi data. Sekali lagi, pastikan itu BootstrapServerString adalah salah satu bootstrap URLs endpoint pribadi Anda (tunggal-VPC).

Buat klaster Amazon MSK Tanpa Server dengan mengikuti langkah-langkah di Buat klaster MSK Tanpa Server di Panduan Pengembang Amazon Managed Streaming for Apache Kafka.

Setelah klaster memiliki status Aktif, ikuti langkah-langkah di Lampirkan kebijakan klaster ke MSK klaster untuk melampirkan kebijakan berikut. Pastikan Anda memperbarui resource dengan milik Anda sendiriARN.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis-pipelines.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    }
  ]
}

Kebijakan ini memungkinkan OpenSearch Ingestion untuk membuat AWS PrivateLink sambungan ke klaster Amazon MSK Tanpa Server dan membaca data dari topik Kafka. Kebijakan ini berlaku jika klaster dan pipeline Anda berada dalam kondisi yang sama Akun AWS, yang harus benar karena Amazon MSK Tanpa Server tidak mendukung akses lintas akun.

Buat topik Kafka dengan mengikuti langkah-langkah di Buat topik. Pastikan itu BootstrapServerString adalah salah satu IAM bootstrap URLs Simple Authentication and Security Layer (SASL) Anda. Nilai untuk --replication-factor harus 2 atau3, berdasarkan jumlah zona yang dimiliki kluster Amazon MSK Tanpa Server Anda. Nilai untuk setidaknya --partitions harus10.

Menghasilkan dan mengkonsumsi data dengan mengikuti langkah-langkah dalam Menghasilkan dan mengkonsumsi data. Sekali lagi, pastikan itu BootstrapServerString adalah salah satu IAM bootstrap URLs Simple Authentication and Security Layer (SASL) Anda.