将 OpenSearch 摄取管道与 Amazon Managed Streaming for Apache Kafka

按照《适用于 A pache Kafka 的亚马逊托管流媒体 Kafka 开发者指南》中创建集群中的步骤创建亚马逊MSK预配置集群。对于代理类型，请选择除类型之外的任何选项，因为 OpenSearch Ingestion 不支持这些t3类型。

集群处于 “活动” 状态后，请按照开启多VPC连接中的步骤进行操作。

按照将集群策略附加到集MSK群中的步骤来附加以下策略之一，具体取决于您的集群和管道是否相同 AWS 账户。此策略允许 OpenSearch Ingestion 创建与您的 Amazon MSK 集群的 AWS PrivateLink 连接并从 Kafka 主题中读取数据。请务必使用自己的版本resource进行更新ARN。

当集群与管道位于同一 AWS 账户时，适用以下策略：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis-pipelines.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    }
  ]
}

如果您的 Amazon MSK 集群与您的管道 AWS 账户 不同，请改为附加以下策略。请注意，只有预配置的 Amazon 集群才能进行跨账户访问，Amazon MSK Serverless MSK 集群无法进行跨账户访问。的 ARN fo AWS principal r 应与您ARN为管道配置提供的相同管道角色相同：YAML

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{msk-account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis-pipelines.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{msk-account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::{pipeline-account-id}:role/pipeline-role"
      },
      "Action": [
        "kafka-cluster:*",
        "kafka:*"
      ],
      "Resource": [
        "arn:aws:kafka:us-east-1:{msk-account-id}:cluster/cluster-name/cluster-id",
        "arn:aws:kafka:us-east-1:{msk-account-id}:topic/cluster-name/cluster-id/*",
        "arn:aws:kafka:us-east-1:{msk-account-id}:group/cluster-name/*"
      ]
    }
  ]
}

按照创建主题中的步骤创建 Kafka 主题。确保BootstrapServerString这是私有端点（单VPC）引导程序URLs之一。的值--replication-factor应为2或3，具体取决于您的 Amazon MSK 集群拥有的区域数量。--partitions 的值至少应为 10。

按照生成和使用数据中的步骤生成和使用数据。再说一遍，请确保BootstrapServerString这是您的私有端点（单个VPC）引导程序URLs之一。

按照《适用MSK于 Apache Managed Streaming 的亚马逊管理流媒体 Kafka 开发者指南》中创建MSK无服务器集群中的步骤创建亚马逊无服务器集群。

集群处于 “活动” 状态后，按照将群集策略附加到MSK集群中的步骤来附加以下策略。请务必使用自己的版本resource进行更新ARN。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis-pipelines.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    }
  ]
}

此策略允许 OpenSearch Ingestion 创建与您的 Amazon MSK Serverless 集群的 AWS PrivateLink 连接并从 Kafka 主题中读取数据。当您的集群和管道处于相同状态时，此政策适用 AWS 账户，因为Amazon MSK Serverless不支持跨账户访问，因此必须如此。

按照创建主题中的步骤创建 Kafka 主题。确保BootstrapServerString这是您的简单身份验证和安全层 (SASL) IAM 引导程序URLs之一。的值--replication-factor应为2或3，具体取决于您的 Amazon MSK Serverless 集群拥有的区域数量。--partitions 的值至少应为 10。

按照生成和使用数据中的步骤生成和使用数据。再说一遍，请确保BootstrapServerString这是您的简单身份验证和安全层 (SASL) IAM 引导程序URLs之一。