单个区域中的 Amazon MSK 多VPC私有连接

适用于 Apache Kafka（亚马逊 AWS PrivateLink）集群的亚马逊托管流媒体的多VPC私有连接（MSK由）提供支持，该功能使您能够更快地将托管在不同虚拟私有VPCs云 ( AWS ) 和账户中的 Kafka 客户端 () 和账户连接到亚马逊集群。MSK

多VPC私有连接是一种托管解决方案，可简化多账户VPC和跨账户连接的网络基础架构。客户端可以通过连接到 Amazon MSK 集群， PrivateLink 同时将所有流量保持在 AWS 网络内。Amazon MSK 集群的多VPC私有连接在所有可用 Amazon 的 AWS 区域MSK都可用。

什么是多VPC私有连接？

Amazon 的多VPC私有连接MSK是一种连接选项，允许您将托管在不同虚拟私有云 (VPCs) 和 AWS 账户中的 Apache Kafka 客户端连接到集群。MSK

Amazon MSK 通过集群策略简化了跨账户访问。这些策略允许集群所有者向其他 AWS 账户授予与MSK集群建立私有连接的权限。

多VPC私有连接的好处

与其他连接解决方案相比，多VPC私有连接具有以下优势：

您可以使用集群策略来定义哪些 AWS 账户有权设置与您的MSK集群的跨账户私有连接。MSK跨账户管理员可以将权限委派给相应的角色或用户。与IAM客户端身份验证一起使用时，您还可以使用集群策略为连接的客户端精细定义 Kafka 数据平面权限。

多VPC私有连接的要求和限制

请注意运行多VPC私有连接的以下MSK群集要求：

开始使用多VPC私有连接

本教程使用一个常见的用例作为示例，说明如何使用多VPC连接将 Apache Kafka 客户端从MSK集群内部 AWS但在集群外部VPC私下连接到集群。此过程要求跨账户用户为每个客户端创建MSK托管VPC连接和配置，包括所需的客户端权限。该过程还要求MSK集群所有者在集MSK群上启用 PrivateLink 连接，并选择身份验证方案来控制对集群的访问。

在本教程的不同部分中，我们选择适用于此示例的选项。这并不意味着它们是设置MSK集群或客户端实例的唯一选项。

此用例的网络配置如下：

本教程假设有一个使用 Apache Kafka 版本 2.7.1 或更高版本创建的预配置MSK集群。在开始配置过程之前，MSK群集必须ACTIVE处于状态。为避免潜在的数据丢失或停机，将使用多VPC私有连接连接到集群的客户端应使用与集群兼容的 Apache Kafka 版本。

下图说明了连接到不同 AWS 账户客户的 Amazon MSK 多VPC连接架构。

步骤 1：在账户 A 的MSK集群上，为集群上的IAM身份验证方案开启多VPC连接

集MSK群所有者需要在MSK集群创建完毕并处于ACTIVE状态后对集群进行配置设置。

集群所有者在集群上为所有将在ACTIVE集群上处于活动状态的身份验证方案开启多VPC私有连接。这可以使用UpdateSecurity API或MSK控制台来完成。IAMSCRAM、SASL/和 TLS auth 方案支持多VPC私有连接。无法为未经身份验证的集群启用多VPC私有连接。

对于此用例，您需要将集群配置为使用IAM身份验证方案。

当您更新多VPC私有连接设置时，Amazon MSK 会开始滚动重启代理节点，以更新代理配置。完成此过程可能最多需要 30 分钟或更长时间。在更新连接时，您无法对集群进行其他更新。

{
  "currentVersion": "K3T4TT2Z381HKD",
  "connectivityInfo": {
    "vpcConnectivity": {
      "clientAuthentication": {
        "sasl": {
          "iam": {
            "enabled": TRUE
            }
        }
      }
    }
  }
}

Amazon MSK 创建了私有连接所需的网络基础设施。Amazon MSK 还为需要私有连接的每种身份验证类型创建了一组新的引导代理终端节点。请注意，纯文本身份验证方案不支持多私有连接。VPC

步骤 2：将集群策略附加到集MSK群

集群所有者可以将集群策略（也称为基于资源的策略）附加到您将在其中开启多VPC私有连接的MSK集群。集群策略会授予客户端从其他账户访问集群的权限。在编辑集群策略之前，您需要拥有访问集MSK群权限的账户的账户 ID。查看 Amazon 是如何MSK与之合作IAM的。

集群所有者必须将集群策略附加到MSK集群，授权账户 B 中的跨账户用户获取集群的引导代理，并授权账户 A 中的MSK集群执行以下操作：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": [
                    "123456789012"
                ]
            },
            "Action": [
                "kafka:CreateVpcConnection",
                "kafka:GetBootstrapBrokers",
                "kafka:DescribeCluster",
                "kafka:DescribeClusterV2"
            ],
            "Resource": "arn:aws:kafka:us-east-1:123456789012:cluster/testing/de8982fa-8222-4e87-8b20-9bf3cdfa1521-2"
        }
    ]
}

有关集群策略的信息APIs，请参阅 Amazon MSK 基于资源的策略。

步骤 3：用于配置客户端VPC管理的连接的跨账户用户操作

要在与MSK集群不同的账户中的客户机之间设置多VPC私有连接，跨账户用户需要为该客户端创建托管VPC连接。重复此过程可以将多个客户端连接到MSK群集。在本用例中，您只需要配置一个客户端。

客户端可以使用支持的身份验证方案IAMSCRAM、SASL/或TLS。每个托管VPC连接只能有一个与之关联的身份验证方案。必须在客户端将要连接的MSK集群上配置客户端身份验证方案。

对于此用例，请配置客户端身份验证方案，以便账户 B 中的客户使用IAM身份验证方案。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "kafka:CreateVpcConnection",
        "ec2:CreateTags",
        "ec2:CreateVPCEndpoint",
        "ec2:DescribeVpcAttribute"
      ],
      "Resource": "*"
    }
  ]
}

授权完成后，Amazon MSK 会为每个指定的VPC身份验证方案创建一个托管VPC连接。所选安全组与每个连接相关联。此托管VPC连接由 Amazon 配置为私下MSK连接到经纪人。您可以使用新的引导代理集私下连接到 Amazon MSK 集群。