View a markdown version of this page

Prepare clusters de origem e destino - Amazon Managed Streaming for Apache Kafka
Preparar o cluster de origemPreparar o cluster de destino

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Prepare clusters de origem e destino

Antes de criar um MSK Replicator, você precisa preparar um cluster de origem e um cluster de destino. Esta seção aborda os requisitos para configurar a replicação entre clusters Amazon MSK (provisionados ou sem servidor).

nota

O MSK Replicator também oferece suporte à replicação entre clusters autogerenciados do Apache Kafka e clusters provisionados do Amazon MSK com corretores Express. Se você estiver migrando de uma implantação autogerenciada do Kafka, consulte Migre de clusters Apache Kafka que não sejam da MSK para agentes do Amazon MSK Express e conheça os pré-requisitos específicos Configure os pré-requisitos para o MSK Replicator com clusters autogerenciados do Apache Kafka para clusters autogerenciados.

Preparar o cluster de origem

Se você já tiver um cluster de origem MSK, certifique-se de que ele atenda aos requisitos descritos nesta seção. Caso contrário, siga estas etapas para criar um cluster de origem MSK provisionado ou sem servidor.

  1. Crie um cluster MSK provisionado ou sem servidor com o controle de acesso do IAM ativado na região de origem. Seu cluster de origem deve ter, no mínimo, três agentes.

  2. Para um MSK Replicator entre regiões, se a origem for um cluster provisionado, configure-o com a conectividade privada de várias VPCs ativada para esquemas de controle de acesso do IAM. Observe que não há compatibilidade com o tipo de autenticação não autenticado quando o recurso multi-VPC estiver ativado. Você não precisa ativar a conectividade privada multi-VPC para outros esquemas de autenticação (mTLS ou SASL/SCRAM). Você pode configurar a conectividade privada multi-VPC nos detalhes do cluster no console, nas Configurações de rede ou com a API UpdateConnectivity. Consulte Proprietário do cluster ativa o recurso multi-VPC. Se seu cluster de origem for um cluster MSK Serverless, você não precisará ativar a conectividade privada de várias VPCs.

    Para um replicador do MSK na mesma região, o cluster de origem do MSK não exige conectividade privada multi-VPC e o cluster ainda pode ser acessado por outros clientes usando o tipo de autenticação não autenticada.

  3. Para replicadores do MSK entre regiões, você deve anexar uma política de permissões baseada em recursos ao cluster de origem. Isso permite que o MSK se conecte a esse cluster para replicar dados. Você pode fazer isso usando os procedimentos da CLI ou AWS do console abaixo. Veja também as Políticas baseadas em recursos do Amazon MSK. Não há necessidade de executar essa etapa para replicadores do MSK na mesma região.

Console: create resource policy

Atualize a política de cluster de origem com o seguinte JSON. Substitua o espaço reservado pelo ARN do cluster de origem.

{
    "Version":"2012-10-17",
    "Statement": [
    {
        "Effect": "Allow",
        "Principal": {
            "Service": [
                "kafka.amazonaws.com"
            ]
        },
        "Action": [
            "kafka:CreateVpcConnection",
            "kafka:GetBootstrapBrokers",
            "kafka:DescribeClusterV2"
        ],
        "Resource": "arn:aws:kafka:us-east-1:123456789012:cluster/myCluster/abcd1234-5678-90ab-cdef-1234567890ab-1"
    }
  ]
}

Use a opção Editar política de cluster no menu Ações na página de detalhes do cluster.

Editar política de cluster no console
CLI: create resource policy

Observação: se você usar o AWS console para criar um cluster de origem e escolher a opção de criar uma nova função do IAM, AWS anexe a política de confiança necessária à função. Se você quiser que o MSK use um perfil existente do IAM ou se você criar um perfil, anexe as seguintes políticas de confiança a esse perfil para que o replicador do MSK possa assumi-lo. Para obter informações sobre como modificar a relação de confiança de um perfil, consulte Modificação de um perfil.

  1. Obtenha a versão atual da política de cluster do MSK usando esse comando. Substitua os espaços reservados pelo ARN efetivo do cluster.

    aws kafka get-cluster-policy —cluster-arn <Cluster ARN>
{
"CurrentVersion": "K1PA6795UKM GR7",
"Policy": "..."
}

  2. Crie uma política baseada em recursos para permitir que o replicador do MSK acesse seu cluster de origem. Substitua o espaço reservado pelo ARN real do cluster de origem.

    aws kafka put-cluster-policy --cluster-arn "<sourceClusterARN>" --policy '{
"Version": "2012-10-17", 
"Statement": [
{
  "Effect": "Allow",
  "Principal": {
    "Service": [
      "kafka.amazonaws.com"
    ]
  },
  "Action": [
    "kafka:CreateVpcConnection",
    "kafka:GetBootstrapBrokers",
    "kafka:DescribeClusterV2"
  ],
  "Resource": "<sourceClusterARN>"
}
]
}'

Preparar o cluster de destino

Crie um cluster de destino do MSK (provisionado ou sem servidor) com o controle de acesso do IAM ativado. O cluster de destino não exige conectividade privada com várias VPCs. O cluster de destino pode estar na mesma AWS região ou em uma região diferente do cluster de origem. Os clusters de origem e de destino devem estar na mesma AWS conta. Seu cluster de destino deve ter, no mínimo, três agentes.