Etapa 3: Criar um Amazon MSK Replicator - Amazon Managed Streaming for Apache Kafka

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Etapa 3: Criar um Amazon MSK Replicator

Antes de criar o Amazon MSK Replicator, certifique-se de que você tenhaPermissões necessárias para criar um MSK replicador.

Crie um replicador usando o AWS console na região do cluster de destino

  1. No painel, AWS Região em que seu MSK cluster de destino está localizado, abra o MSK console da Amazon em https://console.aws.amazon.com/msk/casa? region=us-east-1#/home/.

  2. Escolha Replicadores para exibir a lista de replicadores na conta.

  3. Escolha Criar replicador.

  4. No painel Detalhes do replicador, dê um nome exclusivo ao novo replicador.

Escolher seu cluster de origem

O cluster de origem contém os dados que você deseja copiar para um MSK cluster de destino.

  1. No painel Source cluster, escolha a AWS Região em que o cluster de origem está localizado.

    Você pode pesquisar a região de um cluster acessando MSKClusters e examinando os detalhes do clusterARN. O nome da região está incorporado na ARN string. No exemplo a seguirARN, ap-southeast-2 é a região do cluster.

    arn:aws:kafka:ap-southeast-2:123456789012:cluster/cluster-11/eec93c7f-4e8b-4baf-89fb-95de01ee639c-s1
  2. Insira o ARN do seu cluster de origem ou navegue para escolher seu cluster de origem.

  3. Escolha uma ou mais sub-redes para seu cluster de origem.

    O console exibe as sub-redes disponíveis na região do cluster de origem para você selecionar. Você deve selecionar, no mínimo, duas sub-redes. Para um MSK replicador da mesma região, as sub-redes que você seleciona para acessar o cluster de origem e as sub-redes para acessar o cluster de destino devem estar na mesma zona de disponibilidade.

  4. Escolha grupos de segurança para que o MSK replicador acesse seu cluster de origem.

    • Para replicação entre regiões (CRR), você não precisa fornecer grupos de segurança para seu cluster de origem.

    • Para replicação na mesma região (SRR), acesse o EC2 console da Amazon em https://console.aws.amazon.com/ec2/ e certifique-se de que os grupos de segurança que você fornecerá para o Replicador tenham regras de saída para permitir o tráfego para os grupos de segurança do seu cluster de origem. Além disso, certifique-se de que os grupos de segurança do seu cluster de origem tenham regras de entrada que permitam o tráfego dos grupos de segurança do Replicator fornecidos para a origem.

      Para adicionar regras de entrada ao grupo de segurança do seu cluster de origem:
      1. No painel, AWS console, acesse os detalhes do cluster de origem selecionando o nome do cluster.

      2. Selecione a guia Propriedades e, em seguida, role para baixo até o painel Configurações de rede para selecionar o nome do Grupo de segurança aplicado.

      3. Acesse as regras de entrada e selecione Editar regras de entrada.

      4. Selecione Adicionar regra.

      5. Na coluna Tipo da nova regra, selecione Personalizado TCP.

      6. Na coluna Intervalo de portas, digite9098. MSKO Replicator usa controle de IAM acesso para se conectar ao seu cluster que usa a porta 9098.

      7. Na coluna Origem, digite o nome do grupo de segurança que você fornecerá durante a criação do Replicador para o cluster de origem (pode ser o mesmo que o grupo de segurança do cluster de MSK origem) e selecione Salvar regras.

      Para adicionar regras de saída ao grupo de segurança do Replicator fornecido para a origem:
      1. No painel, AWS console da AmazonEC2, acesse o grupo de segurança que você fornecerá durante a criação do Replicator para a fonte.

      2. Acesse as regras de saída e selecione Editar regras de saída.

      3. Selecione Adicionar regra.

      4. Na coluna Tipo da nova regra, selecione Personalizado TCP.

      5. Na coluna Intervalo de portas, digite9098. MSKO Replicator usa controle de IAM acesso para se conectar ao seu cluster que usa a porta 9098.

      6. Na coluna Origem, digite o nome do grupo de segurança do cluster de MSK origem e selecione Salvar regras.

nota

Como alternativa, se você não quiser restringir o tráfego usando seus grupos de segurança, poderá adicionar regras de entrada e saída que permitam Todo o Tráfego.

1. Selecione Adicionar regra.

2. Na coluna Tipo, escolha Todo o tráfego.

3. Na coluna Origem, digite 0.0.0.0/0 e selecione Salvar regras.

Escolher seu cluster de destino

O cluster de destino é o cluster MSK provisionado ou sem servidor para o qual os dados de origem são copiados.

nota

MSKO Replicator cria novos tópicos no cluster de destino com um prefixo gerado automaticamente adicionado ao nome do tópico. Por exemplo, o MSK Replicator replica dados em “topic” do cluster de origem para um novo tópico no cluster de destino chamado. <sourceKafkaClusterAlias>.topic Isso serve para distinguir entre tópicos que contenham dados replicados do cluster de origem de outros tópicos no cluster de destino e para evitar que os dados sejam replicados circularmente entre os clusters. Você pode encontrar o prefixo que será adicionado aos nomes dos tópicos no cluster de destino no campo sourceKafkaClusterAlias usando DescribeReplicator API ou na página de detalhes do replicador no console. MSK O prefixo no cluster de destino é<sourceKafkaClusterAlias>.

  1. No painel Target cluster, escolha a AWS Região em que o cluster de destino está localizado.

  2. Insira o ARN do seu cluster de destino ou navegue para escolher seu cluster de destino.

  3. Escolha uma ou mais sub-redes para seu cluster de destino.

    O console exibe as sub-redes disponíveis na região do cluster de destino para você selecionar. Selecione ao menos duas sub-redes.

  4. Escolha grupos de segurança para que o MSK replicador acesse seu cluster de destino.

    Os grupos de segurança disponíveis na região do cluster de destino são exibidos para você selecionar. O grupo de segurança escolhido será associado a cada conexão. Para obter mais informações sobre o uso de grupos de segurança, consulte a seção Controlar o tráfego para seu AWS recursos usando grupos de segurança no Guia do VPC usuário da Amazon.

    • Para replicação entre regiões (CRR) e replicação na mesma região (SRR), acesse o EC2 console da Amazon em https://console.aws.amazon.com/ec2/e certifique-se de que os grupos de segurança que você fornecerá ao Replicador tenham regras de saída para permitir o tráfego para os grupos de segurança do seu cluster de destino. Além disso, certifique-se de que os grupos de segurança do seu cluster de destino tenham regras de entrada que aceitem o tráfego proveniente dos grupos de segurança do replicador fornecidos para o destino.

      Para adicionar regras de entrada ao grupo de segurança do seu cluster de destino:
      1. No painel, AWS console, acesse os detalhes do cluster de destino selecionando o nome do cluster.

      2. Selecione a guia Propriedades e, em seguida, role para baixo até o painel Configurações de rede para selecionar o nome do grupo de segurança aplicado.

      3. Acesse as regras de entrada e selecione Editar regras de entrada.

      4. Selecione Adicionar regra.

      5. Na coluna Tipo da nova regra, selecione Personalizado TCP.

      6. Na coluna Intervalo de portas, digite9098. MSKO Replicator usa controle de IAM acesso para se conectar ao seu cluster que usa a porta 9098.

      7. Na coluna Origem, digite o nome do grupo de segurança que você fornecerá durante a criação do Replicador para o cluster de destino (pode ser o mesmo que o grupo de segurança do cluster de MSK destino) e selecione Salvar regras.

      Para adicionar regras de saída ao grupo de segurança do Replicator fornecido para o destino:
      1. No painel, AWS console, vá até o grupo de segurança que você fornecerá durante a criação do Replicator para o alvo.

      2. Selecione a guia Propriedades e, em seguida, role para baixo até o painel Configurações de rede para selecionar o nome do grupo de segurança aplicado.

      3. Acesse as regras de saída e selecione Editar regras de saída.

      4. Selecione Adicionar regra.

      5. Na coluna Tipo da nova regra, selecione Personalizado TCP.

      6. Na coluna Intervalo de portas, digite9098. MSKO Replicator usa controle de IAM acesso para se conectar ao seu cluster que usa a porta 9098.

      7. Na coluna Origem, digite o nome do grupo de segurança do cluster de MSK destino e selecione Salvar regras.

nota

Como alternativa, se você não quiser restringir o tráfego usando seus grupos de segurança, poderá adicionar regras de entrada e saída que permitam Todo o Tráfego.

1. Selecione Adicionar regra.

2. Na coluna Tipo, escolha Todo o tráfego.

3. Na coluna Origem, digite 0.0.0.0/0 e selecione Salvar regras.

Definir configurações e permissões do replicador

  1. No painel Configurações do replicador, especifique os tópicos que deseja replicar usando expressões regulares nas listas de permissão e proibição. Todos os tópicos são replicados por padrão.

    nota

    MSKO Replicator replica somente até 750 tópicos em ordem ordenada. Se você precisar replicar mais tópicos, recomendamos criar um replicador separado. Vá para o AWS console o Support Center e crie um caso de suporte se precisar de suporte para mais de 750 tópicos por replicador. Você pode monitorar o número de tópicos que estão sendo replicados usando a métrica TopicCount "”. Consulte MSKCota da Amazon.

  2. Por padrão, o MSK Replicator inicia a replicação a partir da compensação mais recente (mais recente) nos tópicos selecionados. Como alternativa, você pode iniciar a replicação a partir do deslocamento mais antigo (mais antigo) nos tópicos selecionados se quiser replicar os dados existentes em seus tópicos. Depois que o replicador é criado, você não pode alterar essa configuração. Essa configuração corresponde ao startingPositioncampo na CreateReplicatorsolicitação e na DescribeReplicatorrespostaAPIs.

  3. Escolha uma configuração de nome de tópico:

    • PREFIXEDreplicação do nome do tópico (Adicionar prefixo ao nome do tópico no console): a configuração padrão. MSKO replicador replica “topic1” do cluster de origem para um novo tópico no cluster de destino com o nome. <sourceKafkaClusterAlias>.topic1

    • Replicação idêntica do nome do tópico (mantenha o mesmo nome do tópico no console): os tópicos do cluster de origem são replicados com nomes de tópicos idênticos no cluster de destino.

    Essa configuração corresponde ao TopicNameConfiguration campo na CreateReplicator solicitação e na DescribeReplicator respostaAPIs. Consulte Como o Amazon MSK Replicator funciona.

    nota

    Por padrão, o MSK Replicator cria novos tópicos no cluster de destino com um prefixo gerado automaticamente adicionado ao nome do tópico. Isso serve para distinguir entre tópicos que contenham dados replicados do cluster de origem de outros tópicos no cluster de destino e para evitar que os dados sejam replicados circularmente entre os clusters. Como alternativa, você pode criar um MSK replicador com replicação idêntica do nome do tópico (mantenha o mesmo nome do tópico no console) para que os nomes dos tópicos sejam preservados durante a replicação. Essa configuração reduz a necessidade de reconfigurar aplicativos cliente durante a configuração e simplifica a operação de arquiteturas de streaming de vários clusters.

  4. Por padrão, o MSK Replicator copia todos os metadados, incluindo configurações de tópicos, listas de controle de acesso (ACLs) e compensações de grupos de consumidores para um failover contínuo. Se você não estiver criando o replicador para failover, é possível optar por desativar uma ou mais dessas configurações disponíveis na seção Configurações adicionais.

    nota

    MSKO Replicator não replica a gravação, ACLs pois seus produtores não deveriam escrever diretamente no tópico replicado no cluster de destino. Seus produtores devem gravar no tópico local no cluster de destino após o failover. Para mais detalhes, consulte Executando um failover planejado para o secundário AWS Região.

  5. No painel Replicação do grupo de consumidores, especifique os grupos de consumidores que deseja replicar usando expressões regulares nas listas de permissão e proibição. Todos os grupos de consumidores são replicados por padrão.

  6. No painel Compactação, você pode optar opcionalmente por compactar os dados gravados no cluster de destino. Se você for usar a compactação, recomendamos que use o mesmo método de compactação dos dados em seu cluster de origem.

  7. No painel Permissões de acesso, execute uma das seguintes ações:

    1. Selecione Criar ou atualizar a IAM função com as políticas necessárias. MSKo console anexará automaticamente as permissões e a política de confiança necessárias à função de execução do serviço necessária para ler e gravar nos MSK clusters de origem e de destino.

      MSKconsole para criar ou atualizar a função de replicador IAM
    2. Forneça sua própria IAM função selecionando Escolha entre as IAM funções que a Amazon MSK pode assumir. Recomendamos que você anexe a IAM política AWSMSKReplicatorExecutionRole gerenciada à sua função de execução de serviços, em vez de escrever sua própria IAM política.

      1. Crie a IAM função que o Replicador usará para ler e gravar em seus MSK clusters de origem e de destino usando as informações abaixo JSON como parte da política de confiança e as AWSMSKReplicatorExecutionRole anexadas à função. Na política de confiança, substitua o espaço reservado < yourAccount ID> pelo ID real da sua conta.

        { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "kafka.amazonaws.com" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "aws:SourceAccount": "<yourAccountID>" } } } ] }
  8. No painel Tags do Replicador, você pode, opcionalmente, atribuir tags ao recurso do MSK Replicador. Para obter mais informações, consulte Atribuir tags a um cluster do Amazon MSK. Para um MSK replicador entre regiões, as tags são sincronizadas automaticamente com a região remota quando o replicador é criado. Se você alterar as tags após a criação do replicador, a alteração não será sincronizada automaticamente com a região remota, então você precisará sincronizar manualmente as referências do replicador local e do replicador remoto.

  9. Escolha Criar.

Se você quiser restringir a kafka-cluster:WriteData permissão, consulte a seção Criar políticas de autorização em Como MSK funciona o controle de IAM acesso para a Amazon. Você precisará adicionar kafka-cluster:WriteDataIdempotently permissão ao cluster de origem e de destino.

São necessários aproximadamente 30 minutos para que o MSK replicador seja criado com sucesso e transitado para o RUNNING status.

Se você criar um novo MSK replicador para substituir um que você excluiu, o novo replicador iniciará a replicação a partir da última compensação.

Se o MSK replicador tiver passado para um FAILED status, consulte a seção Solução MSK de problemas do replicador.