Configurar os recursos necessários para o MSK Connect - Amazon Managed Streaming for Apache Kafka

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configurar os recursos necessários para o MSK Connect

Nesta etapa, você cria os seguintes recursos necessários para esse cenário inicial:

  • Um bucket do Amazon S3 para servir como destino que recebe dados do conector.

  • Um cluster do MSK para o qual você enviará dados. Em seguida, o conector lerá os dados desse cluster e os enviará para o bucket S3 de destino.

  • Uma perfil do IAM que permite ao conector gravar no bucket do S3 de destino.

  • Um endpoint da Amazon VPC para possibilitar o envio de dados da Amazon VPC que tem o cluster e o conector para o Amazon S3.

Para criar um bucket do S3

  1. Faça login no AWS Management Console e abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/

  2. Escolha Criar bucket.

  3. Para o nome do bucket, insira um nome descritivo, como amzn-s3-demo-bucket-mkc-tutorial.

  4. Role para baixo e escolha Criar bucket.

  5. Na lista de buckets, escolha o bucket recém-criado.

  6. Selecione Criar pasta.

  7. Digite tutorial para o nome da pasta, depois role para baixo e escolha Criar pasta.

Para criar um cluster

  1. Abra o console Amazon MSK em https://console.aws.amazon.com/msk/casa? region=us-east-1#/home/.

  2. No painel esquerdo, em Clusters do MSK, escolha Clusters.

  3. Selecione Criar cluster.

  4. Escolha Criação personalizada.

  5. Insira mkc-tutorial-cluster para o nome do cluster.

  6. Em Propriedades gerais do cluster, escolha Provisionado como o tipo de cluster.

  7. Em Rede, escolha uma Amazon VPC. Em seguida, selecione as zonas de disponibilidade e as sub-redes que deseja usar. Lembre-se IDs da Amazon VPC e das sub-redes que você selecionou porque precisa delas posteriormente neste tutorial.

  8. Em Métodos de controle de acesso, verifique se somente o Acesso não autenticado está selecionado.

  9. Em Criptografia, certifique-se de que somente Texto simples esteja selecionado.

  10. Continue com o assistente e escolha Criar cluster. Você será redirecionado para a página detalhes do cluster. Nessa página, em Grupos de segurança aplicados, encontre o ID do grupo de segurança. Lembre-se desse ID porque você precisará dele posteriormente neste tutorial.

Para criar o perfil do IAM capaz de gravar no bucket de destino

  1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

  2. No painel esquerdo, em Gerenciamento de acesso, escolha Perfis.

  3. Selecione Criar perfil.

  4. Em Ou selecione um serviço para visualizar seus casos de uso, escolha S3.

  5. Role para baixo e, em Selecione seu caso de uso, escolha S3 novamente.

  6. Escolha Next: Permissions (Próximo: permissões).

  7. Escolha Criar política. Isso abrirá uma nova guia no seu navegador, na qual você criará a política. Deixe a guia de criação de perfil original aberta, pois retornaremos a ela mais tarde.

  8. Escolha a guia JSON e substitua o texto na janela com a política a seguir.

    {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListAllMyBuckets"
      ],
      "Resource": "arn:aws: s3:::*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket",
        "s3:GetBucketLocation",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws: s3:::<amzn-s3-demo-bucket-my-tutorial>"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:AbortMultipartUpload",
        "s3:ListMultipartUploadParts",
        "s3:ListBucketMultipartUploads"
      ],
      "Resource": "*"
    }
  ]
}

  9. Escolha Próximo: etiquetas.

  10. Selecione Próximo: revisar.

  11. Insira mkc-tutorial-policy para o nome da política e escolha Criar política.

  12. Escolha o botão Atualizar na guia do navegador em que você estava criando o perfil.

  13. Encontre a mkc-tutorial-policy e selecione-a escolhendo o botão à esquerda.

  14. Escolha Próximo: etiquetas.

  15. Selecione Próximo: revisar.

  16. Insira mkc-tutorial-role para o nome do perfil e exclua o texto na caixa de descrição.

  17. Selecione Criar perfil.

Para permitir que o MSK Connect assuma o perfil

  1. No console do IAM, em Gerenciamento de acesso no painel esquerdo, escolha Perfis.

  2. Encontre e escolha o mkc-tutorial-role.

  3. Na página Resumo do perfil, escolha a guia Relações de confiança.

  4. Selecione Edit trust relationship (Editar relação de confiança).

  5. Substitua a política de confiança existente pelo seguinte JSON.

    {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "kafkaconnect.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

  6. Selecione Atualizar política de confiança.

Para criar um endpoint da Amazon VPC da VPC do cluster para o Amazon S3

  1. Abra o console da Amazon VPC em https://console.aws.amazon.com/vpc/.

  2. No painel esquerdo, escolha Endpoints.

  3. Escolha Criar endpoint.

  4. Em Nome do serviço, escolha o serviço com.amazonaws.us-east-1.s3 e o tipo Gateway.

  5. Escolha a VPC do cluster e, em seguida, selecione a caixa à esquerda da tabela de rotas associada às sub-redes do cluster.

  6. Escolha Criar endpoint.

Próxima etapa

Criar plug-in personalizado