Configurar os recursos necessários para o MSK Connect - Amazon Managed Streaming for Apache Kafka

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configurar os recursos necessários para o MSK Connect

Nesta etapa, você cria os seguintes recursos necessários para esse cenário inicial:

  • Um bucket do Amazon S3 para servir como destino que recebe dados do conector.

  • Um cluster do MSK para o qual você enviará dados. Em seguida, o conector lerá os dados desse cluster e os enviará para o bucket S3 de destino.

  • Uma política do IAM que contém as permissões para gravar no bucket S3 de destino.

  • Uma perfil do IAM que permite ao conector gravar no bucket do S3 de destino. Você adicionará a política do IAM que você criou a essa função.

  • Um endpoint da Amazon VPC para possibilitar o envio de dados da Amazon VPC que tem o cluster e o conector para o Amazon S3.

Para criar um bucket do S3

  1. Faça login no AWS Management Console e abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/

  2. Escolha Criar bucket.

  3. Para o nome do bucket, insira um nome descritivo, como amzn-s3-demo-bucket-mkc-tutorial.

  4. Role para baixo e escolha Criar bucket.

  5. Na lista de buckets, escolha o bucket recém-criado.

  6. Selecione Criar pasta.

  7. Digite tutorial para o nome da pasta, depois role para baixo e escolha Criar pasta.

Para criar um cluster

  1. Abra o console Amazon MSK em https://console.aws.amazon.com/msk/casa? region=us-east-1#/home/.

  2. No painel esquerdo, em Clusters do MSK, escolha Clusters.

  3. Selecione Criar cluster.

  4. Em Método de criação, escolha Criação personalizada.

  5. Insira mkc-tutorial-cluster para o nome do cluster.

  6. Em Tipo de cluster, escolha Provisionado.

  7. Escolha Próximo.

  8. Em Rede, escolha uma Amazon VPC. Em seguida, selecione as zonas de disponibilidade e as sub-redes que deseja usar. Lembre-se IDs da Amazon VPC e das sub-redes que você selecionou porque precisa delas posteriormente neste tutorial.

  9. Escolha Próximo.

  10. Em Métodos de controle de acesso, verifique se somente o Acesso não autenticado está selecionado.

  11. Em Criptografia, certifique-se de que somente Texto simples esteja selecionado.

  12. Continue com o assistente e escolha Criar cluster. Você será redirecionado para a página detalhes do cluster. Nessa página, em Grupos de segurança aplicados, encontre o ID do grupo de segurança. Lembre-se desse ID porque você precisará dele posteriormente neste tutorial.

Para criar uma política do IAM com permissões para gravar no bucket do S3

  1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

  2. No painel de navegação, escolha Políticas.

  3. Escolha Criar política.

  4. No Editor de políticas, escolha JSON e, em seguida, substitua o JSON na janela do editor pelo seguinte JSON.

    No exemplo a seguir, <amzn-s3-demo-bucket-my-tutorial> substitua pelo nome do seu bucket do S3.

    {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListAllMyBuckets"
      ],
      "Resource": "arn:aws: s3:::*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket",
        "s3:GetBucketLocation",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws: s3:::<amzn-s3-demo-bucket-my-tutorial>"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:AbortMultipartUpload",
        "s3:ListMultipartUploadParts",
        "s3:ListBucketMultipartUploads"
      ],
      "Resource": "*"
    }
  ]
}

    Para obter instruções sobre como escrever políticas seguras, consulteControle de acesso do IAM.

  5. Escolha Próximo.

  6. Na página Revisar e criar, faça o seguinte:

    1. Em Nome da política, insira um nome descritivo, comomkc-tutorial-policy.

    2. Em Permissões definidas nesta política, revise e/ou edite as permissões definidas em sua política.

    3. (Opcional) Para ajudar a identificar, organizar ou pesquisar a política, escolha Adicionar nova tag para adicionar tags como pares de valores-chave. Por exemplo, adicione uma tag à sua política com o par de Environment valores-chave e. Test

      Para obter mais informações sobre o uso de tags, consulte Tags para AWS Identity and Access Management recursos no Guia do usuário do IAM.

  7. Escolha Criar política.

Para criar o perfil do IAM capaz de gravar no bucket de destino

  1. No painel de navegação do console do IAM, escolha Roles e, em seguida, escolha Create role.

  2. Na página Select trusted entity (Selecionar entidade confiável), faça o seguinte:

    1. Em Tipo de Entidade Confiável, escolha AWS service (Serviço da AWS).

    2. Para Serviço ou caso de uso, escolha S3.

    3. Em Caso de uso, escolha S3.

  3. Escolha Próximo.

  4. Na página Add permissions (Adicionar permissões), faça o seguinte:

    1. Na caixa de pesquisa em Políticas de permissões, insira o nome da política que você criou anteriormente para este tutorial. Por exemplo, mkc-tutorial-policy. Em seguida, escolha a caixa à esquerda do nome da política.

    2. (Opcional) Defina um limite de permissões. Esse é um atributo avançado que está disponível para perfis de serviço, mas não para perfis vinculados ao serviço. Para obter informações sobre como definir um limite de permissões, consulte Como criar funções e anexar políticas (console) no Guia do usuário do IAM.

  5. Escolha Próximo.

  6. Na página Name, review, and create (Nomear, revisar e criar), faça o seguinte:

    1. Em Nome da função, insira um nome descritivo, comomkc-tutorial-role.

      Importante

      Quando nomear um perfil, observe o seguinte:

      • Os nomes das funções devem ser exclusivos dentro de você Conta da AWS e não podem ser diferenciados por maiúsculas e minúsculas.

        Por exemplo, não crie dois perfis denominados PRODROLE e prodrole. Quando usado em uma política ou como parte de um ARN, o nome de perfil diferencia maiúsculas de minúsculas. No entanto, quando exibido para os clientes no console, como durante o processo de login, o nome de perfil diferencia maiúsculas de minúsculas.

      • Não é possível editar o nome do perfil depois de criá-lo porque outras entidades podem referenciar o perfil.

    2. (Opcional) Em Descrição, insira uma descrição para o perfil.

    3. (Opcional) Para editar os casos de uso e as permissões da função, na Etapa 1: Selecionar entidades confiáveis ou Etapa 2: Adicionar seções de permissões, escolha Editar.

    4. (Opcional) Para ajudar a identificar, organizar ou pesquisar a função, escolha Adicionar nova tag para adicionar tags como pares de valores-chave. Por exemplo, adicione uma tag à sua função com o par de ProductManager valores-chave e. John

      Para obter mais informações sobre o uso de tags, consulte Tags para AWS Identity and Access Management recursos no Guia do usuário do IAM.

  7. Reveja a função e escolha Criar função.

Para permitir que o MSK Connect assuma o perfil

  1. No console do IAM, em Gerenciamento de acesso no painel esquerdo, escolha Perfis.

  2. Encontre e escolha o mkc-tutorial-role.

  3. Na página Resumo do perfil, escolha a guia Relações de confiança.

  4. Selecione Edit trust relationship (Editar relação de confiança).

  5. Substitua a política de confiança existente pelo seguinte JSON.

    {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "kafkaconnect.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

  6. Selecione Atualizar política de confiança.

Para criar um endpoint da Amazon VPC da VPC do cluster para o Amazon S3

  1. Abra o console da Amazon VPC em https://console.aws.amazon.com/vpc/.

  2. No painel esquerdo, escolha Endpoints.

  3. Escolha Criar endpoint.

  4. Em Nome do serviço, escolha o serviço com.amazonaws.us-east-1.s3 e o tipo Gateway.

  5. Escolha a VPC do cluster e, em seguida, selecione a caixa à esquerda da tabela de rotas associada às sub-redes do cluster.

  6. Escolha Criar endpoint.

Próxima etapa

Criar plug-in personalizado