Boas-vindas ao Guia do desenvolvedor do Amazon MSK - Amazon Managed Streaming for Apache Kafka
O que é o Amazon MSK?

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Boas-vindas ao Guia do desenvolvedor do Amazon MSK

Boas-vindas ao Guia do desenvolvedor do Amazon MSK. Os tópicos a seguir podem ajudar você a começar a usar este guia com base no que você estiver tentando fazer.

Para os destaques, detalhes do produto e preços, consulte a página de serviços do Amazon MSK.

O que é o Amazon MSK?

O Amazon Managed Streaming for Apache Kafka (Amazon MSK) é um serviço totalmente gerenciado que o habilita a criar e executar aplicações que usam o Apache Kafka para processar dados de transmissões. O Amazon MSK fornece as operações do ambiente de gerenciamento, como as operações para criar, atualizar e excluir clusters. Ele permite usar operações do plano de dados do Apache Kafka, como aqueles para produzir e consumir dados. Ele executa versões de código aberto do Apache Kafka. Isso significa que aplicativos, ferramentas e plug-ins existentes de parceiros e da comunidade Apache Kafka são compatíveis sem a necessidade de fazer alterações no código do aplicativo. É possível usar o Amazon MSK para criar clusters com qualquer uma das versões do Apache Kafka listadas em Versões compatíveis do Apache Kafka.

Esses componentes descrevem a arquitetura do Amazon MSK:

  • Nós de agente: ao criar um cluster do Amazon MSK, especifique quantos nós de agente você deseja que o Amazon MSK crie em cada zona de disponibilidade. O mínimo é um corretor por zona de disponibilidade. Cada zona de disponibilidade tem sua própria sub-rede de nuvem privada virtual (VPC).

  • ZooKeeper nós — O Amazon MSK também cria os ZooKeeper nós Apache para você. O Apache ZooKeeper é um servidor de código aberto que permite uma coordenação distribuída altamente confiável.

  • Controladores Kraft — A comunidade Apache Kafka desenvolveu o Kraft para substituir o Apache no gerenciamento de metadados nos clusters do Apache ZooKeeper Kafka. No modo Kraft, os metadados do cluster são propagados dentro de um grupo de controladores Kafka, que fazem parte do cluster Kafka, em vez de entre nós. ZooKeeper Os controladores Kraft estão incluídos sem custo adicional para você e não exigem configuração ou gerenciamento adicionais de sua parte.

    nota

    A partir do Apache Kafka versão 3.7.x no MSK, você pode criar clusters que usam o modo Kraft em vez do modo. ZooKeeper

  • Produtores, consumidores e criadores de tópicos: o Amazon MSK permite que você use operações do plano de dados do Apache Kafka para criar tópicos, além de produzir e consumir dados.

  • Operações de cluster Você pode usar o AWS Management Console, o AWS Command Line Interface (AWS CLI) ou as APIs no SDK para realizar operações no plano de controle. Por exemplo, você pode criar ou excluir um cluster do Amazon MSK, listar todos os clusters em uma conta, visualizar as propriedades de um cluster e atualizar o número e o tipo de agentes em um cluster.

O Amazon MSK detecta e se recupera automaticamente dos cenários de falha mais comuns para clusters, permitindo que as aplicações produtoras e consumidoras possam continuar suas operações de gravação e leitura com o menor impacto. Quando o Amazon MSK detecta uma falha de agente, ele mitiga a falha ou substitui o agente não íntegro ou inacessível por um novo. Além disso, sempre que possível, ele reutiliza o armazenamento do agente mais antigo para reduzir os dados que o Apache Kafka precisa replicar. Seu impacto na disponibilidade é limitado ao tempo necessário para o Amazon MSK concluir a detecção e a recuperação. Após uma recuperação, os aplicativos de produtor e consumidor podem continuar se comunicando com os mesmos endereços IP do agente usados antes da falha.