As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Saiba mais sobre o MSK Connect
O MSK Connect é um recurso do Amazon MSK que facilita o streaming de dados de e para os clusters do Apache Kafka. O MSK Connect usa as versões 2.7.1 ou 3.7.x do Kafka Connect, que são estruturas de código aberto para conectar clusters do Apache Kafka a sistemas externos, como bancos de dados, índices de pesquisa e sistemas de arquivos. Com o MSK Connect, você pode implantar conectores totalmente gerenciados criados para o Kafka Connect que movem dados para ou extraem dados de datastores populares, como Amazon S3 e Amazon Service. OpenSearch Você pode implantar conectores desenvolvidos por terceiros, como o Debezium, para transmitir logs de alterações de bancos de dados para um cluster do Apache Kafka ou implantar um conector existente sem alterações no código. Os conectores escalam automaticamente para se ajustar às mudanças na carga, e você paga apenas pelos recursos que usa.
Use conectores de origem para importar dados de sistemas externos para seus tópicos. Com conectores de coletor, você pode exportar dados de seus tópicos para sistemas externos.
O MSK Connect é compatível com conectores para qualquer cluster do Apache Kafka com conectividade com uma Amazon VPC, seja um cluster do MSK ou um cluster do Apache Kafka hospedado de maneira independente.
O MSK Connect monitora continuamente a integridade e o estado de entrega dos conectores, corrige e gerencia o hardware subjacente e dimensiona automaticamente a escala dos conectores para corresponder às mudanças no throughput.
Para começar a usar o MSK Connect, consulte Conceitos básicos sobre o MSK Connect.
Para saber mais sobre os AWS recursos que você pode criar com o MSK ConnectSaiba mais sobre conectores, consulteCriar plug-ins personalizados, e. Saiba mais sobre os operadores do MSK Connect
Para obter informações sobre a API do MSK Connect, consulte a Referência de API do Amazon MSK Connect.
Benefícios de usar o Amazon MSK Connect
O Apache Kafka é uma das plataformas de streaming de código aberto mais amplamente adotadas para ingerir e processar fluxos de dados em tempo real. Com o Apache Kafka, você pode desacoplar e escalar de forma independente as aplicações que produzem e consomem dados.
O Kafka Connect é um componente importante da criação e execução de aplicações de streaming com o Apache Kafka. O Kafka Connect fornece uma maneira padronizada de mover dados entre o Kafka e sistemas externos. O Kafka Connect é altamente escalável e pode lidar com grandes volumes de dados. Ele fornece um conjunto avançado de operações e ferramentas de API para configurar, implantar e monitorar conectores que movem dados entre tópicos do Kafka e sistemas externos. Você pode usar essas ferramentas para personalizar e ampliar a funcionalidade do Kafka Connect para atender às necessidades específicas da aplicação de streaming.
Você pode enfrentar desafios ao operar clusters do Apache Kafka Connect por conta própria, ou ao tentar migrar aplicações de código aberto do Apache Kafka Connect para a AWS. Esses desafios incluem o tempo necessário para configurar a infraestrutura e implantar aplicações, obstáculos de engenharia ao configurar clusters autogerenciados do Apache Kafka Connect e sobrecarga operacional administrativa.
Para enfrentar esses desafios, recomendamos usar o Amazon Managed Streaming for Apache Kafka Connect (Amazon MSK Connect) para migrar as aplicações do Apache Kafka Connect de código aberto para a AWS. O Amazon MSK Connect simplifica o uso do Kafka Connect para transmitir dados de e para entre clusters do Apache Kafka e sistemas externos, como bancos de dados, índices de pesquisa e sistemas de arquivos.
Veja abaixo alguns benefícios de migrar para o Amazon MSK Connect:
Eliminação da sobrecarga operacional: o Amazon MSK Connect elimina a carga operacional associada à aplicação de patches, provisionamento e escalabilidade dos clusters do Apache Kafka Connect. O Amazon MSK Connect monitora continuamente a integridade dos clusters do Connect e automatiza a aplicação de patches e as atualizações de versão sem causar interrupções nas workloads.
Reinício automático das tarefas do Connect: o Amazon MSK Connect pode recuperar automaticamente tarefas com falha para reduzir as interrupções na produção. As falhas nas tarefas podem ser causadas por erros temporários, como a violação do limite de conexão TCP do Kafka e o rebalanceamento de tarefas quando novos operadores se juntam ao grupo de consumidores para conectores de coletor.
Escalabilidade horizontal e vertical automática: o Amazon MSK Connect permite que a aplicação de conectores seja escalada automaticamente para ser compatível com maiores taxas de transferência. O Amazon MSK Connect gerencia a escalabilidade para você. Você só precisa especificar o número de operadores no grupo do Auto Scaling e os limites de utilização.o Você pode usar a operação da
UpdateConnectorAPI Amazon MSK Connect para aumentar ou reduzir verticalmente o v CPUs entre 1 e 8 v CPUs para suportar a taxa de transferência variável.Conectividade de rede privada — O Amazon MSK Connect se conecta de forma privada aos sistemas de origem e coletor usando nomes AWS PrivateLink DNS privados.
