Solução de problemas do Amazon MSK Connect - Amazon Managed Streaming for Apache Kafka

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Solução de problemas do Amazon MSK Connect

As informações a seguir podem ajudar você a solucionar problemas que você pode vir a enfrentar com MSK Connect. Você também pode publicar seu problema no AWS re:Post.

O conector não consegue acessar recursos hospedados na Internet pública

Consulte Como habilitar o acesso à Internet para o Amazon MSK Connect.

O número de tarefas em execução do conector não é igual ao número de tarefas especificado em tasks.max

Aqui estão alguns motivos pelos quais um conector pode usar menos tarefas do que o valor especificado na configuração tasks.max:

  • Algumas implementações de conectores limitam o número de tarefas que podem ser usadas. Por exemplo, o conector Debezium para MySQL está limitado ao uso de uma única tarefa.

  • Quando você usa o modo de capacidade com escalabilidade automática, o Amazon MSK Connect substitui a propriedade tasks.max de um conector por um valor proporcional ao número de operadores em execução no conector e ao número de MCUs por operador.

  • Para conectores de coletor, o nível de paralelismo (número de tarefas) não pode ser maior que o número de partições de tópicos. Embora você possa definir tasks.max com um valor maior que esse, uma única partição nunca é processada por mais de uma única tarefa por vez.

  • No Kafka Connect 2.7.x, o atribuidor de partição de consumidor padrão é RangeAssignor. O comportamento desse atribuidor é fornecer a primeira partição de cada tópico a um único consumidor, a segunda partição de cada tópico a um único consumidor etc. Isso significa que o número máximo de tarefas ativas usadas por um conector de coletor com RangeAssignor é igual ao número máximo de partições em qualquer tópico que esteja sendo consumido. Se isso não funcionar para seu caso de uso, você deve criar uma configuração de agente na qual a propriedade consumer.partition.assignment.strategy seja definida como um atribuidor de partição de consumidor mais adequado. Consulte Interface do Kafka 2.7 ConsumerPartitionAssignor: todas as classes de implementação conhecidas.