Résolution des problèmes liés à Amazon MSK Connect - Amazon Managed Streaming for Apache Kafka

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Résolution des problèmes liés à Amazon MSK Connect

La documentation suivante peut vous aider à résoudre les problèmes que vous pouvez rencontrer lors de l'utilisation de MSK Connect. Vous pouvez également publier votre problème sur AWS re:Post.

Le connecteur ne parvient pas à accéder aux ressources hébergées sur l'Internet public

Consultez Activation de l'accès à Internet pour Amazon MSK Connect.

Le nombre de tâches en cours d'exécution du connecteur n'est pas égal au nombre de tâches spécifié dans tasks.max

Voici quelques raisons pour lesquelles un connecteur peut utiliser moins de tâches que la configuration tasks.max spécifiée :

  • Certaines implémentations de connecteurs limitent le nombre de tâches pouvant être utilisées. Par exemple, le connecteur Debezium pour MySQL est limité à l'utilisation d'une seule tâche.

  • Lorsque vous utilisez le mode de capacité mise à l'échelle automatiquement, Amazon MSK Connect remplace la propriété tasks.max d'un connecteur par une valeur proportionnelle au nombre de workers exécutant le connecteur et au nombre de MCU par worker.

  • Pour les connecteurs récepteurs, le niveau de parallélisme (nombre de tâches) ne peut pas être supérieur au nombre de partitions de rubrique. Bien que vous puissiez définir une valeur supérieure à tasks.max, une seule partition n'est jamais traitée par plus d'une tâche à la fois.

  • Dans Kafka Connect 2.7.x, l'assignateur de partition client par défaut est RangeAssignor. Le comportement de cet assignateur consiste à donner la première partition de chaque rubrique à un seul consommateur, la deuxième partition de chaque rubrique à un seul consommateur, etc. Cela signifie que le nombre maximum de tâches actives utilisées par un connecteur récepteur RangeAssignor est égal au nombre maximal de partitions utilisées dans un même sujet. Si cela ne fonctionne pas pour votre cas d'utilisation, vous devez créer une configuration de worker dans laquelle la propriété consumer.partition.assignment.strategy est définie sur un assignateur de partition consommateur plus approprié. Voir Interface Kafka 2.7 ConsumerPartitionAssignor : toutes les classes d'implémentation connues.