Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Comprendre MSK Connect
MSK Connect est une fonctionnalité d'Amazon MSK qui permet aux développeurs de diffuser facilement des données vers et depuis leurs clusters Apache Kafka. MSK Connect utilise les versions 2.7.1 ou 3.7.x de Kafka Connect, qui sont des frameworks open source permettant de connecter des clusters Apache Kafka à des systèmes externes tels que des bases de données, des index de recherche et des systèmes de fichiers. Avec MSK Connect, vous pouvez déployer des connecteurs entièrement gérés conçus pour Kafka Connect qui transfèrent des données vers ou extraient des données depuis des magasins de données populaires tels qu'Amazon S3 et Amazon OpenSearch Service. Vous pouvez déployer des connecteurs développés par des tiers comme Debezium pour diffuser les journaux des modifications des bases de données vers un cluster Apache Kafka ou déployer un connecteur existant sans modification de code. Les connecteurs sont automatiquement mis à l'échelle pour s'adapter à l'évolution de la charge et vous ne payez que pour les ressources que vous utilisez.
Utilisez des connecteurs sources pour importer des données provenant de systèmes externes dans vos rubriques. Grâce aux connecteurs récepteurs, vous pouvez exporter les données de vos rubriques vers des systèmes externes.
MSK Connect prend en charge les connecteurs pour tout cluster Apache Kafka connecté à un Amazon VPC, qu'il s'agisse d'un cluster MSK ou d'un cluster Apache Kafka hébergé indépendamment.
MSK Connect surveille en permanence l'état de santé et l'état de livraison des connecteurs, applique les correctifs et gère le matériel sous-jacent, et adapte automatiquement les connecteurs en fonction de l'évolution du débit.
Pour commencer à utiliser la console, consultez Commencer à utiliser MSK Connect.
Pour en savoir plus sur les AWS ressources que vous pouvez créer avec MSK Connect, consultez Comprendre les connecteursCréez des plugins personnalisés, etComprenez les employés de MSK Connect.
Pour plus d'informations sur l'API MSK Connect, consultez le manuel Référence de l'API Amazon MSK Connect.
Avantages liés à l'utilisation d'Amazon MSK Connect
Apache Kafka est l'une des plateformes de streaming open source les plus largement adoptées pour l'ingestion et le traitement de flux de données en temps réel. Avec Apache Kafka, vous pouvez dissocier et dimensionner indépendamment vos applications productrices et consommatrices de données.
Kafka Connect est un élément important de la création et de l'exécution d'applications de streaming avec Apache Kafka. Kafka Connect fournit un moyen standardisé de transférer des données entre Kafka et des systèmes externes. Kafka Connect est hautement évolutif et peut gérer de gros volumes de données Kafka Connect fournit un ensemble puissant d'opérations d'API et d'outils pour configurer, déployer et surveiller les connecteurs qui déplacent les données entre les sujets Kafka et les systèmes externes. Vous pouvez utiliser ces outils pour personnaliser et étendre les fonctionnalités de Kafka Connect afin de répondre aux besoins spécifiques de votre application de streaming.
Vous pouvez rencontrer des difficultés lorsque vous utilisez des clusters Apache Kafka Connect de manière autonome ou lorsque vous essayez de migrer des applications Apache Kafka Connect open source vers. AWS Ces défis incluent le temps nécessaire à la configuration de l'infrastructure et au déploiement des applications, les obstacles techniques liés à la configuration de clusters Apache Kafka Connect autogérés et les frais administratifs opérationnels.
Pour relever ces défis, nous vous recommandons d'utiliser Amazon Managed Streaming for Apache Kafka Connect (Amazon MSK Connect) pour migrer vos applications open source Apache Kafka Connect vers. AWS Amazon MSK Connect simplifie l'utilisation de Kafka Connect pour diffuser des données depuis et vers des clusters Apache Kafka et des systèmes externes, tels que des bases de données, des index de recherche et des systèmes de fichiers.
Voici certains des avantages de la migration vers Amazon MSK Connect :
Élimination de la charge opérationnelle : Amazon MSK Connect allège la charge opérationnelle associée à l'application de correctifs, au provisionnement et à la mise à l'échelle des clusters Apache Kafka Connect. Amazon MSK Connect surveille en permanence l'état de vos clusters Connect et automatise les correctifs et les mises à niveau de version sans perturber vos charges de travail.
Redémarrage automatique des tâches Connect : Amazon MSK Connect peut récupérer automatiquement les tâches ayant échoué afin de réduire les interruptions de production. Les échecs de tâches peuvent être provoqués par des erreurs temporaires, telles que le dépassement de la limite de connexion TCP pour Kafka ou le rééquilibrage des tâches lorsque de nouveaux collaborateurs rejoignent le groupe de consommateurs pour les connecteurs récepteurs.
Mise à l'échelle horizontale et verticale automatique : Amazon MSK Connect permet à l'application du connecteur de s'adapter automatiquement pour prendre en charge des débits plus élevés. Amazon MSK Connect gère le dimensionnement pour vous. Il vous suffit de spécifier le nombre de travailleurs dans le groupe de mise à l'échelle automatique et les seuils d'utilisation. Vous pouvez utiliser le fonctionnement de l'
UpdateConnectorAPI Amazon MSK Connect pour augmenter ou diminuer verticalement le v CPUs entre 1 et 8 v afin de prendre en CPUs charge un débit variable.Connectivité réseau privée — Amazon MSK Connect se connecte de manière privée aux systèmes source et récepteur en utilisant AWS PrivateLink des noms DNS privés.
