Le service géré Amazon pour Apache Flink était auparavant connu sous le nom d’Amazon Kinesis Data Analytics pour Apache Flink.
Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Utilisez des connecteurs pour déplacer des données dans le service géré pour Apache Flink avec le DataStream API
Dans Amazon Managed Service pour Apache Flink DataStream API, les connecteurs sont des composants logiciels qui déplacent les données vers et depuis une application Managed Service for Apache Flink. Les connecteurs sont des intégrations flexibles qui vous permettent de lire des fichiers et des répertoires. Les connecteurs sont constitués de modules complets permettant d’interagir avec les services Amazon et les systèmes tiers.
Les types de connecteurs sont les suivants :
Ajouter des sources de données de streaming au service géré pour Apache Flink : fournit des données à votre application à partir d’un flux de données Kinesis, d’un fichier ou d’une autre source de données.
Écrire des données à l'aide de récepteurs dans le service géré pour Apache Flink: envoyez des données depuis votre application vers un flux de données Kinesis, un flux Firehose ou une autre destination de données.
Utiliser les E/S asynchrones dans le service géré pour Apache Flink : fournit un accès asynchrone à une source de données (telle qu’une base de données) pour enrichir les événements de flux.
Connecteurs disponibles
L’environnement Apache Flink contient des connecteurs permettant d’accéder aux données provenant de diverses sources. Pour obtenir des informations sur les connecteurs disponibles dans l’environnement Apache Flink, consultez Connectors
Avertissement
Si vous avez des applications exécutées sur Flink 1.6, 1.8, 1.11 ou 1.13 et que vous souhaitez les exécuter dans les régions du Moyen-Orient (UAE), de l'Asie-Pacifique (Hyderabad), d'Israël (Tel Aviv), de l'Europe (Zurich), du Moyen-Orient (), de l'Asie-Pacifique (MelbourneUAE) ou de l'Asie-Pacifique (Jakarta), vous devrez peut-être reconstruire votre archive d'applications avec un connecteur mis à jour ou effectuer une mise à niveau vers Flink 1.18.
Les connecteurs Apache Flink sont stockés dans leurs propres référentiels open source. Si vous effectuez une mise à niveau vers la version 1.18 ou ultérieure, vous devez mettre à jour vos dépendances. Pour accéder au référentiel des AWS connecteurs Apache Flink, consultez flink-connector-aws
Les directives suivantes sont recommandées :
Améliorations de connecteurs | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Version Flink | Connecteur utilisé | Résolution | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 1.15 | EFO |
Lors de la mise à niveau vers Amazon Managed Service pour Apache Flink version 1.15, assurez-vous d'utiliser le connecteur le plus récentEFO. Il doit s'agir de n'importe quelle version 1.15.3 ou ultérieure. Pour plus d’informations, consultez : |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 1.15 | Évier Amazon Data Firehose |
Lors de la mise à niveau vers Amazon Managed Service pour Apache Flink version 1.15, assurez-vous d'utiliser le dernier Amazon Data Firehose Sink. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 1.15 | Connecteurs Kafka |
Lors de la mise à niveau vers Amazon Managed Service pour Apache Flink version 1.15, assurez-vous que vous utilisez le connecteur Kafka le plus récent. APIs Apache Flink est obsolète et FlinkKafkaConsumer |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 1.6 - 1.13 | Firehose |
Votre application dépend d'une version obsolète du connecteur Firehose qui ne tient pas compte des nouvelles AWS régions. Reconstruisez les archives de votre application à l’aide du connecteur Firehose version 2.1.0. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 1.8 | Kinesis |
Votre application dépend d'une version obsolète du connecteur Flink Kinesis qui ne prend pas en compte les nouvelles régions. AWS Reconstruisez les archives de votre application à l’aide du connecteur Kinesis Flink version 1.6.1. https://github.com/awslabs/amazon-kinesis-connector-flink/tree/1.6.1 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 1.11 | Kinesis |
Votre application dépend d'une version obsolète du connecteur Flink Kinesis qui ne prend pas en compte les nouvelles régions. AWS Reconstruisez les archives de votre application à l’aide du connecteur Kinesis Flink version 2.4.1. https://github.com/awslabs/amazon-kinesis-connector-flink/tree/2.4.1 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 1.6 et 1.13 | Kinesis |
Votre application dépend d'une version obsolète du connecteur Flink Kinesis qui ne prend pas en compte les nouvelles régions. AWS Malheureusement, Flink ne publie plus de correctifs ou de corrections de bogues pour les connecteurs 1.6/1.13. Nous vous suggérons de passer à Flink 1.15 en reconstruisant l’archive de votre application avec Flink 1.15. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
