Le service géré Amazon pour Apache Flink était auparavant connu sous le nom d’Amazon Kinesis Data Analytics pour Apache Flink.
Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Utiliser les connecteurs Apache Flink avec le service géré pour Apache Flink
Les connecteurs Apache Flink sont des composants logiciels qui transfèrent des données vers et depuis une application Amazon Managed Service pour Apache Flink. Les connecteurs sont des intégrations flexibles qui vous permettent de lire des fichiers et des répertoires. Les connecteurs sont constitués de modules complets permettant d’interagir avec les services Amazon et les systèmes tiers.
Les types de connecteurs sont les suivants :
Sources : fournissez des données à votre application à partir d'un flux de données Kinesis, d'un fichier, d'un sujet Apache Kafka, d'un fichier ou d'autres sources de données.
-
Récepteurs : envoyez des données depuis votre application vers un flux de données Kinesis, un flux Firehose, une rubrique Apache Kafka ou d'autres destinations de données.
-
E/S asynchrones : fournit un accès asynchrone à une source de données telle qu'une base de données pour enrichir les flux.
Les connecteurs Apache Flink sont stockés dans leurs propres référentiels sources. La version et l'artefact des connecteurs Apache Flink changent en fonction de la version d'Apache Flink que vous utilisez et du fait que vous utilisiez le DataStream, Table ou. SQL API
Amazon Managed Service pour Apache Flink prend en charge plus de 40 connecteurs source et récepteur Apache Flink prédéfinis. Le tableau suivant fournit un résumé des connecteurs les plus courants et de leurs versions associées. Vous pouvez également créer des récepteurs personnalisés à l'aide du framework Async-sink. Pour plus d'informations, consultez The Generic Asynchronous Base Sink
Pour accéder au référentiel des AWS connecteurs Apache Flink, consultez flink-connector-aws
| Connecteur | Version 1.15 de Flink | Version 1.18 de Flink | Versions 1.19 et 1.20 de Flink |
|---|---|---|---|
| Kinesis Data Stream (source) et table DataStream API | flink-connector-kinesis, 1,15.4 | flink-connector-kinesis, 4,3,0-1,18 | flink-connector-kinesis, 4,3,0-1,19 |
| Kinesis Data Stream (récepteur) et table DataStream API | flink-connector-aws-kinesis-streams, 1.15.4 | flink-connector-aws-kinesis-streams, 4.3.0-1,18 | flink-connector-aws-kinesis-streams, 4.3.0-1,19 |
| Kinesis Data Streams - Source/récepteur - SQL | flink-sql-connector-kinesis, 1,15.4 | flink-sql-connector-kinesis, 4,3,0-1,18 | flink-sql-connector-kinesis, 4,3,0-1,19 |
| Kafka - DataStream et table API | flink-connector-kafka, 1,15.4 | flink-connector-kafka, 3,2,0-1,18 | flink-connector-kafka, 3,2,0-1,19 |
| Kafka - SQL | flink-sql-connector-kafka, 1,15.4 | flink-sql-connector-kafka, 3,2,0-1,18 | flink-sql-connector-kafka, 3,2,0-1,19 |
| Firehose - DataStream et table API | flink-connector-aws-kinesis-lance à incendie, 1.15.4 | flink-connector-aws-firehose, 4,3,0-1,18 | flink-connector-aws-firehose, 4,3,0-1,19 |
| Firehose - SQL | flink-sql-connector-aws-kinesis-firehose, 1.15.4 | flink-sql-connector-aws-tuyau à incendie, 4.3.0-1,18 | flink-sql-connector-aws-tuyau à incendie, 4.3.0-1,19 |
| DynamoDB - DataStream et table API | flink-connector-dynamodb, 3,0,0-1,15 | flink-connector-dynamodb, 4,3,0-1,18 | flink-connector-dynamodb, 4,3,0-1,19 |
| DynamoDB - SQL | flink-sql-connector-dynamodb, 3,0,0-1,15 | flink-sql-connector-dynamodb, 4,3,0-1,18 | flink-sql-connector-dynamodb, 4,3,0-1,19 |
| OpenSearch - DataStream et table API | - | flink-connector-opensearch, 1,2,0-1,18 | flink-connector-opensearch, 1,2,0-1,19 |
| OpenSearch - SQL | - | flink-sql-connector-opensearch, 1,2,0-1,18 | flink-sql-connector-opensearch, 1,2,0-1,19 |
Pour en savoir plus sur les connecteurs dans Amazon Managed Service pour Apache Flink, consultez :
Problèmes connus
Il existe un problème connu d'Apache Flink open source avec le connecteur Apache Kafka dans Apache Flink 1.15. Ce problème est résolu dans les versions ultérieures d'Apache Flink.
Pour de plus amples informations, veuillez consulter Problèmes connus.
