Utiliser les connecteurs Apache Flink avec le service géré pour Apache Flink - Service géré pour Apache Flink

Le service géré Amazon pour Apache Flink était auparavant connu sous le nom d’Amazon Kinesis Data Analytics pour Apache Flink.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utiliser les connecteurs Apache Flink avec le service géré pour Apache Flink

Les connecteurs Apache Flink sont des composants logiciels qui transfèrent des données vers et depuis une application Amazon Managed Service pour Apache Flink. Les connecteurs sont des intégrations flexibles qui vous permettent de lire des fichiers et des répertoires. Les connecteurs sont constitués de modules complets permettant d’interagir avec les services Amazon et les systèmes tiers.

Les types de connecteurs sont les suivants :

  • Sources : fournissez des données à votre application à partir d'un flux de données Kinesis, d'un fichier, d'un sujet Apache Kafka, d'un fichier ou d'autres sources de données.

  • Récepteurs : envoyez des données depuis votre application vers un flux de données Kinesis, un flux Firehose, une rubrique Apache Kafka ou d'autres destinations de données.

  • E/S asynchrones : fournit un accès asynchrone à une source de données telle qu'une base de données pour enrichir les flux.

Les connecteurs Apache Flink sont stockés dans leurs propres référentiels sources. La version et l'artefact des connecteurs Apache Flink changent en fonction de la version d'Apache Flink que vous utilisez et du fait que vous utilisiez le DataStream, Table ou. SQL API

Amazon Managed Service pour Apache Flink prend en charge plus de 40 connecteurs source et récepteur Apache Flink prédéfinis. Le tableau suivant fournit un résumé des connecteurs les plus courants et de leurs versions associées. Vous pouvez également créer des récepteurs personnalisés à l'aide du framework Async-sink. Pour plus d'informations, consultez The Generic Asynchronous Base Sink dans la documentation d'Apache Flink.

Pour accéder au référentiel des AWS connecteurs Apache Flink, consultez flink-connector-aws.

Connecteurs pour les versions Flink
Connecteur Version 1.15 de Flink Version 1.18 de Flink Version 1.19 de Flink
Kinesis Data Stream (source) et table DataStream API flink-connector-kinesis, 1,15.4 flink-connector-kinesis, 4,3,0-1,18 flink-connector-kinesis, 4,3,0-1,19
Kinesis Data Stream (récepteur) et table DataStream API flink-connector-aws-kinesis-streams, 1.15.4 flink-connector-aws-kinesis-streams, 4.3.0-1,18 flink-connector-aws-kinesis-streams, 4.3.0-1,19
Kinesis Data Streams - Source/récepteur - SQL flink-sql-connector-kinesis, 1,15.4 flink-sql-connector-kinesis, 4,3,0-1,18 flink-sql-connector-kinesis, 4,3,0-1,19
Kafka - DataStream et table API flink-connector-kafka, 1,15.4 flink-connector-kafka, 3,2,0-1,18 flink-connector-kafka, 3,2,0-1,19
Kafka - SQL flink-sql-connector-kafka, 1,15.4 flink-sql-connector-kafka, 3,2,0-1,18 flink-sql-connector-kafka, 3,2,0-1,19
Firehose - DataStream et table API flink-connector-aws-kinesis-lance à incendie, 1.15.4 flink-connector-aws-firehose, 4,3,0-1,18 flink-connector-aws-firehose, 4,3,0-1,19
Firehose - SQL flink-sql-connector-aws-kinesis-firehose, 1.15.4 flink-sql-connector-aws-tuyau à incendie, 4.3.0-1,18 flink-sql-connector-aws-tuyau à incendie, 4.3.0-1,19
DynamoDB - DataStream et table API flink-connector-dynamodb, 3,0,0-1,15 flink-connector-dynamodb, 4,3,0-1,18 flink-connector-dynamodb, 4,3,0-1,19
DynamoDB - SQL flink-sql-connector-dynamodb, 3,0,0-1,15 flink-sql-connector-dynamodb, 4,3,0-1,18 flink-sql-connector-dynamodb, 4,3,0-1,19
OpenSearch - DataStream et table API - flink-connector-opensearch, 1,2,0-1,18 flink-connector-opensearch, 1,2,0-1,19
OpenSearch - SQL - flink-sql-connector-opensearch, 1,2,0-1,18 flink-sql-connector-opensearch, 1,2,0-1,19

Pour en savoir plus sur les connecteurs dans Amazon Managed Service pour Apache Flink, consultez :