Amazon Managed Service para Apache Flink Amazon se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.
Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Utilice los conectores Apache Flink con el servicio gestionado para Apache Flink
Los conectores Apache Flink son componentes de software que mueven datos hacia y desde una aplicación de Amazon Managed Service for Apache Flink. Los conectores son integraciones flexibles que permiten leer archivos y directorios. Los conectores constan de módulos completos para interactuar con los servicios de Amazon y los sistemas de terceros.
Entre los tipos de conectores, se incluyen:
Fuentes: proporcione datos a su aplicación desde una secuencia de datos, un archivo, un tema de Apache Kafka, un archivo u otras fuentes de datos de Kinesis.
-
Sumideros: envíe datos desde su aplicación a una transmisión de datos de Kinesis, una transmisión de Firehose, un tema de Apache Kafka u otros destinos de datos.
-
E/S asíncrona: proporciona acceso asíncrono a una fuente de datos, como una base de datos, para enriquecer las transmisiones.
Los conectores Apache Flink se almacenan en sus propios repositorios de origen. La versión y el artefacto de los conectores de Apache Flink cambian en función de la versión de Apache Flink que se utilice y de si se utiliza la DataStream tabla o. SQL API
Amazon Managed Service for Apache Flink admite más de 40 conectores fuente y receptor Apache Flink prediseñados. La siguiente tabla proporciona un resumen de los conectores más populares y sus versiones asociadas. También puede crear sumideros personalizados utilizando el marco Async-Sink. Para obtener más información, consulte The Generic Asynchronous Base
Para acceder al repositorio de los conectores de Apache AWS Flink, consulte. flink-connector-aws
| Kinesis - S3 | Flink versión 1.15 | Flink versión 1.18 | Versiones 1.19 de Flink | Versiones 1.20 de Flink |
|---|---|---|---|---|
| Transmisión de datos de Kinesis: DataStream fuente y tabla API | flink-connector-kinesis, 1.15.4 | flink-connector-kinesis, 4,3,0-1,18 | flink-connector-kinesis, 5,0-1,19 | flink-connector-kinesis, 5,0-0-1,20 |
| Kinesis Data Stream: sumidero y tabla DataStream API | flink-connector-aws-kinesis-streams, 1.15.4 | flink-connector-aws-kinesis-arroyos, 4.3.0-1.18 | flink-connector-aws-kinesis-arroyos, 5.0.0-1.19 | flink-connector-aws-kinesis-arroyos, 5.0.0-1.20 |
| Kinesis Data Streams - Fuente/receptor - SQL | flink-sql-connector-kinesis, 1.15.4 | flink-sql-connector-kinesis, 4,3,0-1,18 | flink-sql-connector-kinesis, 5,0-1,19 | flink-sql-connector-kinesis-arroyos, 5.0.0-1.20 |
| Kafka y mesa DataStream API | flink-connector-kafka, 1.15.4 | flink-connector-kafka, 3.2,0-1,18 | flink-connector-kafka, 3,30-1,19 | flink-connector-kafka, 3,30-1,20 |
| Kafka - SQL | flink-sql-connector-kafka, 1.15.4 | flink-sql-connector-kafka, 3.2,0-1,18 | flink-sql-connector-kafka, 3,30-1,19 | flink-sql-connector-kafka, 3,30-1,20 |
| Firehose - DataStream y mesa API | flink-connector-aws-kinesis- manguera contra incendios, 1.15.4 | flink-connector-aws-firehose, 4.3,0-1.18 | flink-connector-aws-firehose, 5,0-1,19 | flink-connector-aws-firehose, 5,0-0-1,20 |
| Firehose - SQL | flink-sql-connector-aws-manguera de cinesis-incendio, 1.15.4 | flink-sql-connector-aws-manguera de incendios, 4.3.0-1.18 | flink-sql-connector-aws-manguera de incendios, 5.0.0-1.19 | flink-sql-connector-aws-manguera de incendios, 5.0.0-1.20 |
| DynamoDB DataStream y tabla API | flink-connector-dynamodb, 3.0.0-1.15 | flink-connector-dynamodb, 4,30-1,18 | flink-connector-dynamodb, 5,0-1,19 | flink-connector-dynamodb, 5,0-0-1,20 |
| DynamoDB - SQL | flink-sql-connector-dynamodb, 3.0.0-1.15 | flink-sql-connector-dynamodb, 4,30-1,18 | flink-sql-connector-dynamodb, 5,0-1,19 | flink-sql-connector-dynamodb, 5,0-0-1,20 |
| OpenSearch - y mesa DataStream API | - | flink-connector-opensearch, 1.2.0-1.18 | flink-connector-opensearch, 1.2,0-1,19 | flink-connector-opensearch, 1.2,0-1,19 |
| OpenSearch - SQL | - | flink-sql-connector-opensearch, 1.2,0-1,18 | flink-sql-connector-opensearch, 1.2,0-1,19 | flink-sql-connector-opensearch, 1.2,0-1,19 |
| Amazon Managed Service para Prometheus DataStream | - | flink-sql-connector-opensearch, 1.2.0-1.18 | flink-connector-prometheus, 1,0-1,19 | flink-connector-prometheus, 1,0-0-1,20 |
| Amazon SQS DataStream y Table API | - | flink-sql-connector-opensearch, 1.2.0-1.18 | flink-connector-sqs, 5,0-1,19 | flink-connector-sqs, 5,0-0-1,20 |
Para obtener más información sobre los conectores de Amazon Managed Service para Apache Flink, consulte:
Problemas conocidos
Existe un problema conocido de código abierto con el conector Apache Kafka de Apache Flink 1.15. Este problema se ha resuelto en versiones posteriores de Apache Flink.
Para obtener más información, consulte Problemas conocidos.
