View a markdown version of this page

Usa i connettori Apache Flink con Managed Service for Apache Flink - Servizio gestito per Apache Flink
Connettori per Flink 2.0+Connettori per versioni precedenti di Flink

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Usa i connettori Apache Flink con Managed Service for Apache Flink

I connettori Apache Flink sono componenti software che spostano i dati da e verso un'applicazione Amazon Managed Service per Apache Flink. I connettori sono integrazioni flessibili che consentono di leggere file e directory. I connettori sono costituiti da moduli completi per l'interazione con i servizi Amazon e i sistemi di terze parti.

I tipi di connettori comprendono:

  • Fonti: fornisci dati all'applicazione da un flusso di dati Kinesis, un file, un argomento di Apache Kafka, un file o altre fonti di dati.

  • Sinks: invia i dati dall'applicazione a un flusso di dati Kinesis, a un flusso Firehose, a un argomento Apache Kafka o ad altre destinazioni di dati.

  • Asincrono I/O: fornisce l'accesso asincrono a una fonte di dati come un database per arricchire i flussi.

I connettori Apache Flink sono archiviati nei rispettivi archivi di origine. La versione e l'artefatto dei connettori Apache Flink cambiano a seconda della versione di Apache Flink in uso e se si utilizza l'API Table o SQL. DataStream

Amazon Managed Service per Apache Flink supporta oltre 40 connettori sorgente e sink Apache Flink predefiniti. La tabella seguente fornisce un riepilogo dei connettori più diffusi e delle versioni associate. È inoltre possibile creare lavandini personalizzati utilizzando il Async-sink framework. Per ulteriori informazioni, consulta The Generic Asynchronous Base Sink nella documentazione di Apache Flink.

Per accedere all'archivio per i connettori Apache Flink, consulta flink-connector-aws. AWS

Quando si esegue l'aggiornamento a Flink 2.x, è necessario aggiornare le dipendenze dei connettori a versioni compatibili con il runtime Flink 2.x. I connettori Flink vengono rilasciati indipendentemente dal runtime Flink e non tutti i connettori hanno ancora una versione compatibile con Flink 2.x. La tabella seguente riassume la disponibilità dei connettori di uso comune in Amazon Managed Service for Apache Flink al momento della stesura di questo documento:

Connettori per Flink 2.0+

Connector

Versione Flink 2.2

Versione Flink 2.3

Apache Kafka

flink-connector-kafka 4.0.0-2.0

flink-connector-kafka 4.0.0-2.0

Kinesis Data Streams (fonte)

connettore flink-aws-kinesis-streams 6.0.1-2.0

flink-connector-aws-kinesis-streams 6.0.1-2.0

Kinesis Data Streams (sink)

connettore-flink-aws-kinesis-streams 6.0.1-2.0

flink-connector-aws-kinesis-streams 6.0.1-2.0

FileSystem (S3, HDFS)

In bundle con Flink

In bundle con Flink

JDBC

flink-connector-jdbc-core 4.0.0-2.0

connettore-flink-jdbc-core 4.0.0-2.0

OpenSearch

Non ancora rilasciato per 2.x

Non ancora rilasciato per 2.x

Elasticsearch

flink-connector-elasticsearch7 4.0.0-2.0

flink-connector-elasticsearch7 4.0.0-2.0

Amazon Managed Service per Prometheus

Non ancora rilasciato per 2.x

Non ancora rilasciato per 2.x

Se l'applicazione dipende da un connettore che non dispone ancora di una versione Flink 2.x, sono disponibili due opzioni: attendere che il connettore rilasci una versione compatibile o valutare se è possibile sostituirlo con un'alternativa (ad esempio, utilizzando il catalogo JDBC o un sink personalizzato).

Nota

A partire dalla versione 4.0.0-2.0, il connettore JDBC è modularizzato. L'artefatto monolitico viene sostituito da un flink-connector-jdbc artefatto principale () e da artefatti specifici del database come e. flink-connector-jdbc-core flink-connector-jdbc-postgres flink-connector-jdbc-mysql Aggiorna le tue dipendenze da Maven o Gradle di conseguenza quando esegui l'aggiornamento a Flink 2.x.

Problemi noti

  • Le applicazioni che utilizzano il percorso KinesisStreamsSource with EFO (Enhanced Fan-Out / SubscribeToShard) introdotto nei connettori v5.0.0 e v6.0.0 potrebbero fallire quando gli stream Kinesis vengono sottoposti a resharding. Si tratta di un problema noto nella comunità. Per ulteriori informazioni, consulta FLINK-37648.

  • Le applicazioni che utilizzano il percorso KinesisStreamsSource with EFO (Enhanced Fan-Out / SubscribeToShard) introdotto nei connettori v5.0.0 e v6.0.0 KinesisStreamsSink potrebbero riscontrare dei deadlock se l'applicazione Flink è in contropressione, con conseguente arresto completo dell'elaborazione dei dati in uno o più. TaskManagers Per ripristinare l'app sono necessarie un'operazione di arresto forzato e un'operazione di avvio dell'app. Questo è un caso secondario del problema noto nella community: FLINK-34071.

Connettori per versioni precedenti di Flink

Connettori per versioni precedenti di Flink
Connector Flink versione 1.15 Flink versione 1.18 Versioni Flink 1.19 Versioni Flink 1.20
Kinesis Data Stream - API di origine DataStream e tabella flink-connector-kinesis, 1.15.4 flink-connector-kinesis, 4.3.0-1.18 flink-connector-kinesis, 5.0.0-1.19 flink-connector-kinesis, 5.0.0-1.20
API Kinesis Data Stream - Sink - DataStream e Table flink-connector-aws-kinesis-streams, 1.15.4 flink-connector-aws-kinesis-streams, 4.3.0-1.18 flink-connector-aws-kinesis-streams, 5.0.0-1.19 flink-connector-aws-kinesis-streams, 5.0.0-1.20
Kinesis Data Source/Sink Streams - - SQL flink-sql-connector-kinesis, 1.15.4 flink-sql-connector-kinesis, 4.3.0-1.18 flink-sql-connector-kinesis, 5.0.0-1.19 flink-sql-connector-kinesis-streams, 5.0.0-1.20
Kafka e Table API DataStream flink-connector-kafka, 1.15.4 flink-connector-kafka, 3.2.0-1.18 flink-connector-kafka, 3.3.0-1.19 flink-connector-kafka, 3.3.0-1.20
Kafka - SQL flink-sql-connector-kafka, 1.15.4 flink-sql-connector-kafka, 3.2.0-1.18 flink-sql-connector-kafka, 3.3.0-1.19 flink-sql-connector-kafka, 3.3.0-1.20
API Firehose DataStream e Table flink-connector-aws-kinesis-firehose, 1.15.4 flink-connector-aws-firehose, 4.3.0-1.18 flink-connector-aws-firehose, 5.0.0-1.19 flink-connector-aws-firehose, 5.0.0-1.20
Firehose - SQL flink-sql-connector-aws-kinesis-firehose, 1.15.4 flink-sql-connector-aws-firehose, 4.3.0-1.18 flink-sql-connector-aws-firehose, 5.0.0-1.19 flink-sql-connector-aws-firehose, 5.0.0-1.20
DynamoDB DataStream e API per tabelle flink-connector-dynamodb, 3.0.0-1.15 connettore-flink-dynamodb, 4.3.0-1.18 flink-connector-dynamodb, 5.0.0-1.19 flink-connector-dynamodb, 5.0.0-1.20
DynamoDB - SQL flink-sql-connector-dynamodb, 3.0.0-1.15 flink-sql-connector-dynamodb, 4.3.0-1.18 flink-sql-connector-dynamodb, 5.0.0-1.19 flink-sql-connector-dynamodb, 5.0.0-1.20
OpenSearch - e Table API DataStream - flink-connector-opensearch, 1.2.0-1.18 flink-connector-opensearch, 1.2.0-1.19 flink-connector-opensearch, 1.2.0-1.19
OpenSearch - SQL - flink-sql-connector-opensearch, 1.2.0-1.18 flink-sql-connector-opensearch, 1.2.0-1.19 flink-sql-connector-opensearch, 1.2.0-1.19
Servizio gestito Amazon per Prometheus DataStream - flink-sql-connector-opensearch, 1.2.0-1.18 flink-connector-prometheus, 1.0.0-1.19 flink-connector-prometheus, 1.0.0-1.20
Amazon SQS DataStream e API per tabelle - flink-sql-connector-opensearch, 1.2.0-1.18 flink-connector-sqs, 5.0.0-1.19 flink-connector-sqs, 5.0.0-1.20

Per ulteriori informazioni sui connettori in Amazon Managed Service for Apache Flink, consulta:

Problemi noti

Esiste un problema noto di Apache Flink open source con il connettore Apache Kafka in Apache Flink 1.15. Questo problema è stato risolto nelle versioni successive di Apache Flink.

Per ulteriori informazioni, consulta Problemi noti.