Amazon Managed Service for Apache Flink は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Managed Service for Apache Flink で Apache Flink コネクタを使用する
Apache Flink コネクタは、Amazon Managed Service for Apache Flink アプリケーションとの間でデータを移動するソフトウェアコンポーネントです。コネクタは、ファイルやディレクトリから読み取ることができる柔軟な統合です。コネクタは、Amazon のサービスやサードパーティのシステムとやり取りするための完全なモジュールで構成されています。
コネクターの種類には、次のものがあります。
ソース： Kinesis データストリーム、ファイル、Apache Kafka トピック、ファイル、またはその他のデータソースからアプリケーションにデータを提供します。
-
シンク： アプリケーションから Kinesis データストリーム、Firehose ストリーム、Apache Kafka トピック、またはその他のデータ送信先にデータを送信します。
-
非同期 I/O: データベースなどのデータソースへの非同期アクセスを提供し、ストリームを強化します。
Apache Flink コネクタは、独自のソースリポジトリに保存されます。Apache Flink コネクタのバージョンとアーティファクトは、使用している Apache Flink のバージョン、および DataStream、テーブル、または SQL のどちらを使用しているかによって異なりますAPI。
Amazon Managed Service for Apache Flink は、40 を超える構築済みの Apache Flink ソースおよびシンクコネクタをサポートしています。次の表は、最も人気のあるコネクタとその関連バージョンの概要を示しています。Async-sink フレームワークを使用してカスタムシンクを構築することもできます。詳細については、Apache Flink ドキュメントの「汎用非同期ベースシンク
Apache Flink AWS コネクタのリポジトリにアクセスするには、「」を参照してくださいflink-connector-aws
| コネクタ | Flink バージョン 1.15 | Flink バージョン 1.18 | Flink バージョン 1.19 および 1.20 |
|---|---|---|---|
| Kinesis Data Stream - ソース - DataStream テーブル API | flink-connector-kinesis、1.15.4 | flink-connector-kinesis、4.3.0～1.18 | flink-connector-kinesis、4.3.0～1.19 |
| Kinesis Data Stream - シンク - DataStream およびテーブル API | flink-connector-aws-kinesis-streams、1.15.4 | flink-connector-aws-kinesis-streams、4.3.0～1.18 | flink-connector-aws-kinesis-streams、4.3.0～1.19 |
| Kinesis データストリーム - ソース/シンク - SQL | flink-sql-connector-kinesis、1.15.4 | flink-sql-connector-kinesis、4.3.0～1.18 | flink-sql-connector-kinesis、4.3.0～1.19 |
| Kafka - DataStream とテーブル API | flink-connector-kafka、1.15.4 | flink-connector-kafka、3.2.0～1.18 | flink-connector-kafka、3.2.0～1.19 |
| Kafka - SQL | flink-sql-connector-kafka、1.15.4 | flink-sql-connector-kafka、3.2.0～1.18 | flink-sql-connector-kafka、3.2.0～1.19 |
| Firehose - DataStream テーブル API | flink-connector-aws-kinesis-firehose、1.15.4 | flink-connector-aws-firehose、4.3.0～1.18 | flink-connector-aws-firehose、4.3.0～1.19 |
| Firehose - SQL | flink-sql-connector-aws-kinesis-firehose、1.15.4 | flink-sql-connector-aws-firehose、4.3.0～1.18 | flink-sql-connector-aws-firehose、4.3.0～1.19 |
| DynamoDB - DataStream およびテーブル API | flink-connector-dynamodb、3.0.0～1.15 | flink-connector-dynamodb、4.3.0～1.18 | flink-connector-dynamodb、4.3.0～1.19 |
| DynamoDB - SQL | flink-sql-connector-dynamodb、3.0.0～1.15 | flink-sql-connector-dynamodb、4.3.0～1.18 | flink-sql-connector-dynamodb、4.3.0～1.19 |
| OpenSearch - DataStream および テーブル API | - | flink-connector-opensearch、1.2.0～1.18 | flink-connector-opensearch、1.2.0～1.19 |
| OpenSearch - SQL | - | flink-sql-connector-opensearch、1.2.0～1.18 | flink-sql-connector-opensearch、1.2.0～1.19 |
Amazon Managed Service for Apache Flink のコネクタの詳細については、以下を参照してください。
既知の問題
Apache Flink 1.15 の Apache Kafka コネクタには、既知のオープンソース Apache Flink の問題があります。この問題は、Apache Flink の以降のバージョンで解決されます。
詳細については、「既知の問題」を参照してください。
