Amazon Managed Service for Apache Flink は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
コネクタを使用して Managed Service for Apache Flink でデータを移動する DataStream API
Amazon Managed Service for Apache Flink では DataStream API、コネクタは Managed Service for Apache Flink アプリケーションとの間でデータを移動するソフトウェアコンポーネントです。コネクタは、ファイルやディレクトリからの読み取りを可能にする柔軟な統合です。コネクタは、Amazon のサービスやサードパーティのシステムとやり取りするための完全なモジュールで構成されています。
コネクターの種類には、次のものがあります。
ストリーミングデータソースを追加する: Kinesis データストリーム、ファイル、またはその他のデータソースからアプリケーションにデータを提供します。
シンクを使用してデータを書き込む: アプリケーションから Kinesis データストリーム、Firehose ストリーム、またはその他のデータ送信先にデータを送信します。
非同期 I/O を使用する: データソース (データベースなど) への非同期アクセスを提供し、ストリームイベントを充実させます。
使用可能なコネクタ
Apache Flink フレームワークには、さまざまなソースのデータにアクセスするためのコネクターが含まれています。Apache Flink フレームワークで使用できるコネクタについては、「Apache Flink ドキュメント
警告
Flink 1.6、1.8、1.11、または 1.13 で実行されているアプリケーションがあり、中東 (UAE）、アジアパシフィック (ハイデラバード）、イスラエル (テルアビブ）、欧州 (チューリッヒ）、中東 (UAE）、アジアパシフィック (メルボルン）、またはアジアパシフィック (ジャカルタ) の各リージョンで実行する場合は、更新されたコネクタを使用してアプリケーションアーカイブを再構築するか、Flink 1.18 にアップグレードする必要があります。
Apache Flink コネクタは、独自のオープンソースリポジトリに保存されます。バージョン 1.18 以降にアップグレードする場合は、依存関係を更新する必要があります。Apache Flink AWS コネクタのリポジトリにアクセスするには、「」を参照してくださいflink-connector-aws
以下は推奨されるガイドラインです。
| Flink バージョン | 使用されるコネクタ | 解決方法 |
|---|---|---|
| 1.15 | EFO |
Amazon Managed Service for Apache Flink バージョン 1.15 にアップグレードする場合は、最新のEFOコネクタを使用していることを確認してください。バージョン 1.15.3 以降である必要があります。詳細については、以下を参照してください。 |
| 1.15 | Amazon Data Firehose シンク |
Amazon Managed Service for Apache Flink バージョン 1.15 にアップグレードする場合は、最新の Amazon Data Firehose シンクを使用していることを確認してください。 |
| 1.15 | Kafka コネクタ |
Amazon Managed Service for Apache Flink バージョン 1.15 にアップグレードする場合は、最新の Kafka コネクタ を使用していることを確認してくださいAPIs。Apache Flink は FlinkKafkaConsumer |
| 1.6 - 1.13 | Firehose |
アプリケーションは、新しい AWS リージョンを認識していない古いバージョンの Firehose コネクタに依存します。Firehose コネクターバージョン 2.1.0 でアプリケーションアーカイブを再構築します。 「v2.1.0 |
| 1.8 | Kinesis |
アプリケーションは、新しい AWS リージョンを認識していない古いバージョンの Flink Kinesis コネクタに依存します。Flink Kinesis コネクターバージョン 1.6.1 を使用してアプリケーションアーカイブを再構築します。 https://github.com/awslabs/amazon-kinesis-connector-flink/tree/1.6.1 |
| 1.11 | Kinesis |
アプリケーションは、新しい AWS リージョンを認識していない古いバージョンの Flink Kinesis コネクタに依存します。Flink Kinesis コネクターバージョン 2.4.1 を使用してアプリケーションアーカイブを再構築します。 https://github.com/awslabs/amazon-kinesis-connector-flink/tree/2.4.1 |
| 1.6 と 1.13 | Kinesis |
アプリケーションは、新しい AWS リージョンを認識していない古いバージョンの Flink Kinesis コネクタに依存します。残念ながら、Flink は 1.6/1.13 コネクタのパッチやバグ修正をもうリリースしていません。Flink 1.15 でアプリケーションアーカイブを再構築して Flink 1.15 にアップデートすることをお勧めします。 |
