Amazon Managed Service for Apache Flink は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon Managed Service for Apache Flink 1.19
Managed Service for Apache Flink が Apache Flink バージョン 1.19.1 をサポートするようになりました。このセクションでは、Apache Flink 1.19.1 の Managed Service for Apache Flink サポートで導入された主な新機能と変更点を紹介します。
注記
以前にサポートされているバージョンの Apache Flink を使用していて、既存のアプリケーションを Apache Flink 1.19.1 にアップグレードする場合は、インプレース Apache Flink バージョンアップグレードを使用できます。詳細については、「Apache Flink のインプレースバージョンアップグレードを使用する」を参照してください。インプレースバージョンアップグレードでは、スナップショット、ログ、メトリクス、タグ、Flink 設定など、Apache Flink バージョンARN全体で 1 つの に対してアプリケーションのトレーサビリティを維持します。
サポートされている機能
Apache Flink 1.19.1 SQL ではAPI、名前付きパラメータ、カスタムソース並列処理、さまざまな Flink 演算子TTLsのさまざまな状態など、 の改善が導入されています。
サポートされている機能および関連ドキュメント | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| サポートされている機能 | 説明 | Apache Flink ドキュメントリファレンス | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQL API: SQL Hint TTLsを使用した異なる状態の設定をサポート | ユーザーは、ストリームの通常の結合とグループ集計TTLで 状態を設定できるようになりました。 | FLIP-373: SQL Hint TTLsを使用して異なる状態を設定する |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQL API: 関数と呼び出しプロシージャの名前付きパラメータのサポート | ユーザーは、パラメータの順序に依存するのではなく、名前付きパラメータを関数で使用できるようになりました。 | FLIP-378: 関数と呼び出しプロシージャの名前付きパラメータのサポート |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQL API: SQLソースの並列処理の設定 | ユーザーはSQLソースの並列処理を指定できるようになりました。 | FLIP-367: テーブル/SQLソースの並列処理の設定をサポート |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQL API: セッションウィンドウのサポート TVF | ユーザーはセッションウィンドウのテーブル値関数を使用できるようになりました。 | FLINK-24024: セッションウィンドウのサポート TVF |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQL API: ウィンドウTVF集約が変更ログ入力をサポート | ユーザーは、変更ログ入力に対してウィンドウ集約を実行できるようになりました。 | FLINK-20281: ウィンドウ集約が変更ログストリーム入力をサポート |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Python 3.11 のサポート |
Flink は Python 3.11 をサポートするようになりました。Python 3.10 と比較して 10～60% 高速です。詳細については、「Python 3.11 の最新情報 |
FLINK-33030: Python 3.11 サポートを追加 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| TwoPhaseCommitting シンクのメトリクスを提供する | ユーザーは、コミッターのステータスに関する統計を 2 フェーズのコミットシンクで表示できます。 | FLIP-371: でのコミット作成の初期化コンテキストを提供する TwoPhaseCommittingSink |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
ジョブの再起動とチェックポイントのためのトレースレポーター |
ユーザーはチェックポイントの期間と再現率の傾向に関するトレースをモニタリングできるようになりました。Amazon Managed Service for Apache Flink では、Slf4j トレースレポーターがデフォルトで有効になっているため、ユーザーはアプリケーション CloudWatch ログを通じてチェックポイントとジョブのトレースをモニタリングできます。 | FLIP-384: チェックポイント TraceReporter トレースと復旧トレースの紹介と使用 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
注記
サポートケース
オプトイン機能と関連ドキュメント | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| オプトイン機能 | 説明 | Apache Flink ドキュメントリファレンス | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| ソースがバックログを処理しているときに、チェックポイント間隔を長くするサポート | ユーザーは特定のジョブ要件に合わせて設定を調整する必要があるため、これはオプトイン機能です。 | FLIP-309: ソースがバックログを処理しているときに、チェックポイント間隔を長くするサポート |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| System.out と System.err を Java ログにリダイレクトする | これはオプトイン機能です。Amazon Managed Service for Apache Flink では、本番環境でのベストプラクティスはネイティブ Java ロガーを使用することであるため、デフォルトの動作は System.out および System.err からの出力を無視することです。 | FLIP-390: システム出力と、リダイレクトLOGまたは破棄するエラーをサポートする |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Apache Flink 1.19.1 リリースドキュメントについては、「Apache Flink ドキュメント v1.19.1
Amazon Managed Service for Apache Flink 1.19.1 の変更点
トレースレポーターのログ記録がデフォルトで有効になっている
Apache Flink 1.19.1 では、チェックポイントとリカバリのトレースが導入され、ユーザーはチェックポイントとジョブのリカバリの問題をより適切にデバッグできるようになりました。Amazon Managed Service for Apache Flink では、これらのトレースは CloudWatch ログストリームにログインされるため、ユーザーはジョブの初期化に費やされた時間を分割し、チェックポイントの履歴サイズを記録できます。
デフォルトの再起動戦略が指数遅延になりました
Apache Flink 1.19.1 では、指数遅延再起動戦略が大幅に改善されています。Flink 1.19.1 以降の Amazon Managed Service for Apache Flink では、Flink ジョブはデフォルトでエクスポネンシャル遅延再起動戦略を使用します。つまり、ユーザージョブは一時的なエラーからより迅速に回復しますが、ジョブの再起動が続く場合、外部システムを過負荷にすることはありません。
コンポーネント
| コンポーネント | Version |
|---|---|
| Java | 11 (推奨) |
| Python |
3.11 |
| Kinesis Data Analytics Flink ランタイム (aws-kinesisanalytics-runtime） | 1.2.0 |
| Connector | 使用可能なコネクタの詳細については、「Apache Flink コネクタ」を参照してください。 |
| 「Apache Beam （Beamアプリケーションのみ） |
Flink 1.19 と互換性のある Apache Flink Runner はありません。詳細については、「Flink バージョンの互換性 |
既知の問題
Apache ビーム
現在、Apache Beam には Flink 1.19 用の互換性のある Apache Flink Runner はありません。詳細については、「Flink バージョンの互換性
Amazon Managed Service for Apache Flink Studio
Studio は Apache Zeppelin ノートブックを使用して、Apache Flink ストリーム処理アプリケーションの開発、デバッグ、実行のための単一インターフェイスの開発エクスペリエンスを提供します。Flink 1.19 のサポートを有効にするには、Zeppelin の Flink インタープリタのアップグレードが必要です。この作業は Zeppelin コミュニティでスケジュールされており、完了したらこれらのメモを更新します。Amazon Managed Service for Apache Flink Studio で Flink 1.15 を引き続き使用できます。詳細については、「Studio ノートブックの作成」を参照してください。
