View a markdown version of this page

Amazon Managed Service for Apache Flink 2.3 - Managed Service for Apache Flink

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon Managed Service for Apache Flink 2.3

Managed Service for Apache Flink が Apache Flink バージョン 2.3.0 をサポートするようになりました。このセクションでは、Apache Flink 2.3.0 の Managed Service for Apache Flink サポートで導入された主な新機能と変更点について説明します。

注記

以前にサポートされているバージョンの Apache Flink を使用していて、既存のアプリケーションを Apache Flink 2.3.0 にアップグレードする場合は、インプレース Apache Flink バージョンアップグレードを使用してアップグレードできます。詳細については、「Apache Flink のインプレースバージョンアップグレードを使用する」を参照してください。インプレースのバージョンアップグレードでは、スナップショット、ログ、メトリクス、タグ、Flink 設定など、Apache Flink バージョン全体で、単一の ARN に対するアプリケーションのトレーサビリティを保持します。

注記

Flink 1.x から Flink 2.3 へのアップグレードは、重大な変更と状態の互換性に関する考慮事項を含むメジャーバージョンのアップグレードです。1.x からアップグレードする前に、 重大な変更と廃止と を確認してくださいFlink 2.2 アップグレードのステート互換性ガイド

Apache Flink 2.3.0 では、SQL API、歪んだワークロードのアダプティブパーティション選択、Flink ダッシュボードが改善されています。

サポートされている機能および関連ドキュメント

サポートされている機能

説明

Apache Flink ドキュメントリファレンス

SinkUpsertMaterializer と changelog 障害の改善

CDC または changelog ストリームをアップサートシンクに書き込む際の更新順序を改善しました。

FLIP-558: SinkUpsertMaterializer と changelog 障害の改善

アプリケーション管理APIs

アプリケーションレベルのオブザーバビリティのための新しい読み取り専用エンドポイント。Amazon Managed Service for Apache Flink では、書き込みエンドポイントは無効になっています。

FLIP-549: アプリケーション管理FLIP-560: アプリケーション管理機能の強化

StreamPartitioner のアダプティブパーティションの選択

歪んだパーティショナーRebalanceRescaleパーティショナーのオプトインスループットの最適化。デフォルトでは無効になっています。 で を有効にしますtaskmanager.network.adaptive-partitioner.enabled

FLIP-339: StreamPartitioner のアダプティブパーティションの選択

注記

サポートケースを送信することで、次の機能をオプトインできます。

オプトイン機能と関連ドキュメント

オプトイン機能

説明

Apache Flink ドキュメントリファレンス

復旧中のチェックポイントのサポート

これはオープンソースの実験的な機能であるため、デフォルトでは無効になっています。サポートケースを使用して、 にアプリケーションの有効化をリクエストできます。

FLIP-547: 復旧中のチェックポイントをサポート

Apache Flink 2.3.0 リリースドキュメントについては、「Apache Flink ドキュメント v2.3.0」を参照してください。Flink 2.3 リリースノートについては、「リリースノート - Flink 2.3」を参照してください。

Apache Flink 2.3 は、ウォーターマークアライメントのデフォルトの動作を変更して、バックログされたジョブがすべてのダウンストリームリソースを消費しないようにします。Amazon Managed Service for Apache Flink では、 のデフォルト値pipeline.watermark-alignment.max-driftを に設定0して、以前にサポートされている Apache Flink バージョンとの下位互換性を維持し、アップグレード時の動作低下から既存のアプリケーションを保護します。新しい公平性動作が必要な場合は、アプリケーションコードでpipeline.watermark-alignment.max-driftプログラムで を設定することでオプトインできます。詳細については、FLINK-37399: Watermark alignment prevents backlogged jobs from use all resources」を参照してください。

Amazon Managed Service for Apache Flink 2.3 のコンポーネント

コンポーネント

バージョン

Java

17 (推奨)

Python

3.12

Kinesis Data Analytics Flink ランタイム (aws-kinesisanalytics-runtime)

1.2.0

Connector

使用可能なコネクタの詳細については、「Apache Flink connectors」を参照してください。

Amazon Managed Service for Apache Flink では、以下の Apache Flink 2.3 機能はサポートされていません。

  • マテリアライズドテーブル: 継続的に維持され、クエリ可能なテーブルスナップショット。

  • カスタムテレメトリの変更: カスタムメトリクスレポーターとテレメトリ設定。

  • Flink Native S3 FileSystem (FLIP-555): Native S3 File system implementation (オープンソースでの検討)

  • ForSt State Backend: Disaggregated State Storage (オープンソースで実験的)。

  • Java 21: オープンソースでの実験サポート。Managed Service for Apache Flink ではサポートされていません。

Amazon Managed Service for Apache Flink の Flink 2.3 は Studio アプリケーションをサポートしていません。詳細については、「Creating a Studio notebook」を参照してください。