翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 # Amazon Managed Service for Apache Flink 1.18 Managed Service for Apache Flink は、Apache Flink バージョン 1.18.1 をサポートするようになりました。Apache Flink 1.18.1 の Managed Service for Apache Flink サポートで導入された主要な新機能と変更について説明します。 **注記** 過去にサポートされていたバージョンの Apache Flink を使用していて、既存のアプリケーションを Apache Flink 1.18.1 にアップグレードする場合は、インプレースの Apache Flink バージョンアップグレードを使用してアップグレードできます。インプレースのバージョンアップグレードでは、スナップショット、ログ、メトリクス、タグ、Flink 設定など、Apache Flink バージョン全体で、単一の ARN に対するアプリケーションのトレーサビリティを保持します。この機能は、`RUNNING` および `READY` 状態で使用できます。詳細については、「[Apache Flink のインプレースバージョンアップグレードを使用する](how-in-place-version-upgrades.md)」を参照してください。 **Apache Flink ドキュメントリファレンスでサポートされている機能** | サポートされている機能 | 説明 | Apache Flink ドキュメントリファレンス | | --- | --- | --- | | Opensearch コネクタ | このコネクタには、シンクが含まれており、少なくとも 1 回保証を提供します。 | [github: Opensearch Connector](https://github.com/apache/flink-connector-opensearch/blob/main/docs/content/docs/connectors/datastream/opensearch.md) | | Amazon DynamoDB コネクタ | このコネクタには、シンクが含まれており、少なくとも 1 回保証を提供します。 | [Amazon DynamoDB Sink](https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/datastream/dynamodb/) | | MongoDB Connector | このコネクタには、ソースとシンクが含まれており、少なくとも 1 回保証を提供します。 | [MongoDB Connector](https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/datastream/mongodb/) | | Flink プランナーで Hive を切り離す | Hive ダイアレクトは、追加の JAR スワップなしで直接使用できます。 | [FLINK-26603: Decouple Hive with Flink planner](https://issues.apache.org/jira/browse/FLINK-26603) | | RocksDBWriteBatchWrapper で WAL をデフォルトで無効にする | これにより、復旧時間が短縮されます。 | [FLINK-32326: Disable WAL in RocksDBWriteBatchWrapper by default](https://issues.apache.org/jira/browse/FLINK-32326) | | ウォーターマークアライメントを有効化したときのウォーターマーク集約性能を改善する | ウォーターマークアライメントを有効化したときのウォーターマーク集約性能を改善し、関連するベンチマークを追加します。 | [FLINK-32524: Watermark aggregation performance](https://issues.apache.org/jira/browse/FLINK-32420) | | ウォーターマークアライメントを本番稼働用に準備する | JobManager をオーバーロードする大きなジョブのリスクを排除する | [ FLINK-32548: Make watermark alignment ready](https://issues.apache.org/jira/browse/FLINK-32548) | | 非同期シンクの設定可能な RateLimitingStratey | RateLimitingStrategy では、スケーリングする対象、スケーリングするタイミング、スケーリングする量の決定を設定できます。 | [FLIP-242: Introduce configurable RateLimitingStrategy for Async Sink](https://cwiki.apache.org/confluence/display/FLINK/FLIP-242%3A+Introduce+configurable+RateLimitingStrategy+for+Async+Sink) | | テーブルと列の統計を一括取得する | クエリパフォーマンスが向上しました。 | [FLIP-247: Bulk fetch of table and column statistics for given partitions](https://cwiki.apache.org/confluence/display/FLINK/FLIP-247%3A+Bulk+fetch+of+table+and+column+statistics+for+given+partitions) | Apache Flink 1.18.1 リリースドキュメントについては、「[Apache Flink 1.18.1 Release Announcement](https://flink.apache.org/2024/01/19/apache-flink-1.18.1-release-announcement/)」を参照してください。 ## Apache Flink 1.18 を使用した Amazon Managed Service for Apache Flink の変更点 **Akka を Pekko に置き換えました** Apache Flink は、Apache Flink 1.18 で Akka を Pekko に置き換えました。この変更は、Apache Flink 1.18.1 以降の Managed Service for Apache Flink で完全にサポートされています。この変更により、アプリケーションを修正する必要はありません。詳細については、「[FLINK-32468: Replace Akka by Pekko](https://issues.apache.org/jira/browse/FLINK-32468)」を参照してください。 **スレッドモードで PyFlink ランタイム実行をサポートする** この Apache Flink の変更により、Pyflink ランタイムフレームワークの新しい実行モードであるプロセスモードが導入されました。プロセスモードは、別のプロセスではなく、同じスレッドで Python ユーザー定義関数を実行できるようになりました。 **バックポートされたバグ修正** Amazon Managed Service for Apache Flink のバックポートは、Flink コミュニティからの重大な問題を修正します。つまり、ランタイムは Apache Flink 1.18.1 リリース時とは異なります。以下は、バックポートしたバグ修正のリストです。 **バックポートされたバグ修正** | Apache Flink JIRA リンク | 説明 | | --- | --- | | [FLINK-33863](https://issues.apache.org/jira/browse/FLINK-33863) | この修正は、圧縮されたスナップショットの状態復元が失敗した場合の問題に対処します。 | | [FLINK-34063](https://issues.apache.org/jira/browse/FLINK-34063) | この修正は、スナップショット圧縮が有効になっているときにソース演算子が分割を失う問題を解決します。Apache Flink は、すべてのチェックポイントとセーブポイントに対してオプションの圧縮 (デフォルト: オフ) を提供します。Apache Flink は Flink 1.18.1 で、スナップショット圧縮を有効化した場合にオペレータの状態が正しく復元されないというバグを特定しました。これにより、データが失われたり、チェックポイントから復元できなくなる可能性があります。 | | [FLINK-35069](https://issues.apache.org/jira/browse/FLINK-35069) | この修正は、ウィンドウの終了時にタイマーをトリガーする際に Flink ジョブがスタックしてしまう問題に対処します。 | | [FLINK-35097](https://issues.apache.org/jira/browse/FLINK-35097) | この修正は、Table API ファイルシステムコネクタ内の重複レコードの問題に raw 形式で対処します。 | | [FLINK-34379](https://issues.apache.org/jira/browse/FLINK-34379) | この修正は、動的テーブルフィルタリングを有効にするときの OutOfMemoryError の問題に対処します。 | | [FLINK-28693](https://issues.apache.org/jira/browse/FLINK-28693) | この修正は、ウォーターマークに columnBy 式がある場合に Table API がグラフを生成できないという問題に対処します。 | | [FLINK-35217](https://issues.apache.org/jira/browse/FLINK-35217) | この修正は、特定の Flink ジョブの障害モードにおいてチェックポイントが破損する問題に対処します。 | ## コンポーネント **** | コンポーネント | バージョン | | --- | --- | | Java | 11 (推奨) | | Scala | バージョン 1.15 以降、Flink は Scala に依存しません。参考までに、MSF Flink 1.18 は Scala 3.3 (LTS) に対して検証されています。 | | Apache Flink Flink ランタイム用 Managed Service(aws-kinesis-analytics-Runtime) | 1.2.0 | | [AWS Kinesis Connector (flink-connector-kinesis)[Source]](https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kinesis/4.2.0-1.18) | 4.2.0～1.18 | | [AWS Kinesis Connector (flink-connector-kinesis)[Sink]](https://mvnrepository.com/artifact/org.apache.flink/flink-connector-aws-kinesis-streams/4.2.0-1.18) | 4.2.0～1.18 | | 「[Apache Beam （Beamアプリケーションのみ）](https://aws.amazon.com/developer/language/python/)」 | バージョン 2.57.0 から。詳細については、「[Flink Version Compatibility](https://beam.apache.org/documentation/runners/flink/#flink-version-compatibility)」を参照してください。 | ## 既知の問題 **Amazon Managed Service for Apache Flink Studio** Studio は、Apache Zeppelin ノートブックを利用して、Apache Flink ストリーム処理アプリケーションの開発、コード・デバッグ、実行のための単一インターフェースの開発体験を提供します。Flink 1.18 のサポートを有効にするには、Zeppelin の Flink インタプリタのアップグレードが必要です。この作業は Zeppelin コミュニティでスケジュールされており、完了したらこれらのメモを更新します。Amazon Managed Service for Apache Flink Studio で Flink 1.15 を引き続き使用できます。詳細については、「[Creating a Studio notebook](https://docs.aws.amazon.com/managed-flink/latest/java/how-zeppelin-creating.html)」を参照してください。 **サブタスクがバックプレッシャーされている場合のウォーターマークのアイドル状態が正しくない** サブタスクがバックプレッシャー状態にある場合、ウォーターマーク生成に既知の不具合がありますが、Flink 1.19 以降では修正されています。これは、Flink ジョブグラフにバックプレッシャーがかかっている場合、遅延レコード数の急増として現れることがあります。この修正をプルするには、最新の Flink バージョンにアップグレードすることをお勧めします。詳細については、「[Incorrect watermark idleness timeout accounting when subtask is backpressured/blocked](https://issues.apache.org/jira/browse/FLINK-35886)」を参照してください。