Amazon Managed Service for Apache Flink は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Managed Service for Apache Flink でアプリケーションスケーリングを実装する

スケーリングを実装するために、Apache Flink 用 Amazon Managed Service のタスクの並列実行とリソースの割り当てを設定できます。Apache Flink がタスクの並列インスタンスをスケジュールする方法については、Apache Flink ドキュメントの「並列実行」を参照してください。

アプリケーション並列処理と を設定する ParallelismPerKPU

Apache Flink アプリケーション用 Managed Serviceタスク (ソースからの読み取りやオペレータの実行など) のparallel 実行は、次の「ParallelismConfiguration」プロパティを使用して設定します。

特定の演算子のタスク並列処理の設定については、Apache Flink ドキュメントの「並列処理の設定: 演算子」を参照してください。

Kinesis 処理ユニットの割り当て

Managed Service for Apache Flink は容量を としてプロビジョニングしますKPUs。1 つの KPU で 1 vCPU と 4 GB のメモリを使用できます。KPU 割り当てるたびに、実行中のアプリケーションストレージが 50 GB も提供されます。

Managed Service for Apache Flink KPUsは、次のように、 Parallelismおよび ParallelismPerKPUプロパティを使用してアプリケーションを実行するために必要な を計算します。

Allocated KPUs for the application = Parallelism/ParallelismPerKPU

Apache Flink 用 Managed Service は、スループットや処理アクティビティの急増に応じて、アプリケーションリソースを迅速に提供します。アクティビティの急増が過ぎると、アプリケーションから徐々にリソースを削除します。リソースの自動割り当てを無効にするには、アプリケーションの並列処理を更新する で後述するように、AutoScalingEnabled 値を false に設定します。

アプリケーションの KPUsのデフォルト制限は 64 です。制限の引き上げをリクエストする方法については、「サービス クォータ」 の 「制限の引き上げをリクエストするには」 を参照してください。

アプリケーションの並列処理を更新する

このセクションでは、アプリケーションの並列処理を設定するAPIアクションのサンプルリクエストについて説明します。API アクションでリクエストブロックを使用する方法の例と手順については、「」を参照してくださいManaged Service for Apache Flink APIのサンプルコード。

以下の「CreateApplication」アクションのリクエスト例では、アプリケーションの作成時に並列処理を設定します。

{
   "ApplicationName": "string",
   "RuntimeEnvironment":"FLINK-1_18",
   "ServiceExecutionRole":"arn:aws:iam::123456789123:role/myrole",
   "ApplicationConfiguration": { 
      "ApplicationCodeConfiguration":{
      "CodeContent":{
         "S3ContentLocation":{
            "BucketARN":"arn:aws:s3:::amzn-s3-demo-bucket",
            "FileKey":"myflink.jar",
            "ObjectVersion":"AbCdEfGhIjKlMnOpQrStUvWxYz12345"
            }
         },
      "CodeContentType":"ZIPFILE"
   },   
      "FlinkApplicationConfiguration": { 
         "ParallelismConfiguration": { 
            "AutoScalingEnabled": "true",
            "ConfigurationType": "CUSTOM",
            "Parallelism": 4,
            "ParallelismPerKPU": 4
         }
      }
   }
}

次の UpdateApplication アクションのリクエスト例では、既存のアプリケーションの並列処理を設定します。

{
   "ApplicationName": "MyApplication",
   "CurrentApplicationVersionId": 4,
   "ApplicationConfigurationUpdate": { 
      "FlinkApplicationConfigurationUpdate": { 
         "ParallelismConfigurationUpdate": { 
            "AutoScalingEnabledUpdate": "true",
            "ConfigurationTypeUpdate": "CUSTOM",
            "ParallelismPerKPUUpdate": 4,
            "ParallelismUpdate": 4
         }
      }
   }
}

次の UpdateApplication アクションのリクエストの例では、既存のアプリケーションの並列処理が無効になります。

{
   "ApplicationName": "MyApplication",
   "CurrentApplicationVersionId": 4,
   "ApplicationConfigurationUpdate": { 
      "FlinkApplicationConfigurationUpdate": { 
         "ParallelismConfigurationUpdate": { 
            "AutoScalingEnabledUpdate": "false"
         }
      }
   }
}

maxParallelism 考慮事項

Flink ジョブがスケーリングできる最大並列処理は、ジョブmaxParallelismのすべての演算子の最小値によって制限されます。例えば、ソースとシンクのみの単純なジョブがあり、ソースが maxParallelism 16 で、シンクが 8 の場合、アプリケーションは並列処理 8 を超えてスケーリングすることはできません。

演算子maxParallelismのデフォルトがどのように計算され、デフォルトを上書きするかについては、Apache Flink のドキュメンテーションで最大並列処理を設定するを参照してください。

基本ルールとして、 をどの演算子maxParallelismにも定義せず、並列処理を 128 以下にしてアプリケーションを起動すると、すべての演算子maxParallelismの は 128 になることに注意してください。