翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
モニタリング設定を使用すると、Flink アプリケーションログとオペレータログを S3 や CloudWatch (どちらか一方または両方を選択可能) にアーカイブするように簡単にセットアップできます。このようにすると、FluentD サイドカーが JobManager ポッドと TaskManager ポッドに追加され、その後、設定しておいたシンクにこれらのコンポーネントのログが転送されます。
注記
この機能は他の AWS のサービスとやり取りする必要があるため、この機能を使用できるようにするには、Flink オペレータと Flink ジョブ (サービスアカウント) のサービスアカウントに IAM ロールをセットアップする必要があります。このセットアップを行うには、「Amazon EMR on EKS での Flink Kubernetes オペレータのセットアップ」で IRSA を使用必要があります。
Flink アプリケーションログ
この設定は、次の方法で定義できます。
apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
name: basic-example
spec:
image: FLINK IMAGE TAG
imagePullPolicy: Always
flinkVersion: v1_17
flinkConfiguration:
taskmanager.numberOfTaskSlots: "2"
executionRoleArn: JOB EXECUTION ROLE
jobManager:
resource:
memory: "2048m"
cpu: 1
taskManager:
resource:
memory: "2048m"
cpu: 1
job:
jarURI: local:///opt/flink/examples/streaming/StateMachineExample.jar
monitoringConfiguration:
s3MonitoringConfiguration:
logUri: S3 BUCKET
cloudWatchMonitoringConfiguration:
logGroupName: LOG GROUP NAME
logStreamNamePrefix: LOG GROUP STREAM PREFIX
sideCarResources:
limits:
cpuLimit: 500m
memoryLimit: 250Mi
containerLogRotationConfiguration:
rotationSize: 2GB
maxFilesToKeep: 10次に、設定オプションを示します。
s3MonitoringConfiguration— S3 への転送をセットアップするための設定キーlogUri(必須) – ログの保存先への S3 バケットパス。ログがアップロードされると、S3 上のパスは次のようになります。
ログローテーションは有効になっていません。
s3://${logUri}/${POD NAME}/STDOUT or STDERR.gzログローテーションは有効になっています。ローテーションするファイルと現在のファイル (日付スタンプがないファイル) の両方を使用できます。
s3://${logUri}/${POD NAME}/STDOUT or STDERR.gz次の形式にすると、数値が増分されます。
s3://${logUri}/${POD NAME}/stdout_YYYYMMDD_index.gz
このフォワーダーを使用するには、次の IAM 権限が必要です。
{ "Effect": "Allow", "Action": [ "s3:PutObject" ], "Resource": [ "S3_BUCKET_URI/*", "S3_BUCKET_URI" ] }
cloudWatchMonitoringConfiguration— CloudWatch への転送をセットアップするための設定キー。logGroupName(必須) – ログの送信先となる CloudWatch ロググループの名前 (ロググループが存在しない場合は自動的に作成されます)。logStreamNamePrefix(オプション) – ログの送信先となるログストリームの名前。デフォルト値は空の文字列です。形式は次のとおりです。${logStreamNamePrefix}/${POD NAME}/STDOUT or STDERRこのフォワーダーを使用するには、次の IAM 権限が必要です。
{ "Effect": "Allow", "Action": [ "logs:CreateLogStream", "logs:CreateLogGroup", "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:REGION:ACCOUNT-ID:log-group:{YOUR_LOG_GROUP_NAME}:*", "arn:aws:logs:REGION:ACCOUNT-ID:log-group:{YOUR_LOG_GROUP_NAME}" ] }
sideCarResources(オプション) – 起動した Fluentbit サイドカーコンテナにリソース制限を設定するための設定キー。memoryLimit(オプション) - デフォルト値は 512Mi です。必要に応じて調整してください。cpuLimit(オプション) — このオプションにはデフォルトはありません。必要に応じて調整してください。
containerLogRotationConfiguration(オプション) – コンテナログローテーションの動作を制御します。このエージェントは、デフォルトでは有効になっています。rotationSize(必須) - ログローテーションのファイルサイズを指定します。指定できる値の範囲は 2 KB～2 GB です。rotationSize パラメータの数値単位部分は整数として渡されます。小数値はサポートされていないため、値 1500 MB などに 1.5 GB のローテーションサイズを指定できます。デフォルトは 2 GB です。maxFilesToKeep(必須) — ローテーションが行われた後にコンテナに保持するファイルの最大数を指定します。最小値は 1 で、最大値は 50 です。デフォルトは 10 です。
Flink オペレータログ
また、オペレータのログアーカイブを有効にすることもできます。そのためには、Helm チャートのインストール先にある values.yaml ファイルで次のオプションを使用します。S3 と CloudWatch のいずれか、またはその両方を有効にできます。
monitoringConfiguration:
s3MonitoringConfiguration:
logUri: "S3-BUCKET"
totalFileSize: "1G"
uploadTimeout: "1m"
cloudWatchMonitoringConfiguration:
logGroupName: "flink-log-group"
logStreamNamePrefix: "example-job-prefix-test-2"
sideCarResources:
limits:
cpuLimit: 1
memoryLimit: 800Mi
memoryBufferLimit: 700M次に、monitoringConfiguration で使用できる設定オプションを示します。
s3MonitoringConfiguration— S3 にアーカイブするようにこのオプションを設定します。logUri(必須) – ログの保存先への S3 バケットパス。ログがアップロードされると、S3 バケットパスは次のような形式になります。
ログローテーションは有効になっていません。
s3://${logUri}/${POD NAME}/OPERATOR or WEBHOOK/STDOUT or STDERR.gzログローテーションは有効になっています。ローテーションするファイルと現在のファイル (日付スタンプがないファイル) の両方を使用できます。
s3://${logUri}/${POD NAME}/OPERATOR or WEBHOOK/STDOUT or STDERR.gz次の形式のインデックスにすると、数値が増分されます。
s3://${logUri}/${POD NAME}/OPERATOR or WEBHOOK/stdout_YYYYMMDD_index.gz
cloudWatchMonitoringConfiguration— CloudWatch への転送をセットアップするための設定キー。logGroupName(必須) - ログの送信となる CloudWatch ロググループの名前。このグループが存在しない場合は自動的に作成されます。logStreamNamePrefix(オプション) – ログの送信先となるログストリームの名前。デフォルト値は空の文字列です。CloudWatch の形式は次のとおりです。${logStreamNamePrefix}/${POD NAME}/STDOUT or STDERR
-
sideCarResources(オプション) – 起動した Fluentbit サイドカーコンテナにリソース制限を設定するための設定キー。memoryLimit(オプション) — メモリの上限。必要に応じて調整してください。デフォルトは 512Mi です。cpuLimit— CPU の制限。必要に応じて調整してください。デフォルト値はありません。
containerLogRotationConfiguration(オプション) – コンテナログローテーションの動作を制御します。このエージェントは、デフォルトでは有効になっています。rotationSize(必須) - ログローテーションのファイルサイズを指定します。指定できる値の範囲は 2 KB～2 GB です。rotationSize パラメータの数値単位部分は整数として渡されます。小数値はサポートされていないため、値 1500 MB などに 1.5 GB のローテーションサイズを指定できます。デフォルトは 2 GB です。maxFilesToKeep(必須) — ローテーションが行われた後にコンテナに保持するファイルの最大数を指定します。最小値は 1 で、最大値は 50 です。デフォルトは 10 です。
