翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
モニタリング設定を使用すると、Spark アプリケーションとオペレータログのログアーカイブを Amazon S3 または に簡単に設定できます Amazon CloudWatch。1 つまたは両方を選択できます。これにより、ログエージェントのサイドカーがSpark オペレータポッド、ドライバー、エグゼキュターポッドに追加され、その後、これらのコンポーネントのログが設定されたシンクに転送されます。
前提条件
モニタリングを設定する前に、必ず以下のセットアップタスクを完了してください。
（オプション) 以前に古いバージョンの Spark 演算子をインストールした場合は、SparkApplication/ScheduledSparkApplication CRD を削除します。
kubectl delete crd scheduledsparkapplications.sparkoperator.k8s.io kubectl delete crd sparkapplications.sparkoperator.k8s.ioIAM でオペレーター/ジョブ実行ロールをまだ作成していない場合は、作成します。
次のコマンドを実行して、先ほど作成したオペレーター/ジョブ実行ロールの信頼ポリシーを更新します。
aws emr-containers update-role-trust-policy \ --cluster-namecluster\ --namespacenamespace\ --role-nameiam_role_name_for_operator/job_execution_roleオペレーター/ジョブ実行ロールの IAM ロール信頼ポリシーを次のように編集します。
{ "Effect": "Allow", "Principal": { "Federated": "${OIDC-provider}" }, "Action": "sts:AssumeRoleWithWebIdentity", "Condition": { "StringLike": { "OIDC_PROVIDER:sub": "system:serviceaccount:${Namespace}:emr-containers-sa-*" } } }次のアクセス許可を使用して、IAM で monitoringConfiguration ポリシーを作成します。
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "logs:DescribeLogStreams", "logs:CreateLogStream", "logs:CreateLogGroup", "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:region:account_id:log-group:log_group_name", "arn:aws:logs:region:account_id:log-group:log_group_name:*" ] }, { "Effect": "Allow", "Action": "logs:DescribeLogGroups", "Resource": "*" }, { "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::bucket_name", "arn:aws:s3:::bucket_name/*" ] } ] }上記のポリシーをオペレーター/ジョブ実行ロールにアタッチします。
