本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

存储日志

要在 EMR Serverless 上监控作业进度并排除作业故障，您可以选择 EMR Serverless 存储和提供应用程序日志的方式。提交作业运行时，您可以指定托管存储、Amazon S3 和 Amazon CloudWatch 作为日志选项。

使用 CloudWatch，您可以指定要使用的日志类型和日志位置，也可以接受默认类型和位置。有关 CloudWatch Logs 的更多信息，请参阅 使用 Amazon CloudWatch 的 EMR Serverless 日志记录。对于托管存储和 S3 日志记录，下表显示了选择托管存储、Amazon S3 存储桶或两者时，预期的日志位置和 UI 可用性。

¹ 建议您保持选中托管存储。否则，您将无法使用内置应用程序 UI。

使用托管存储的 EMR Serverless 日志记录

默认情况下，EMR Serverless 将应用程序日志安全存储在 Amazon EMR 托管存储中，最长 30 天。

要从 EMR Studio 关闭此选项，请取消选中提交作业页面的其他设置部分中的允许 AWS 保留日志 30 天复选框。

要从 AWS CLI 关闭此选项，请在提交作业运行时使用 managedPersistenceMonitoringConfiguration 配置。

{
    "monitoringConfiguration": {
        "managedPersistenceMonitoringConfiguration": {
            "enabled": false
        }
    }
}

使用 Amazon S3 存储桶的 EMR Serverless 日志记录

在作业将日志数据发送到 Amazon S3 之前，作业运行时角色的权限策略中必须包含以下权限。将 amzn-s3-demo-logging-bucket 替换为日志记录存储桶的名称。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-logging-bucket/*"
            ]
        }
    ]
}

要设置 Amazon S3 存储桶来存储来自 AWS CLI 的日志，请在启动作业运行时使用 s3MonitoringConfiguration 配置。为此，请在配置中提供以下 --configuration-overrides。

{
    "monitoringConfiguration": {
        "s3MonitoringConfiguration": {
            "logUri": "s3://amzn-s3-demo-logging-bucket/logs/"
        }
    }
}

对于未启用重试的批处理作业，EMR Serverless 会将日志发送到以下路径：

'/applications/<applicationId>/jobs/<jobId>'

EMR Serverless 7.1.0 及更高版本支持流处理作业和批处理作业重试。如果您在启用重试的情况下运行作业，EMR Serverless 会自动在日志路径前缀中添加重试编号，以便更好地区分和跟踪日志。

'/applications/<applicationId>/jobs/<jobId>/attempts/<attemptNumber>/'

使用 Amazon CloudWatch 的 EMR Serverless 日志记录

向 EMR Serverless 应用程序提交作业时，可以选择 Amazon CloudWatch 来存储应用程序日志。这样您就可以使用 CloudWatch 日志分析功能，如 CloudWatch Logs Insights 和 Live Tail。您还可以将日志从 CloudWatch 流式传输到其他系统（如 OpenSearch），以便进一步分析。

EMR Serverless 可实时记录驱动程序日志。您可以使用 CloudWatch Live Tail 功能或通过 CloudWatch CLI tail 命令实时查看日志。

默认情况下，EMR Serverless 禁用了 CloudWatch 日志记录。若要启用，请参阅 AWS CLI 中的配置。

使用 CloudWatch 进行日志记录所需的权限

在作业将日志数据发送到 Amazon CloudWatch 之前，作业运行时角色的权限策略中必须包含以下权限。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "logs:DescribeLogGroups"
            ],
            "Resource": [
                "arn:aws:logs:AWS 区域:111122223333:*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
               "logs:PutLogEvents",
               "logs:CreateLogGroup",
               "logs:CreateLogStream",
               "logs:DescribeLogStreams"
            ],
            "Resource": [
               "arn:aws:logs:AWS 区域:111122223333:log-group:my-log-group-name:*"
            ]
        }
    ]
}

AWS CLI

要设置 Amazon CloudWatch 来存储来自 AWS CLI 的 EMR Serverless 日志，请在启动作业运行时使用 cloudWatchLoggingConfiguration 配置。为此，请提供以下配置覆盖。或者，您还可以提供日志组名称、日志流前缀名称、日志类型和加密密钥 ARN。

如果未指定可选值，CloudWatch 将使用默认日志流 /applications/applicationId/jobs/jobId/worker-type 将日志发布到默认日志组 /aws/emr-serverless。

EMR Serverless 7.1.0 及更高版本支持流处理作业和批处理作业重试。如果作业启用了重试，EMR Serverless 会自动在日志路径前缀中添加重试编号，以便更好地区分和跟踪日志。

'/applications/<applicationId>/jobs/<jobId>/attempts/<attemptNumber>/worker-type'

下面显示了使用 EMR Serverless 的默认设置打开 Amazon CloudWatch 日志所需的最低配置：

{
    "monitoringConfiguration": {
        "cloudWatchLoggingConfiguration": {
            "enabled": true
         }
     }
}

下例显示了在为 EMR Serverless 打开 Amazon CloudWatch 日志记录时可以指定的所有必需和可选配置。示例下方还列出了支持的 logTypes 值。

{
    "monitoringConfiguration": {
        "cloudWatchLoggingConfiguration": {
            "enabled": true, // Required
            "logGroupName": "Example_logGroup", // Optional
            "logStreamNamePrefix": "Example_logStream", // Optional 
            "encryptionKeyArn": "key-arn", // Optional 
            "logTypes": { 
                "SPARK_DRIVER": ["stdout", "stderr"] //List of values
             }
         }
     }
}

默认情况下，EMR Serverless 仅将驱动程序 stdout 和 stderr 日志发布到 CloudWatch。如果需要其他日志，可在 logTypes 字段中指定容器角色和相应的日志类型。