本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

通过 AWS Glue 任务运行洞察进行监控

AWS Glue 任务运行洞察是 AWS Glue 中的一个功能，可为 AWS Glue 任务简化任务调试和进行优化。AWS Glue 可提供 Spark UI 和 CloudWatch 日志和指标，以便监控您的 AWS Glue 任务。使用此功能，您可获得有关 AWS Glue 任务执行情况的信息：

使用 AWS Glue 任务的 CloudWatch 日志中的两个新日志流，您可以获得所有这些洞察。

要求

AWS Glue 作业运行洞察功能可用于 AWS Glue 版本 2.0、3.0 和 4.0。您可以按照现有任务的迁移指南从较早的 AWS Glue 版本进行升级。

为 AWS Glue ETL 作业启用任务运行洞察

您可以通过 AWS Glue Studio 或 CLI 启用任务运行洞察。

AWS Glue Studio

通过 AWS Glue Studio 创建任务时，您可以在 Job Details（任务详细信息）选项卡下启用或禁用任务运行洞察。确认生成作业洞察框是否处于选中状态。

命令行

如果通过 CLI 创建任务，则可以通过简单的新 job parameter（任务参数）启动任务运行：--enable-job-insights = true。

默认情况下，任务运行洞察日志流在 AWS Glue 连续录入使用的同一个默认日志组下进行创建，也就是 /aws-glue/jobs/logs-v2/。您可以使用相同的参数集来设置自定义日志组名称、日志筛选条件和日志组配置以进行连续日志录入。有关更多信息，请参阅启用 AWS Glue 任务的连续日志录入。

在 CloudWatch 中访问作业运行洞察日志流

启用任务运行洞察功能后，任务运行失败时可能会创建两个日志流。当任务成功完成后，两个流都不会生成。

如果通过 AWS Glue Studio 创建任务，则在“任务运行详细信息”选项卡（任务运行洞察）下，还可提供指向上述流式传输的链接，即“简明和综合错误日志”和“错误分析和指导”。

AWS Glue 任务运行洞察的示例

在本节中，我们将举例说明任务运行洞察功能如何帮助您解决失败任务中的问题。在本例中，用户忘记在用来分析和构建基于其数据的机器学习模型的 AWS Glue 任务中导入所需的模块 (tensorflow)。

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
from pyspark.sql.types import *
from pyspark.sql.functions import udf,col

args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

data_set_1 = [1, 2, 3, 4]
data_set_2 = [5, 6, 7, 8]

scoresDf = spark.createDataFrame(data_set_1, IntegerType())

def data_multiplier_func(factor, data_vector):
    import tensorflow as tf
    with tf.compat.v1.Session() as sess:
        x1 = tf.constant(factor)
        x2 = tf.constant(data_vector)
        result = tf.multiply(x1, x2)
        return sess.run(result).tolist()

data_multiplier_udf = udf(lambda x:data_multiplier_func(x, data_set_2), ArrayType(IntegerType(),False))
factoredDf = scoresDf.withColumn("final_value", data_multiplier_udf(col("value")))
print(factoredDf.collect())

如果没有任务运行洞察功能，当任务失败时，您只会看到 Spark 抛出的以下消息:

An error occurred while calling o111.collectToPython. Traceback (most recent call last):

消息不明确，限制了您的调试体验。在这种情况下，此功能在两个 CloudWatch 日志流中为您提供了更多洞察：