本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

通过 AWS Glue 任务运行洞察进行监控

AWS Glue作业运行见解是一项功能AWS Glue，可简化作业的作业调试和优化。 AWS Glue AWS Glue提供 Spark 用户界面以及用于监控 AWS Glue 作业的CloudWatch 日志和指标。使用此功能，您可以获得有关 AWS Glue 任务执行的以下信息：

使用AWS Glue任务日志中的两个新日志流，您可以获得所有这些见解。 CloudWatch

要求

AWS Glue作业运行见解功能适用于 2.0、3.0 和 4.0 AWS Glue 版本。您可以按照现有任务的迁移指南从较早的 AWS Glue 版本进行升级。

为 AWS Glue ETL 作业启用任务运行见解

您可以通过 AWS Glue Studio 或 CLI 启用任务运行洞察。

AWS Glue Studio

通过 AWS Glue Studio 创建任务时，您可以在 Job Details（任务详细信息）选项卡下启用或禁用任务运行洞察。选中 “生成工作见解” 复选框。

命令行

如果通过 CLI 创建任务，则可以通过简单的新 job parameter（任务参数）启动任务运行：--enable-job-insights = true。

默认情况下，任务运行洞察日志流在 AWS Glue 连续录入使用的同一个默认日志组下进行创建，也就是 /aws-glue/jobs/logs-v2/。您可以使用相同的参数集来设置自定义日志组名称、日志筛选条件和日志组配置以进行连续日志录入。有关更多信息，请参阅启用 AWS Glue 任务的连续日志录入。

访问任务运行见解日志流 CloudWatch

启用任务运行洞察功能后，任务运行失败时可能会创建两个日志流。当任务成功完成后，两个流都不会生成。

如果通过 AWS Glue Studio 创建任务，则在“任务运行详细信息”选项卡（任务运行洞察）下，还可提供指向上述流式传输的链接，即“简明和综合错误日志”和“错误分析和指导”。

AWS Glue 任务运行洞察的示例

在本节中，我们将举例说明任务运行洞察功能如何帮助您解决失败任务中的问题。在本例中，用户忘记在用来分析和构建基于其数据的机器学习模型的 AWS Glue 任务中导入所需的模块 (tensorflow)。

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
from pyspark.sql.types import *
from pyspark.sql.functions import udf,col

args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

data_set_1 = [1, 2, 3, 4]
data_set_2 = [5, 6, 7, 8]

scoresDf = spark.createDataFrame(data_set_1, IntegerType())

def data_multiplier_func(factor, data_vector):
    import tensorflow as tf
    with tf.compat.v1.Session() as sess:
        x1 = tf.constant(factor)
        x2 = tf.constant(data_vector)
        result = tf.multiply(x1, x2)
        return sess.run(result).tolist()

data_multiplier_udf = udf(lambda x:data_multiplier_func(x, data_set_2), ArrayType(IntegerType(),False))
factoredDf = scoresDf.withColumn("final_value", data_multiplier_udf(col("value")))
print(factoredDf.collect())

如果没有任务运行洞察功能，当任务失败时，您只会看到 Spark 抛出的以下消息:

An error occurred while calling o111.collectToPython. Traceback (most recent call last):

消息不明确，限制了您的调试体验。在这种情况下，此功能可通过两个 CloudWatch 日志流为您提供更多见解：