AWS Glue 任务的连续日志记录 - AWS Glue

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

AWS Glue 任务的连续日志记录

AWS Glue 提供对 AWS Glue 任务进行实时的连续日志记录。您可在 Amazon CloudWatch 中查看实时 Apache Spark 任务日志,包括驱动程序日志、执行程序日志和 Apache Spark 任务进度栏。查看实时日志可让您更好地了解正在运行的任务。

当您启动 AWS Glue 任务时,它会在 Spark 应用程序开始运行之后向 CloudWatch 发送实时日志记录信息(在每次执行程序终止之前,每 5 秒发送一次)。您可在 AWS Glue 控制台或 CloudWatch 控制台控制面板上查看日志。

连续日志记录功能包括以下特性:

  • 连续日志记录

  • 自定义脚本日志记录程序,用于记录特定于应用程序的消息

  • 控制台进度栏,用于跟踪当前 AWS Glue 任务的运行状态

有关如何在 AWS Glue 2.0 版中支持持续日志记录的信息,请参阅运行 Spark ETL 任务,减少启动时间

您可以将对 CloudWatch 日志组或 IAM 角色的流的访问限制为读取日志。有关限制访问的更多详细信息,请参阅 CloudWatch 文档中的 将基于身份的策略(IAM policy)用于 CloudWatch Logs

注意

启用连续日志记录并创建 CloudWatch 日志事件时,可能需要支付额外费用。有关更多信息,请参阅 Amazon CloudWatch 定价