AWS Glue 任务的连续日志记录
AWS Glue 提供对 AWS Glue 任务进行实时的连续日志记录。您可在 Amazon CloudWatch 中查看实时 Apache Spark 任务日志,包括驱动程序日志、执行程序日志和 Apache Spark 任务进度栏。查看实时日志可让您更好地了解正在运行的任务。
当您启动 AWS Glue 任务时,它会在 Spark 应用程序开始运行之后向 CloudWatch 发送实时日志记录信息(在每次执行程序终止之前,每 5 秒发送一次)。您可在 AWS Glue 控制台或 CloudWatch 控制台控制面板上查看日志。
连续日志记录功能包括以下特性:
连续日志记录
自定义脚本日志记录程序,用于记录特定于应用程序的消息
控制台进度栏,用于跟踪当前 AWS Glue 任务的运行状态
您可以将对 CloudWatch 日志组或 IAM 角色的流的访问限制为读取日志。有关限制访问的更多详细信息,请参阅 CloudWatch 文档中的 将基于身份的策略(IAM policy)用于 CloudWatch Logs。
注意
启用连续日志记录并创建 CloudWatch 日志事件时,可能需要支付额外费用。有关更多信息,请参阅 Amazon CloudWatch 定价