AWS Glue 作业运行状态 - AWS Glue

AWS Glue 作业运行状态

您可以查看 AWS Glue 提取、转换和加载（ETL）任务在运行时或停止后的状态。您可以使用 AWS Glue 控制台、AWS Command Line Interface（AWS CLI）或 AWS Glue API 中的 GetJobRun action (GetJobRun 操作) 查看状态。

可能的任务运行状态为 STARTING、RUNNING、STOPPING、STOPPED、SUCCEEDED、FAILED、ERROR、WAITING 和 TIMEOUT。

下表列出了指示异常任务终止的状态。

任务运行状态 描述
FAILED 任务超过了允许的最大并发运行数，或以未知的退出代码终止。
ERROR 工作流、计划触发器或事件触发器试图运行已删除的任务。
TIMEOUT 任务运行时间超过了其指定的超时值。

WAITING 状态表示作业运行正在等待资源。下表描述了不同作业类别的等待行为。

作业类型 行为
Spark 作业（标准） 尚未配置为根据您的 maxRetries 配置进行重试的作业可能会进入“等待”状态。如果服务无法获取足够的资源来启动运行，则新作业运行将处于“等待”状态。可能的原因包括您账户的服务限额或您所使用区域的容量限制出现了下列任何一种错误情况：

  • 超出了最大每账户并发作业运行数

  • 超出了最大每作业并发作业运行数（包括账户级别服务限额以及您使用 MaxConcurrentRuns 指定的作业限制）

  • 超出了最大并发计算（DPU 使用量）限制

  • 资源不可用

有关 AWS Glue 服务限额的更多信息，请参阅 AWS Glue 端点和限额。AWS Glue 等待资源的时间可能因具体情况而异。在尝试获取资源时，作业可能会在非终端状态之间切换。如果无法获取资源，作业最终将变为 FAILED 状态。AWSGlue 将最长重试 15 分钟或最多重试 10 次，以先到者为准。
Spark 作业（灵活） 如果服务无法获取足够的资源来启动运行，则新任务运行将处于 WAITING（等待）状态，这会延迟运行的开始。运行将最长 20 分钟处于 WAITING（等待）状态（超时由服务控制）。15 分钟后，该服务将尝试强制启动，根据可用容量，运行可能会开始或失败，并显示相应的错误消息。
Python shell 作业 行为与使用 Spark 的标准作业相同。

以下状态图概述了 AWS Glue 作业生命周期中预期的状态转换。此信息适用于所有作业类型。

概述 AWS Glue 作业可能经历的状态转换的状态图。