AWS Glue ジョブ実行ステータス - AWS Glue

AWS Glue ジョブ実行ステータス

AWS Glue 抽出、変換、ロード (ETL) ジョブのステータスは、実行中または停止後に表示できます。ステータスは AWS Glue コンソール、AWS Command Line Interface (AWS CLI)、または AWS Glue API の GetJobRun アクションで表示できます。

ジョブ実行ステータスには、STARTINGRUNNINGSTOPPINGSTOPPEDSUCCEEDEDFAILEDERRORWAITINGTIMEOUT があります。

次の表に、ジョブの異常終了を示すステータスを一覧表示します。

ジョブ実行ステータス 説明
FAILED ジョブが許容される最大同時実行数を超えているか、不明な終了コードで終了しました。
ERROR ワークフロー、スケジュールトリガー、またはイベントトリガーが削除されたジョブを実行しようとしました。
TIMEOUT ジョブの実行時間が、指定されたタイムアウト値を超えました。
WAITING リソースを待機しているジョブ実行。

WAITING ステータスは、ジョブの実行がリソース待ちであることを示しています。次の表には、さまざまなクラスのジョブの待機動作が記載されています。

ジョブタイプ Behavior
Spark ジョブ (標準) AWS Glue で Spark ジョブに関するジョブプロパティの構成」で説明されているように、AWS Glue ジョブ実行のキューイングをオプトインすると、ジョブが [待機中] 状態になることがあります。ジョブ実行は、アカウントの Service Quotas またはリージョンのキャパシティ制限により [待機中] 状態になることがあり、次のいずれかのエラーケースにつながる可能性があります。
  • アカウントあたりの同時実行ジョブの最大実行数を超過しました

  • ジョブごとの最大同時ジョブ実行数を超過した (アカウントレベルのサービスクォータと、MaxConcurrentRuns でジョブについて指定した制限を含みます)

  • 最大同時コンピューティング (DPU 使用量) を超過した

  • リソースを利用できません。

ジョブは、Service Quotas に関係なく、ジョブ実行を開始するのに十分なリソースがない場合に [待機中] 状態になることもあります。
Spark ジョブ (Flex) サービスが実行を開始するのに十分なリソースを取得できない場合、新しいジョブの実行は WAITING 状態になり、実行の開始が遅れます。実行は最大 20 分間にわたって WAITING 状態になります (タイムアウト時間はサービスが制御)。15 分経過すると、サービスは強制起動を試み、使用可能な容量に応じて実行が開始するか失敗し、適切なエラーメッセージが表示されます。
Python シェルジョブ Spark を使用する標準ジョブと同じ動作。

次の状態図は、AWS Glue ジョブのライフサイクルを通じて予想される状態遷移の概要を示しています。この情報はすべてのジョブタイプに適用されます。

AWS Glue ジョブの状態遷移の概要を示す図。