AWS Glue 작업 실행 상태 - AWS Glue

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

AWS Glue 작업 실행 상태

AWS Glue 추출, 변환, 로드 작업이 실행되는 동안 또는 중지된 후 작업 상태를 볼 수 있습니다. AWS Glue 콘솔, AWS Command Line Interface(AWS CLI) 또는 AWS Glue API의 GetJobRun 작업을 사용하여 상태를 볼 수 있습니다.

가능한 작업 실행 상태는 STARTING, RUNNING, STOPPING, STOPPED, SUCCEEDED, FAILED, ERROR, WAITING 및 TIMEOUT입니다.

다음 표에는 비정상적인 작업 종료를 나타내는 상태가 나열되어 있습니다.

작업 실행 상태 설명
FAILED 작업이 허용되는 최대 동시 실행을 초과했거나 알 수 없는 종료 코드로 종료되었습니다.
ERROR 워크플로, 일정 트리거 또는 이벤트 트리거가 삭제된 작업을 실행하려고 했습니다.
TIMEOUT 작업 런타임이 지정된 시간 제한 값을 초과했습니다.

WAITING 상태는 작업 실행에서 리소스를 기다리고 있음을 나타냅니다. 다음 표에서는 여러 작업 클래스의 대기 동작을 설명합니다.

작업 유형 동작
Spark 작업(표준) maxRetries 구성에 따라 재시도하도록 구성되지 않은 작업은 WAITING 상태가 될 수 있습니다. 서비스에서 실행을 시작하기에 충분한 리소스를 얻을 수 없는 경우 새 작업 실행은 WAITING 상태가 됩니다. 이 문제는 계정의 서비스 할당량 또는 해당 지역의 용량 제한으로 인해 다음과 같은 오류 사례 중 하나가 발생할 수 있습니다.

  • 계정당 최대 동시 작업 실행 수를 초과했습니다

  • 작업당 최대 동시 작업 실행 수를 초과했습니다(계정 수준 서비스 할당량 및 작업에 MaxConcurrentRuns로 지정한 한도 포함)

  • 최대 동시 컴퓨팅(DPU 사용량) 초과

  • 사용 가능하지 않는 리소스

AWS Glue 서비스 할당량에 대한 자세한 내용은 AWS Glue 엔드포인트 및 할당량을 참조하십시오. AWS Glue가 리소스를 기다리는 시간은 상황에 따라 다를 수 있습니다. 리소스를 확보하려고 할 때 작업이 터미널이 아닌 상태로 전환될 수 있습니다. 결국 리소스를 확보할 수 없는 경우 작업이 FAILED로 전환됩니다. AWS Glue는 최대 15분 또는 10회 시도(둘 중 먼저 도래하는 시점 기준) 동안 재시도합니다.
Spark 잡(플렉스) 서비스에서 실행을 시작하기에 충분한 리소스를 얻을 수 없는 경우 새 작업 실행은 WAITING 상태가 되며, 이로 인해 실행 시작이 지연됩니다. 실행은 최대 20분 동안 WAITING 상태가 됩니다(서비스에 의해 시간 초과가 제어됨). 15분 후 서비스가 강제 시작을 시도하며 사용 가능한 용량에 따라 적절한 오류 메시지와 함께 실행이 시작되거나 실패할 수 있습니다.
Python 셸 작업 Spark를 사용하는 표준 작업과 동일한 동작입니다.

다음 상태 다이어그램은 AWS Glue 작업의 수명 주기 동안 예상되는 상태 전환을 간략하게 설명합니다. 이 정보는 모든 작업 유형에 적용됩니다.

AWS Glue 작업에 발생할 수 있는 상태 전환을 간략하게 설명하는 상태 다이어그램입니다.