작업 모니터링 대시보드에 액세스 작업 모니터링 대시보드 개요 작업 실행 보기 작업 실행 로그 보기 작업 실행의 세부 정보 보기 Spark 작업 실행에 대한 Amazon CloudWatch 지표 보기 Ray 작업 Amazon CloudWatch 실행에 대한 메트릭 보기

콘솔의 AWS Glue 작업 실행 상태

실행 중이거나 중지된 후 AWS Glue 추출, 변환 및 load (ETL) 작업의 상태를 볼 수 있습니다. AWS Glue 콘솔을 사용하여 상태를 볼 수 있습니다. 작업 실행 상태에 대한 자세한 내용은 AWS Glue 작업 실행 상태 섹션을 참조하십시오.

작업 모니터링 대시보드에 액세스

작업 모니터링 대시보드는 AWS Glue 탐색 창의 작업 아래에서 ETLJob run monitoring 링크를 선택하여 액세스할 수 있습니다.

작업 모니터링 대시보드 개요

작업 모니터링 대시보드는 [실행 중(Running)], [취소됨(Canceled)], [성공(Success)] 또는 [실패(Failed)] 상태의 작업에 대한 합계와 함께 작업 실행에 대한 전체 요약을 제공합니다. 추가 타일에는 전체 작업 실행 성공률, 예상 작업 DPU 사용량, 작업 유형, 작업자 유형별, 일별 작업 상태 수 분류가 제공됩니다.

타일의 그래프는 대화형입니다. 그래프에서 블록을 선택하여 페이지 하단의 [작업 실행(Job runs)] 테이블에 해당 작업만 표시하는 필터를 실행할 수 있습니다.

[날짜 범위(Date range)] 선택기를 사용하여 이 페이지에 표시되는 정보의 날짜 범위를 변경할 수 있습니다. 날짜 범위를 변경하면 정보 타일이 조정되어 현재 날짜 이전의 지정된 일 수에 대한 값을 표시합니다. 날짜 범위 선택기에서 [사용자 정의(Custom)]를 선택하면 특정 날짜 범위를 사용할 수도 있습니다.

작업 실행 보기

참고

워크플로 및 작업 실행의 경우 작업 실행 기록을 90일 동안 액세스할 수 있습니다.

[작업 실행(Job runs)] 리소스 목록에는 지정된 날짜 범위 및 필터에 대한 작업이 표시됩니다.

상태, 작업자 유형, 작업 유형 및 작업 이름과 같은 추가 기준에 따라 작업을 필터링할 수 있습니다. 테이블 상단의 필터 상자에 필터로 사용할 텍스트를 입력할 수 있습니다. 텍스트를 입력할 때 일치하는 텍스트가 포함된 행으로 테이블 결과가 업데이트됩니다.

작업 모니터링 대시보드의 그래프에서 요소를 선택하여 작업의 하위 집합을 볼 수 있습니다. 예를 들어 [작업 실행 요약(Job runs summary)] 타일에서 실행 중인 작업 수를 선택하면 [작업 실행(Job runs)] 목록에 현재 상태가 Running인 작업만 표시됩니다. [작업자 유형 분석(Worker type breakdown)] 막대 차트에서 막대 중 하나를 선택하면 작업자 유형 및 상태가 일치하는 작업 실행만 [작업 실행(Job runs)] 목록에 표시됩니다.

[작업 실행(Job runs)] 리소스 목록에는 작업 실행에 대한 세부 정보가 표시됩니다. 열 머리글을 선택하여 테이블의 행을 정렬할 수 있습니다. 표에는 다음 정보가 포함되어 있습니다.

속성	설명
작업 이름	작업의 이름입니다.
유형	작업 환경의 유형입니다. Glue ETL: 에서 관리하는 아파치 스파크 환경에서 실행됩니다. AWS Glue Glue Streaming: Apache Spark 환경에서 실행되며 데이터 ETL 스트림에서 실행됩니다. Python 셸: Python 스크립트를 쉘로 실행합니다.
시작 시간	이 작업이 시작된 날짜 및 시간.
종료 시간	이 작업 실행이 완료된 날짜 및 시간입니다.
실행 상태	작업 실행의 현재 상태입니다. 값은 다음과 같습니다. `STARTING` `RUNNING` `STOPPING` `STOPPED` `SUCCEEDED` `FAILED` `TIMEOUT`
런타임	작업이 리소스를 소비한 시간입니다.
Capacity	이 작업 실행에 할당된 AWS Glue 데이터 처리 장치 (DPUs) 의 수입니다. 용량 계획에 대한 자세한 내용은 AWS Glue개발자 안내서의 DPU 용량 계획 모니터링을 참조하십시오.
작업자 유형	작업 실행 시 할당된 미리 정의된 작업자 유형입니다. 값은 `G.1X`, `G.2X`, `G.4X` 또는 `G.8X`일 수 있습니다. `G.1X` – 이 유형을 선택할 경우 Number of workers(작업자 수) 값도 제공합니다. 각 워커는 84GB 디스크 DPU (약 34GB의 여유 공간) 가 있는 1 (4vCPUs, 16GB 메모리) 에 매핑됩니다. 메모리 집약적인 작업의 경우 이 작업자 유형을 사용하는 것이 좋습니다. AWS Glue 버전 2.0 이상 작업의 기본 [작업자 유형(Worker type)]입니다. `G.2X` – 이 유형을 선택할 경우 [작업자 수(Number of workers)] 값도 제공합니다. 각 작업자는 128GB 디스크 DPU (약 77GB의 여유 공간) 가 있는 2 (8vCPUs, 32GB 메모리) 에 매핑합니다. 메모리 집약적인 작업과 기계 학습 변환을 실행하는 작업의 경우 이 작업자 유형을 사용하는 것이 좋습니다. `G.4X` – 이 유형을 선택할 경우 Number of workers(작업자 수) 값도 제공합니다. 각 작업자는 256GB 디스크 DPU (약 235GB의 여유 공간) 가 있는 4 (16vCPUs, 64GB 메모리) 에 매핑합니다. 워크로드에 가장 까다로운 변환, 집계, 조인 및 쿼리가 포함된 작업에서 이 작업자 유형을 사용하는 것이 좋습니다. 이 작업자 유형은 미국 동부 (오하이오), 미국 동부 (버지니아 북부), 미국 서부 (오레곤), 아시아 태평양 (싱가포르), 아시아 태평양 (시드니), 아시아 태평양 (도쿄), 캐나다 (중부), 유럽 (프랑크푸르트), 유럽 (아일랜드) 및 유럽 (스톡홀름) 의 AWS Glue 버전 3.0 이상 Spark ETL 작업에만 사용할 수 있습니다. AWS `G.8X` – 이 유형을 선택할 경우 Number of workers(작업자 수) 값도 제공합니다. 각 워커는 512GB 디스크 DPU (약 487GB의 여유 공간) 가 있는 8 (32vCPUs, 128GB 메모리) 에 매핑됩니다. 워크로드에 가장 까다로운 변환, 집계, 조인 및 쿼리가 포함된 작업에서 이 작업자 유형을 사용하는 것이 좋습니다. 이 작업자 유형은 작업자 유형에 지원되는 AWS 지역과 동일한 지역에서 AWS Glue 버전 3.0 이상의 Spark ETL 작업에만 사용할 수 있습니다. `G.4X`
DPU시간	작업 실행에 DPUs 사용된 예상 횟수입니다. DPUA는 처리 능력의 상대적 측정값입니다. DPUs작업 실행 비용을 결정하는 데 사용됩니다. 자세한 내용은 AWS Glue 요금 페이지를 참조하십시오.

목록에서 원하는 작업 실행을 선택하고 추가 정보를 볼 수 있습니다. 작업 실행을 선택하고 다음 중 하나를 수행합니다.

[작업(Actions)] 메뉴와 [작업 보기(View job)] 옵션을 선택하여 시각적 편집기에서 작업을 봅니다.
[작업(Actions)] 메뉴와 [실행 중지(Stop run)] 옵션을 선택하여 작업의 현재 실행을 중지합니다.
해당 작업에 대한 작업 실행 로그를 보려면 로그 보기 버튼을 선택합니다. CloudWatch
세부 정보 보기를 선택하여 작업 실행 세부 정보 페이지를 봅니다.

작업 실행 로그 보기

다양한 방법으로 작업 로그를 볼 수 있습니다.

모니터링 페이지의 Job run 테이블에서 작업 실행을 선택한 다음 CloudWatch 로그 보기를 선택합니다.
시각적 작업 편집기의 작업에 대한 [실행(Runs)] 탭에서 하이퍼링크를 선택하여 로그를 봅니다.
- [로그(Logs)] - 작업 실행에 연속 로깅이 사용될 때 작성된 Apache Spark 작업 로그에 대한 링크입니다. 이 링크를 선택하면 Amazon CloudWatch /aws-glue/jobs/logs-v2 로그 그룹의 로그로 이동합니다. 기본적으로 로그에는 유용하지 않은 Apache 하둡 YARN 하트비트와 Apache Spark 드라이버 또는 실행자 로그 메시지가 제외됩니다. 연속 로깅에 대한 자세한 내용은 AWS Glue Developer Guide의 Continuous Logging for AWS Glue Jobs를 참조하세요.
- [오류 로그(Error logs)] - 이 작업을 실행할 때 stderr에 작성되는 로그와 연결됩니다. 이 링크를 선택하면 /aws-glue/jobs/error 로그 그룹의 Amazon CloudWatch 로그로 이동합니다. 이 로그를 사용하여 작업 실행 중에 발생한 오류에 대한 세부 정보를 볼 수 있습니다.
- [출력 로그(Output logs)] - 이 작업을 실행할 때 stdout에 작성되는 로그와 연결됩니다. 이 링크를 선택하면 /aws-glue/jobs/output 로그 그룹의 Amazon CloudWatch 로그로 이동합니다. 이러한 로그를 사용하여 AWS Glue Data Catalog에서 생성된 테이블 및 발생한 오류에 대한 모든 세부 정보를 볼 수 있습니다.

작업 실행의 세부 정보 보기

[모니터링(Monitoring)] 페이지의 [작업 실행(Job runs)] 목록에서 작업을 선택한 다음 [실행 세부 정보 보기(View run details)]를 선택하여 해당 작업 실행에 대한 세부 정보를 볼 수 있습니다.

작업 실행 세부 정보 페이지에 표시되는 정보는 다음과 같습니다.

속성	설명
작업 이름	작업의 이름입니다.
실행 상태	작업 실행의 현재 상태입니다. 값은 다음과 같습니다. `STARTING` `RUNNING` `STOPPING` `STOPPED` `SUCCEEDED` `FAILED` `TIMEOUT`
Glue 버전	작업 실행에 사용된 AWS Glue 버전입니다.
최근 시도	이 작업 실행에 대한 자동 재시도 횟수입니다.
시작 시간	이 작업이 시작된 날짜 및 시간.
종료 시간	이 작업 실행이 완료된 날짜 및 시간입니다.
시작 시간	작업 실행 준비에 소요된 시간입니다.
실행 시간	작업 스크립트 실행에 소요된 시간입니다.
트리거 이름	작업과 연결된 트리거의 이름입니다.
최근 수정 시간	작업이 마지막으로 수정된 날짜입니다.
보안 구성	작업에 대한 보안 구성 (Amazon S3 암호화, CloudWatch 암호화 및 작업 북마크 암호화 설정 포함)
제한 시간	작업 실행 시간 제한 임곗값입니다.
할당된 용량	이 작업 실행에 할당된 AWS Glue 데이터 처리 장치 (DPUs) 의 수. 용량 계획에 대한 자세한 내용은 AWS Glue개발자 안내서의 DPU 용량 계획 모니터링을 참조하십시오.
최대 용량	작업 실행에 사용할 수 있는 최대 용량.
작업자 수	작업 실행에 사용된 작업자 수입니다.
작업자 유형	작업 실행에 할당된 사전 정의된 작업자 유형. 값은 `G.1X` 또는 `G.2X`일 수 있습니다. `G.1X` – 이 유형을 선택할 경우 Number of workers(작업자 수) 값도 제공합니다. 각 작업자는 1 DPU (4vCPUs, 16GB 메모리, 64GB 디스크) 에 매핑되고 작업자당 하나의 실행자를 제공합니다. 메모리 집약적인 작업의 경우 이 작업자 유형을 사용하는 것이 좋습니다. AWS Glue 버전 2.0 이상 작업의 기본 [작업자 유형(Worker type)]입니다. `G.2X` – 이 유형을 선택할 경우 [작업자 수(Number of workers)] 값도 제공합니다. 각 작업자는 2 DPUs (8vCPUs, 32GB 메모리, 128GB 디스크) 에 매핑되며 작업자당 하나의 실행자를 제공합니다. 메모리 집약적인 작업과 기계 학습 변환을 실행하는 작업의 경우 이 작업자 유형을 사용하는 것이 좋습니다.
로그	연속 로깅을 위한 작업 로그에 대한 링크(`/aws-glue/jobs/logs-v2`)입니다.
출력 로그	작업 출력 로그 파일(`/aws-glue/jobs/output`)에 대한 링크입니다.
오류 로그	작업 오류 로그 파일(`/aws-glue/jobs/error`)에 대한 링크입니다.

최근 작업 실행에 대한 정보를 볼 때 제공되는 다음의 추가 항목도 볼 수 있습니다. 자세한 내용은 최근 작업 실행에 대한 정보 보기 단원을 참조하십시오.

입력 인수
연속 로그
지표 - 기본 지표의 시각화를 볼 수 있습니다. 포함된 지표에 대한 자세한 내용은 Spark 작업 실행에 대한 Amazon CloudWatch 지표 보기 섹션을 참조하세요.
Spark UI - Spark UI에서 작업에 대한 Spark 로그를 시각화할 수 있습니다. Spark Web UI에 관해 자세한 내용은 Apache Spark 웹 UI를 사용하여 작업 모니터링를 참조하십시오. AWS Glue 작업을 위한 Apache Spark 웹 UI 사용 설정의 절차에 따라 이 기능을 활성화합니다.

Spark 작업 실행에 대한 Amazon CloudWatch 지표 보기

작업 실행에 대한 세부 정보 페이지의 실행 세부 정보 섹션 아래에서 작업 지표를 볼 수 있습니다. AWS Glue Studio모든 작업 실행에 Amazon CloudWatch 대한 작업 지표를 로 전송합니다.

AWS Glue 지표를 Amazon CloudWatch 30초마다 보고합니다. AWS Glue 지표는 이전에 보고한 값의 델타 값을 나타냅니다. 적절한 경우 지표 대시보드는 30초 값을 집계(합)하여 마지막 1분 전체에 대한 값을 얻습니다. 하지만 로 AWS Glue 전달되는 Apache Spark Amazon CloudWatch 지표는 일반적으로 보고된 시점의 현재 상태를 나타내는 절대값입니다.

참고

에 Amazon CloudWatch액세스하려면 계정을 구성해야 합니다.

지표는 다음과 같은 작업 실행에 대한 정보를 제공합니다.

ETL데이터 이동 — Amazon S3에서 읽거나 Amazon S3에 쓴 바이트 수입니다.
메모리 프로파일: 사용된 힙 — Java 가상 머신 () JVM 힙이 사용하는 메모리 바이트 수입니다.
메모리 프로파일: 힙 사용량 — 힙에서 사용된 메모리 비율 (스케일: 0—1) 을 백분율로 표시합니다. JVM
CPU부하 — CPU 시스템 부하에서 사용된 비율 (척도: 0—1) 으로, 백분율로 표시됩니다.

Ray 작업 Amazon CloudWatch 실행에 대한 메트릭 보기

참고

에 설명된 대로 Amazon CloudWatch액세스하려면 계정을 구성해야 합니다.

Ray 작업에서는 다음과 같은 집계된 지표 그래프를 볼 수 있습니다. 이를 통해 클러스터 및 작업의 프로파일을 구축하고 각 노드에 대한 세부 정보에 액세스할 수 있습니다. 이 그래프를 뒷받침하는 시계열 데이터는 추가 분석을 CloudWatch 위해 에서 사용할 수 있습니다.

작업 프로파일: 작업 상태: 시스템에 있는 Ray 작업 수를 표시합니다. 각 작업 수명 주기에는 고유한 시계열이 지정됩니다.
작업 프로파일: 작업 이름: 시스템에 있는 Ray 작업 수를 표시합니다. 대기 중인 작업과 진행 중인 작업만 표시됩니다. 각 작업 유형 (이름 기준)에는 고유한 시계열이 지정됩니다.
클러스터 프로파일: 사용 CPUs 중: 사용된 CPU 코어 수를 표시합니다. 각 노드에는 고유한 시계열이 지정됩니다. 노드는 임시 IP 주소로 식별되며, IP 주소는 임시 주소이며 식별용으로만 사용됩니다.
클러스터 프로파일: 객체 스토어 메모리 사용: Ray 객체 캐시의 메모리 사용을 보여줍니다. 각 메모리 위치(물리적 메모리, 디스크에 캐시됨, Amazon S3에서 유출됨)에는 고유한 시계열이 지정됩니다. 객체 스토어는 클러스터의 모든 노드에서 데이터 스토리지를 관리합니다. 자세한 내용은 Ray 설명서의 Objects를 참조하세요.
클러스터 프로파일: 노드 수: 클러스터에 프로비저닝된 노드 수를 표시합니다.
노드 세부 정보: 사용 CPU: 각 노드의 CPU 사용률을 백분율로 표시합니다. 각 시리즈는 노드의 모든 코어에 대한 CPU 사용량을 집계하여 보여줍니다.
노드 세부 정보: 메모리 사용: 각 노드에서 메모리 사용(GB)을 표시합니다. 각 시리즈는 Ray 작업 및 Plasma 저장 프로세스를 포함하여 노드의 모든 프로세스 사이에서 집계된 메모리를 보여줍니다. 디스크에 저장되거나 Amazon S3로 유출된 객체는 반영되지 않습니다.
노드 세부 정보: 디스크 사용: 각 노드에서 디스크 사용(GB)을 표시합니다.
노드 세부 정보: 디스크 I/O 속도: 각 노드에서 디스크 I/O(KB/s)를 표시합니다.
노드 세부 정보: 네트워크 I/O 처리량: 각 노드에서 네트워크 I/O(KB/s)를 표시합니다.
노드 세부 정보: Ray 구성 CPU 요소별 사용: 코어의 분수로 CPU 사용량을 표시합니다. 각 노드의 각 Ray 구성 요소에 고유한 시계열이 지정됩니다.
노드 세부 정보: Ray 구성 요소별 메모리 사용: 메모리 사용(GiB)을 표시합니다. 각 노드의 각 Ray 구성 요소에 고유한 시계열이 지정됩니다.

javascript가 브라우저에서 비활성화되거나 사용이 불가합니다.

AWS 설명서를 사용하려면 Javascript가 활성화되어야 합니다. 지침을 보려면 브라우저의 도움말 페이지를 참조하십시오.

문서 규칙

AWS Glue Studio notebooks에서 CodeWhisperer 사용

민감한 데이터 감지 및 처리