작업 모니터링 대시보드에 액세스 작업 모니터링 대시보드 개요 작업 실행 보기 작업 실행 로그 보기 작업 실행의 세부 정보 보기 Spark 작업 실행에 대한 Amazon CloudWatch 지표 보기 Ray 작업 실행에 대한 Amazon CloudWatch 지표 보기

콘솔의 AWS Glue 작업 실행 상태

AWS Glue 추출, 변환, 로드 작업이 실행되는 동안 또는 중지된 후 작업 상태를 볼 수 있습니다. AWS Glue 콘솔을 사용하여 상태를 볼 수 있습니다. 작업 실행 상태에 대한 자세한 내용은 AWS Glue 작업 실행 상태 섹션을 참조하십시오.

작업 모니터링 대시보드에 액세스

AWS Glue 탐색 창에서 ETL 작업 아래 작업 실행 모니터링 링크를 선택하여 작업 모니터링 대시보드에 액세스합니다.

작업 모니터링 대시보드 개요

작업 모니터링 대시보드는 [실행 중(Running)], [취소됨(Canceled)], [성공(Success)] 또는 [실패(Failed)] 상태의 작업에 대한 합계와 함께 작업 실행에 대한 전체 요약을 제공합니다. 추가 타일은 전체 작업 실행 성공률, 작업에 대한 예상 DPU 사용량, 작업 유형, 작업자 유형 및 일별 작업 상태 개수 분석을 제공합니다.

타일의 그래프는 대화형입니다. 그래프에서 블록을 선택하여 페이지 하단의 [작업 실행(Job runs)] 테이블에 해당 작업만 표시하는 필터를 실행할 수 있습니다.

[날짜 범위(Date range)] 선택기를 사용하여 이 페이지에 표시되는 정보의 날짜 범위를 변경할 수 있습니다. 날짜 범위를 변경하면 정보 타일이 조정되어 현재 날짜 이전의 지정된 일 수에 대한 값을 표시합니다. 날짜 범위 선택기에서 [사용자 정의(Custom)]를 선택하면 특정 날짜 범위를 사용할 수도 있습니다.

작업 실행 보기

참고

워크플로 및 작업 실행의 경우 작업 실행 기록을 90일 동안 액세스할 수 있습니다.

[작업 실행(Job runs)] 리소스 목록에는 지정된 날짜 범위 및 필터에 대한 작업이 표시됩니다.

상태, 작업자 유형, 작업 유형 및 작업 이름과 같은 추가 기준에 따라 작업을 필터링할 수 있습니다. 테이블 상단의 필터 상자에 필터로 사용할 텍스트를 입력할 수 있습니다. 텍스트를 입력할 때 일치하는 텍스트가 포함된 행으로 테이블 결과가 업데이트됩니다.

작업 모니터링 대시보드의 그래프에서 요소를 선택하여 작업의 하위 집합을 볼 수 있습니다. 예를 들어 [작업 실행 요약(Job runs summary)] 타일에서 실행 중인 작업 수를 선택하면 [작업 실행(Job runs)] 목록에 현재 상태가 Running인 작업만 표시됩니다. [작업자 유형 분석(Worker type breakdown)] 막대 차트에서 막대 중 하나를 선택하면 작업자 유형 및 상태가 일치하는 작업 실행만 [작업 실행(Job runs)] 목록에 표시됩니다.

[작업 실행(Job runs)] 리소스 목록에는 작업 실행에 대한 세부 정보가 표시됩니다. 열 머리글을 선택하여 테이블의 행을 정렬할 수 있습니다. 표에는 다음 정보가 포함되어 있습니다.

속성	설명
작업 이름	작업의 이름입니다.
유형	작업 환경의 유형입니다. [Glue ETL]: AWS Glue에서 관리하는 Apache Spark 환경에서 실행됩니다. [Glue 스트리밍(Glue Streaming)]: Apache Spark 환경에서 실행되고 데이터 스트림에서 ETL을 수행합니다. Python 셸: Python 스크립트를 쉘로 실행합니다.
시작 시간	이 작업이 시작된 날짜 및 시간.
종료 시간	이 작업 실행이 완료된 날짜 및 시간입니다.
실행 상태	작업 실행의 현재 상태입니다. 값은 다음과 같습니다. `STARTING` `RUNNING` `STOPPING` `STOPPED` `SUCCEEDED` `FAILED` `TIMEOUT`
런타임	작업이 리소스를 소비한 시간입니다.
Capacity	이 작업 실행에 할당된 AWS Glue 데이터 처리 장치(DPU) 수입니다. 용량 계획에 대한 자세한 내용은 AWS Glue Developer Guide의 Monitoring for DPU Capacity Planning을 참조하세요.
작업자 유형	작업 실행 시 할당된 미리 정의된 작업자 유형입니다. 값은 `G.1X`, `G.2X`, `G.4X` 또는 `G.8X`일 수 있습니다. `G.1X` – 이 유형을 선택할 경우 Number of workers(작업자 수) 값도 제공합니다. 각 작업자는 84GB 디스크(약 34GB의 여유 공간)에서 1개의 DPU(vCPU 4개, 메모리 16GB)에 매핑됩니다. 메모리 집약적인 작업의 경우 이 작업자 유형을 사용하는 것이 좋습니다. AWS Glue 버전 2.0 이상 작업의 기본 [작업자 유형(Worker type)]입니다. `G.2X` – 이 유형을 선택할 경우 [작업자 수(Number of workers)] 값도 제공합니다. 각 작업자는 128GB 디스크(약 77GB의 여유 공간)에서 2개의 DPU(vCPU 8개, 메모리 32GB)에 매핑됩니다. 메모리 집약적인 작업과 기계 학습 변환을 실행하는 작업의 경우 이 작업자 유형을 사용하는 것이 좋습니다. `G.4X` – 이 유형을 선택할 경우 Number of workers(작업자 수) 값도 제공합니다. 각 작업자는 256GB 디스크(약 235GB의 여유 공간)에서 4개의 DPU(vCPU 16개, 메모리 64GB)에 매핑됩니다. 워크로드에 가장 까다로운 변환, 집계, 조인 및 쿼리가 포함된 작업에서 이 작업자 유형을 사용하는 것이 좋습니다. 이 작업자 유형은 미국 동부(오하이오), 미국 동부(버지니아 북부), 미국 서부(오레곤), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(도쿄), 캐나다(중부), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(스톡홀름)과 같은AWS 리전에서 AWS Glue 버전 3.0 이상 Spark ETL 작업에 대해서만 사용할 수 있습니다. `G.8X` – 이 유형을 선택할 경우 Number of workers(작업자 수) 값도 제공합니다. 각 작업자는 512GB 디스크(약 487GB의 여유 공간)에서 8개의 DPU(vCPU 32개, 메모리 128GB)에 매핑됩니다. 워크로드에 가장 까다로운 변환, 집계, 조인 및 쿼리가 포함된 작업에서 이 작업자 유형을 사용하는 것이 좋습니다. 이 작업자 유형은 `G.4X` 작업자 유형에 지원되는 동일한 AWS 리전에서 AWS Glue 버전 3.0 이상 Spark ETL 작업에 대해서만 사용할 수 있습니다.
DPU 시간	작업 실행에 사용된 예상 DPU입니다. DPU는 처리 능력의 상대적인 측정치입니다. DPU는 작업 실행 비용을 결정하는 데 사용됩니다. 자세한 내용은 AWS Glue 요금 페이지를 참조하십시오.

목록에서 원하는 작업 실행을 선택하고 추가 정보를 볼 수 있습니다. 작업 실행을 선택하고 다음 중 하나를 수행합니다.

[작업(Actions)] 메뉴와 [작업 보기(View job)] 옵션을 선택하여 시각적 편집기에서 작업을 봅니다.
[작업(Actions)] 메뉴와 [실행 중지(Stop run)] 옵션을 선택하여 작업의 현재 실행을 중지합니다.
[CloudWatch Logs 보기(View CloudWatch logs)] 버튼을 선택하여 해당 작업에 대한 작업 실행 로그를 봅니다.
세부 정보 보기를 선택하여 작업 실행 세부 정보 페이지를 봅니다.

작업 실행 로그 보기

다양한 방법으로 작업 로그를 볼 수 있습니다.

[모니터링(Monitoring)] 페이지의 [작업 실행(Job runs)] 테이블에서 작업 실행을 선택한 다음 [CloudWatch Logs 보기(View CloudWatch logs)]를 선택합니다.
시각적 작업 편집기의 작업에 대한 [실행(Runs)] 탭에서 하이퍼링크를 선택하여 로그를 봅니다.
- [로그(Logs)] - 작업 실행에 연속 로깅이 사용될 때 작성된 Apache Spark 작업 로그에 대한 링크입니다. 이 링크를 선택하면 /aws-glue/jobs/logs-v2 로그 그룹의 Amazon CloudWatch 로그로 이동합니다. 기본적으로 로그는 유용하지 않은 Apache Hadoop YARN 하트비트 및 Apache Spark 드라이버 또는 실행기 로그 메시지를 제외합니다. 연속 로깅에 대한 자세한 내용은 AWS Glue Developer Guide의 Continuous Logging for AWS Glue Jobs를 참조하세요.
- [오류 로그(Error logs)] - 이 작업을 실행할 때 stderr에 작성되는 로그와 연결됩니다. 이 링크를 선택하면 /aws-glue/jobs/error 로그 그룹의 Amazon CloudWatch 로그로 이동합니다. 이 로그를 사용하여 작업 실행 중에 발생한 오류에 대한 세부 정보를 볼 수 있습니다.
- [출력 로그(Output logs)] - 이 작업을 실행할 때 stdout에 작성되는 로그와 연결됩니다. 이 링크를 선택하면 /aws-glue/jobs/output 로그 그룹의 Amazon CloudWatch 로그로 이동합니다. 이러한 로그를 사용하여 AWS Glue Data Catalog에서 생성된 테이블 및 발생한 오류에 대한 모든 세부 정보를 볼 수 있습니다.

작업 실행의 세부 정보 보기

[모니터링(Monitoring)] 페이지의 [작업 실행(Job runs)] 목록에서 작업을 선택한 다음 [실행 세부 정보 보기(View run details)]를 선택하여 해당 작업 실행에 대한 세부 정보를 볼 수 있습니다.

작업 실행 세부 정보 페이지에 표시되는 정보는 다음과 같습니다.

속성	설명
작업 이름	작업의 이름입니다.
실행 상태	작업 실행의 현재 상태입니다. 값은 다음과 같습니다. `STARTING` `RUNNING` `STOPPING` `STOPPED` `SUCCEEDED` `FAILED` `TIMEOUT`
Glue 버전	작업 실행에 사용된 AWS Glue 버전입니다.
최근 시도	이 작업 실행에 대한 자동 재시도 횟수입니다.
시작 시간	이 작업이 시작된 날짜 및 시간.
종료 시간	이 작업 실행이 완료된 날짜 및 시간입니다.
시작 시간	작업 실행 준비에 소요된 시간입니다.
실행 시간	작업 스크립트 실행에 소요된 시간입니다.
트리거 이름	작업과 연결된 트리거의 이름입니다.
최근 수정 시간	작업이 마지막으로 수정된 날짜입니다.
보안 구성	Amazon S3 암호화, CloudWatch 암호화 및 작업 북마크 암호화 설정을 포함하는 작업에 대한 보안 구성입니다.
제한 시간	작업 실행 시간 제한 임곗값입니다.
할당된 용량	이 작업 실행에 할당된 AWS Glue 데이터 처리 장치(DPU) 수입니다. 용량 계획에 대한 자세한 내용은 AWS Glue Developer Guide의 Monitoring for DPU Capacity Planning을 참조하세요.
최대 용량	작업 실행에 사용할 수 있는 최대 용량.
작업자 수	작업 실행에 사용된 작업자 수입니다.
작업자 유형	작업 실행에 할당된 사전 정의된 작업자 유형. 값은 `G.1X` 또는 `G.2X`일 수 있습니다. `G.1X` – 이 유형을 선택할 경우 Number of workers(작업자 수) 값도 제공합니다. 각 작업자는 1개의 DPU(vCPU 4개, 16GB 메모리, 64GB 디스크)에 매핑되고, 작업자당 실행기 1개를 제공합니다. 메모리 집약적인 작업의 경우 이 작업자 유형을 사용하는 것이 좋습니다. AWS Glue 버전 2.0 이상 작업의 기본 [작업자 유형(Worker type)]입니다. `G.2X` – 이 유형을 선택할 경우 [작업자 수(Number of workers)] 값도 제공합니다. 각 작업자는 2개의 DPU(vCPU 8개, 32GB 메모리, 128GB 디스크)에 매핑되고, 작업자당 실행기 1개를 제공합니다. 메모리 집약적인 작업과 기계 학습 변환을 실행하는 작업의 경우 이 작업자 유형을 사용하는 것이 좋습니다.
로그	연속 로깅을 위한 작업 로그에 대한 링크(`/aws-glue/jobs/logs-v2`)입니다.
출력 로그	작업 출력 로그 파일(`/aws-glue/jobs/output`)에 대한 링크입니다.
오류 로그	작업 오류 로그 파일(`/aws-glue/jobs/error`)에 대한 링크입니다.

최근 작업 실행에 대한 정보를 볼 때 제공되는 다음의 추가 항목도 볼 수 있습니다. 자세한 내용은 최근 작업 실행에 대한 정보 보기 단원을 참조하십시오.

입력 인수
연속 로그
지표 - 기본 지표의 시각화를 볼 수 있습니다. 포함된 지표에 대한 자세한 내용은 Spark 작업 실행에 대한 Amazon CloudWatch 지표 보기 섹션을 참조하세요.
Spark UI - Spark UI에서 작업에 대한 Spark 로그를 시각화할 수 있습니다. Spark Web UI에 관해 자세한 내용은 Apache Spark 웹 UI를 사용하여 작업 모니터링를 참조하십시오. AWS Glue 작업을 위한 Apache Spark 웹 UI 사용 설정의 절차에 따라 이 기능을 활성화합니다.

Spark 작업 실행에 대한 Amazon CloudWatch 지표 보기

작업 실행에 대한 세부 정보 페이지의 실행 세부 정보(Run details) 섹션 아래에서 작업 지표를 볼 수 있습니다. AWS Glue Studio는 모든 작업 실행의 작업 지표를 Amazon CloudWatch로 보냅니다.

AWS Glue은 30초마다 Amazon CloudWatch에 지표를 보고합니다. AWS Glue 지표는 이전에 보고한 값의 델타 값을 나타냅니다. 적절한 경우 지표 대시보드는 30초 값을 집계(합)하여 마지막 1분 전체에 대한 값을 얻습니다. 그러나 AWS Glue가 Amazon CloudWatch에 전달하는 Apache Spark 지표는 일반적으로 보고되는 시점의 현재 상태를 나타내는 절대값입니다.

참고

Amazon CloudWatch에 액세스하려면 계정을 구성해야 합니다.

지표는 다음과 같은 작업 실행에 대한 정보를 제공합니다.

[ETL 데이터 이동(ETL Data Movement)] – Amazon S3에서 읽거나 쓴 바이트 수입니다.
[메모리 프로파일: 사용된 힙(Memory Profile: Heap used)] – Java 가상 머신(JVM) 힙에서 사용하는 메모리 바이트 수입니다.
[메모리 프로파일: 힙 사용량(Memory Profile: heap usage)] – JVM 힙에서 사용하는 메모리 부분(규모: 0~1, 백분율로 표시)입니다.
[CPU 로드(CPU Load)] – 사용된 CPU 시스템 로드 부분(규모: 0~1, 백분율로 표시)입니다.

Ray 작업 실행에 대한 Amazon CloudWatch 지표 보기

참고

다음 사항에 설명된 대로 Amazon CloudWatch에 액세스하려면 계정을 구성해야 합니다.

Ray 작업에서는 다음과 같은 집계된 지표 그래프를 볼 수 있습니다. 이를 통해 클러스터 및 작업의 프로파일을 구축하고 각 노드에 대한 세부 정보에 액세스할 수 있습니다. 이 그래프를 지원하는 시계열 데이터는 추가 분석을 위해 CloudWatch에서 사용할 수 있습니다.

작업 프로파일: 작업 상태: 시스템에 있는 Ray 작업 수를 표시합니다. 각 작업 수명 주기에는 고유한 시계열이 지정됩니다.
작업 프로파일: 작업 이름: 시스템에 있는 Ray 작업 수를 표시합니다. 대기 중인 작업과 진행 중인 작업만 표시됩니다. 각 작업 유형 (이름 기준)에는 고유한 시계열이 지정됩니다.
클러스터 프로파일: 사용 중인 CPU: 사용된 CPU 코어 수를 표시합니다. 각 노드에는 고유한 시계열이 지정됩니다. 노드는 임시 IP 주소로 식별되며, IP 주소는 임시 주소이며 식별용으로만 사용됩니다.
클러스터 프로파일: 객체 스토어 메모리 사용: Ray 객체 캐시의 메모리 사용을 보여줍니다. 각 메모리 위치(물리적 메모리, 디스크에 캐시됨, Amazon S3에서 유출됨)에는 고유한 시계열이 지정됩니다. 객체 스토어는 클러스터의 모든 노드에서 데이터 스토리지를 관리합니다. 자세한 내용은 Ray 설명서의 Objects를 참조하세요.
클러스터 프로파일: 노드 수: 클러스터에 프로비저닝된 노드 수를 표시합니다.
노드 세부 정보: CPU 사용: 각 노드에서 CPU 사용률을 백분율로 표시합니다. 각 시리즈는 노드에 있는 모든 코어에서 집계된 CPU 사용률을 보여줍니다.
노드 세부 정보: 메모리 사용: 각 노드에서 메모리 사용(GB)을 표시합니다. 각 시리즈는 Ray 작업 및 Plasma 저장 프로세스를 포함하여 노드의 모든 프로세스 사이에서 집계된 메모리를 보여줍니다. 디스크에 저장되거나 Amazon S3로 유출된 객체는 반영되지 않습니다.
노드 세부 정보: 디스크 사용: 각 노드에서 디스크 사용(GB)을 표시합니다.
노드 세부 정보: 디스크 I/O 속도: 각 노드에서 디스크 I/O(KB/s)를 표시합니다.
노드 세부 정보: 네트워크 I/O 처리량: 각 노드에서 네트워크 I/O(KB/s)를 표시합니다.
노드 세부 정보: Ray 구성 요소별 CPU 사용: CPU 사용을 코어의 비율로 표시합니다. 각 노드의 각 Ray 구성 요소에 고유한 시계열이 지정됩니다.
노드 세부 정보: Ray 구성 요소별 메모리 사용: 메모리 사용(GiB)을 표시합니다. 각 노드의 각 Ray 구성 요소에 고유한 시계열이 지정됩니다.

javascript가 브라우저에서 비활성화되거나 사용이 불가합니다.

AWS 설명서를 사용하려면 Javascript가 활성화되어야 합니다. 지침을 보려면 브라우저의 도움말 페이지를 참조하십시오.

문서 규칙

Amazon Q Developer를 AWS Glue Studio 노트북과 함께 사용하기

민감한 데이터 감지 및 처리