AWS Glue 작업에 대한 지속 로깅 보기 - AWS Glue

AWS Glue 작업에 대한 지속 로깅 보기

AWS Glue 콘솔 또는 Amazon CloudWatch 콘솔을 사용하여 실시간 로그를 볼 수 있습니다.

AWS Glue 콘솔 대시보드를 사용하여 실시간 로그를 보려면

  1. AWS Management Console에 로그인하여 https://console.aws.amazon.com/glue/에서 AWS Glue 콘솔을 엽니다.

  2. 탐색 창에서, 작업을 선택합니다.

  3. 기존 작업을 추가하거나 시작합니다. 작업, 작업 실행을 선택합니다.

    작업 실행을 시작할 때 실행 중인 작업에 대한 정보가 포함된 페이지로 이동합니다.

    • 로그 탭에 이전에 집계된 애플리케이션 로그가 표시됩니다.

    • Continuous logging(지속 로깅) 탭에는 glueContext가 초기화된 작업이 실행 중일 때 실시간 진행률 표시줄이 표시됩니다.

    • Continuous logging(지속 로깅) 탭에는 실시간 Apache Spark 드라이버 로그를 캡처하는 드라이버 로그 및 작업이 실행 중일 때 AWS Glue 애플리케이션 로거를 사용하여 로깅한 스크립트의 애플리케이션 로그도 포함됩니다.

  4. 이전 작업의 경우 [로그(Logs)]를 선택하여 [작업 기록(Job History)] 보기에서 실시간 로그를 볼 수도 있습니다. 이러한 작업을 수행하면 해당 작업 실행에 대한 모든 Spark 드라이버, 실행기 및 진행률 표시줄 로그 스트림을 표시하는 CloudWatch 콘솔로 이동합니다.

CloudWatch 콘솔 대시보드를 사용하여 실시간 로그를 보려면

  1. https://console.aws.amazon.com/cloudwatch/에서 CloudWatch 콘솔을 엽니다.

  2. 탐색 창에서 로그를 선택합니다.

  3. /aws-glue/jobs/logs-v2/ 로그 그룹을 선택합니다.

  4. 필터 상자에 작업 실행 ID를 붙여넣습니다.

    드라이버 로그, 실행기 로그 및 진행률 표시줄을 볼 수 있습니다(Standard filter(표준 필터)를 사용하는 경우).