AWS Glue 작업에 대한 지속 로깅 - AWS Glue

AWS Glue 작업에 대한 지속 로깅

AWS Glue는 AWS Glue 작업에 대한 실시간 지속 로깅을 제공합니다. Amazon CloudWatch에서 드라이버 로그, 실행기 로그 및 Apache Spark 작업 진행률 표시줄을 포함한 실시간 Apache Spark 작업 로그를 볼 수 있습니다. 실시간 로그를 보면 실행 중인 작업을 보다 잘 파악할 수 있습니다.

AWS Glue 작업을 시작하면 Spark 애플리케이션 실행이 시작된 후(5초마다 그리고 실행기가 종료되기 전) 실시간 로깅 정보가 CloudWatch에 전송됩니다. AWS Glue 콘솔 또는 CloudWatch 콘솔 대시보드에서 로그를 볼 수 있습니다.

지속 로깅 기능에는 다음 기능이 포함되어 있습니다.

  • 연속 로깅

  • 애플리케이션별 메시지를 로깅하는 사용자 지정 스크립트 로거

  • 현재 AWS Glue 작업의 실행 상태를 추적하는 콘솔 진행률 표시줄

AWS Glue 버전 2.0에서 연속 로깅이 지원되는 방식에 대한 자세한 내용은 시작 시간이 단축된 Spark ETL 작업 실행을 참조하세요.

IAM 역할이 로그를 읽을 수 있도록 CloudWatch 로그 그룹 또는 스트림에 대한 액세스를 제한할 수 있습니다. 액세스 제한 방법에 대한 자세한 내용은 CloudWatch 설명서의 CloudWatch Logs에 대한 자격 증명 기반 정책(IAM 정책) 사용을 참조하세요.

참고

연속 로깅을 활성화하고 추가 CloudWatch 로그 이벤트가 생성되면 추가 요금이 발생할 수 있습니다. 자세한 내용은 Amazon CloudWatch 요금을 참조하세요.

주제