AWS Glue의 로깅 및 모니터링

ETL(추출, 변환 및 로드) 작업 실행을 자동화할 수 있습니다. AWS Glue는 모니터링할 수 있는 크롤러 및 작업에 대한 지표를 제공합니다. 필요한 메타데이터로 AWS Glue Data Catalog을 설치한 후, AWS Glue는 환경 상태에 대한 지표를 제공합니다. Cron을 기반으로 시간 기반 일정으로 작업 및 크롤러의 호출을 자동화할 수 있습니다. 이벤트 기반 트리거를 시작할 경우 작업을 시작할 수 있습니다.

AWS Glue는 AWS Glue에서 사용자, 역할 또는 AWS 서비스가 수행한 작업에 대한 레코드를 제공하는 서비스인 AWS CloudTrail과 통합됩니다. 추적을 생성하는 경우 CloudTrail 이벤트를 Amazon Simple Storage Service(Amazon S3) 버킷, Amazon CloudWatch Logs 및 Amazon CloudWatch Events로 지속적으로 전송할 수 있습니다. 모든 이벤트 및 로그 항목에는 요청을 생성한 사용자에 대한 정보가 들어 있습니다.

Amazon CloudWatch Events를 사용하여 AWS 서비스를 자동화하고 애플리케이션 가용성 문제나 리소스 변경 같은 시스템 이벤트에 자동으로 응답합니다. AWS 서비스의 이벤트는 거의 실시간으로 CloudWatch Events로 전송됩니다. 어떤 이벤트에 관심이 있으며 이벤트가 규칙과 일치할 때 어떤 자동화된 작업을 수행할지를 표시하는 간단한 규칙을 작성할 수 있습니다.

클라우드에서 중요한 보안 요소 중 하나는 로깅입니다. 클라우드 인프라를 디버깅하고 보호하는 데 필요한 정보를 캡처하면서 보안 암호 및 기밀 자료를 캡처하지 않는 방식으로 로깅을 구성해야 합니다. 어떤 정보와 데이터가 로깅되는지 숙지해야 합니다.