오류 로그 찾기 - AWS Data Pipeline
파이프라인 로그Hadoop 작업 및 Amazon EMR 단계 로그

AWS Data Pipeline 신규 고객은 더 이상 이용할 수 없습니다. 의 기존 고객 AWS Data Pipeline 정상적으로 서비스를 계속 사용할 수 있습니다. 자세히 알아보기

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

오류 로그 찾기

이 단원에서는 AWS Data Pipeline이 기록하는 다양한 로그를 찾아 이것을 이용해 특정 실패 및 오류의 원인을 파악하는 방법에 대해 설명합니다.

파이프라인 로그

영구적인 위치에 로그 파일을 생성하도록 파이프라인을 구성할 것을 권장하며, 이에 대한 다음 예제에서 pipelineLogUri필드를 파이프라인의 Default객체에서 사용하여 모든 파이프라인 구성요소가 기본적으로 Amazon S3 로그 위치를 사용하게 합니다(특정 파이프라인 구성요소에 로그 위치를 구성하여 이것을 다시 정의할 수 있음).

참고

Task Runner는 기본적으로 다른 위치에 그 로그를 저장하는데, 이것은 파이프라인이 끝나고 Task Runner를 실행하는 인스턴스가 종료될 때는 사용할 수 없습니다. 자세한 내용은 Task Runner 로깅 확인 섹션을 참조하세요.

파이프라인 JSON 파일에서 AWS Data Pipeline CLI를 사용하여 로그 위치를 구성하려면 다음 텍스트로 파이프라인 파일을 시작해야 합니다.

{ "objects": [
{
  "id":"Default",
  "pipelineLogUri":"s3://mys3bucket/error_logs"
},
...

파이프라인 로그 디렉터리가 구성되면 Task Runner가 디렉터리에 로그 사본을 생성하는데, Task Runner 로그에 관한 앞 단원에서 설명한 것과 동일한 형식과 파일 이름을 사용합니다.

Hadoop 작업 및 Amazon EMR 단계 로그

HadoopActivity, HiveActivity, PigActivity등의 Hadoop 기반 활동으로 실행 시간 슬롯, hadoopJobLog에서 반환되는 위치에서 Hadoop 작업 로그를 볼 수 있습니다. EmrActivity에는 자체 로깅 기능이 있으며, 이러한 로그는 Amazon EMR이 선택하고 실행 시간 슬롯, emrStepLog가 반환하는 위치를 사용하여 저장됩니다. 자세한 내용은 Amazon EMR 개발자 안내서의 로그 파일 보기를 참조하세요.