기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon EMR 클러스터 문제를 해결하는 데 사용할 수 있는 도구는 무엇입니까?
클러스터 오류를 식별하고 수정하려면 이 페이지에서 설명하는 도구를 사용할 수 있습니다. 클러스터를 시작할 때 일부 도구를 초기화해야 할 수도 있습니다. 이외 도구는 기본적으로 모든 클러스터에서 사용 가능합니다.
EMR 클러스터 세부 정보 보기
AWS Management Console AWS CLI또는를 사용하여 EMR 클러스터 및 작업 실행EMRAPI에 대한 자세한 정보를 검색할 수 있습니다. AWS Management Console 및 사용에 대한 자세한 내용은 섹션을 AWS CLI참조하세요Amazon EMR 클러스터 상태 및 세부 정보 보기.
Amazon EMR 콘솔 세부 정보 창
Amazon EMR 콘솔의 클러스터 목록에서 계정 및의 각 클러스터 상태에 대한 상위 수준 정보를 볼 수 있습니다 AWS 리전. 목록에는 지난 2개월 동안 시작한 모든 활성 클러스터 및 종료된 클러스터가 표시됩니다. 클러스터 목록에서 클러스터 이름을 선택해서 클러스터 세부 정보를 볼 수 있습니다. 이 정보는 여러 카테고리로 구성되어 있어 쉽게 탐색할 수 있습니다.
클러스터 세부 정보 페이지에서 사용할 수 있는 애플리케이션 사용자 인터페이스는 클러스터 문제를 해결하는 데 유용할 수 있습니다. YARN 애플리케이션 상태를 제공하며 Spark 애플리케이션과 같은 일부 애플리케이션의 경우 작업, 단계 및 실행기와 같은 다양한 지표와 패싯을 드릴링할 수 있습니다. 자세한 내용은 Amazon EMR 애플리케이션 기록 보기 단원을 참조하십시오. 이 기능은 Amazon EMR 릴리스 5.8.0 이상에서만 사용할 수 있습니다.
Amazon EMR 명령줄 인터페이스
--describe 인수를 AWS CLI 사용하여에서 클러스터에 대한 세부 정보를 찾을 수 있습니다.
Amazon EMR API
DescribeJobFlows 작업을 API 사용하여에서 클러스터에 대한 세부 정보를 찾을 수 있습니다.
EMR 클러스터 오류 세부 정보 보기
EMR 클러스터가 오류로 종료되면 DescribeCluster 및는 오류 코드와 오류 메시지를 ListClusters APIs 반환합니다. 일부 클러스터 오류의 경우 ErrorDetail 데이터 배열이 장애 문제를 해결하는 데 도움이 될 수 있습니다.
ErrorDetail 데이터가 포함된 오류 코드 목록은 Amazon의 정보가 포함된 ErrorDetail 오류 코드 EMR 섹션을 참조하세요.
참고
가장 최근 관련 정보를 받을 수 있도록 오류 메시지를 지속적으로 구체화하고 있습니다. 이 텍스트는 변경될 수 있으므로 ErrorMessage에서 텍스트를 구문 분석하지 않는 것이 좋습니다.
스크립트 실행 및 Amazon EMR 프로세스 구성
문제 해결 프로세스의 일환으로 클러스터에서 사용자 지정 스크립트를 실행하거나 클러스터 프로세스를 보고 구성하는 것이 유용할 수 있습니다.
애플리케이션 프로세스 보기 및 다시 시작
잠재적 문제를 진단하기 위해 클러스터에서 실행 중인 프로세스를 보는 것이 유용할 수 있습니다. 클러스터의 프라이머리 노드에 연결하여 클러스터 프로세스를 중지하고 다시 시작할 수 있습니다. 자세한 내용은 Amazon 및 애플리케이션 프로세스 보기 EMR 및 재시작(데몬) 단원을 참조하십시오.
SSH 연결 없이 명령 및 스크립트 실행
클러스터에서 명령 또는 스크립트를 단계별로 실행하려면 마스터 노드에 대한 SSH 연결을 설정하지 않고도 command-runner.jar 또는 script-runner.jar 도구를 사용할 수 있습니다. 자세한 내용은 Amazon EMR 클러스터에서 명령 및 스크립트 실행을 참조하세요.
로그 파일 보기
AmazonEMR과 Hadoop 모두 클러스터가 실행될 때 로그 파일을 생성합니다. 클러스터를 시작할 때 지정한 구성에 따라 여러 다른 도구에서 이러한 로그 파일에 액세스할 수 있습니다. 자세한 내용은 Amazon EMR 클러스터 로깅 및 디버깅 구성 단원을 참조하십시오.
프라이머리 노드의 로그 파일
모든 클러스터는 마스터 노드의 the /mnt/var/log/ 디렉터리에 로그 파일을 게시합니다. 이러한 로그 파일은 클러스터가 실행되는 동안에만 사용할 수 있습니다.
Amazon S3에 아카이브된 로그 파일
클러스터를 시작하고 Amazon S3 로그 경로를 지정하면 클러스터는 마스터 노드에 저장된 in /mnt/var/log/ 로그 파일을 5분 간격으로 Amazon S3에 복사합니다. 이렇게 하면 클러스터가 종료된 후에도 로그 파일에 액세스할 수 있습니다. 파일이 5분 간격으로 보관되므로 갑자기 종료된 클러스터의 마지막 몇 분은 사용하지 못할 수 있습니다.
EMR 클러스터 성능 모니터링
AmazonEMR은 클러스터의 성능을 모니터링하는 여러 도구를 제공합니다.
Hadoop 웹 인터페이스
모든 클러스터는 클러스터에 대한 정보를 포함하는 일련의 웹 인터페이스를 마스터 노드에 게시합니다. SSH 터널을 사용하여 마스터 노드에 연결하여 이러한 웹 페이지에 액세스할 수 있습니다. 자세한 내용은 Amazon EMR 클러스터에서 호스팅되는 웹 인터페이스 보기 단원을 참조하십시오.
CloudWatch 지표
모든 클러스터는 지표를에 보고합니다 CloudWatch. CloudWatch 는 지표를 추적하고 해당 지표에 대한 경보를 설정하는 데 사용할 수 있는 웹 서비스입니다. 자세한 내용은 를 사용하여 Amazon EMR 지표 모니터링 CloudWatch 단원을 참조하십시오.
