Amazon EMR 애플리케이션 기록 보기
콘솔의 클러스터 세부 정보 페이지에서 Spark 기록 서버 및 YARN 타임라인 서비스 애플리케이션 세부 정보를 볼 수 있습니다. Amazon EMR 애플리케이션 기록을 사용하면 활성 작업 및 작업 기록을 쉽게 문제 해결하고 분석할 수 있습니다.
참고
Amazon EMR에서 사용할 수 있는 콘솔 외부 애플리케이션에 대한 보안을 강화하기 위해 애플리케이션 호스팅 도메인이 PSL(Public Suffix List)에 등록됩니다. 이러한 호스팅 도메인의 예에는 emrstudio-prod.us-east-1.amazonaws.com, emrnotebooks-prod.us-east-1.amazonaws.com, emrappui-prod.us-east-1.amazonaws.com이 포함됩니다. 보안 강화를 위해 기본 도메인 이름에 민감한 쿠키를 설정해야 하는 경우 __Host- 접두사가 있는 쿠키를 사용하는 것이 좋습니다. 이렇게 하면 교차 사이트 요청 위조 시도(CSRF) 로부터 도메인을 보호하는 데 도움이 됩니다. 자세한 내용은 Mozilla 개발자 네트워크의 Set-Cookie
애플리케이션 탭의 애플리케이션 사용자 인터페이스 섹션에서는 클러스터 상태 및 클러스터에 설치한 애플리케이션에 따라 여러 보기 옵션을 제공합니다.
-
클러스터 외부에서 영구 애플리케이션 사용자 인터페이스에 액세스 - Amazon EMR 버전 5.25.0부터 Spark UI 및 Spark History Service에서 영구 애플리케이션 사용자 인터페이스 링크를 사용할 수 있습니다. Amazon EMR 버전 5.30.1 이상에서는 Tez UI 및 YARN 타임라인 서버에도 영구 애플리케이션 사용자 인터페이스가 있습니다. YARN 타임라인 서버 및 Tez UI는 활성 및 종료된 클러스터에 대한 지표를 제공하는 오픈 소스 애플리케이션입니다. Spark 사용자 인터페이스는 스케줄러 단계 및 작업, RDD 크기 및 메모리 사용량, 환경 정보, 실행 중인 실행기에 대한 정보 등 다양한 세부 정보를 제공합니다. 영구 애플리케이션 UI는 클러스터 외부에서 실행되므로 애플리케이션이 종료된 후 30일 동안 클러스터 정보와 로그를 사용할 수 있습니다. 클러스터 내 애플리케이션 사용자 인터페이스와 달리 영구 애플리케이션 UI에서는 SSH 연결을 통해 웹 프록시를 설정할 필요가 없습니다.
-
클러스터 내 애플리케이션 사용자 인터페이스 - 클러스터에서 실행할 수 있는 다양한 애플리케이션 기록 사용자 인터페이스가 있습니다. 클러스터 내 사용자 인터페이스는 마스터 노드에서 호스팅되며 웹 서버에 대한 SSH 연결을 설정해야 합니다. 클러스터 내 애플리케이션 사용자 인터페이스는 애플리케이션이 종료된 후 1주일 동안 애플리케이션 기록을 보관합니다. SSH 터널 설정에 대한 지침과 자세한 내용은 Amazon EMR 클러스터에 호스팅된 웹 인터페이스 보기 섹션을 참조하세요.
Spark 기록 서버, YARN 타임라인 서버 및 Hive 애플리케이션을 제외하고 클러스터 내 애플리케이션 기록은 클러스터가 실행되는 동안에만 볼 수 있습니다.
