Spark 웹 UI에 액세스

Amazon EMR 관리 안내서에서 클러스터에 연결 섹션에 나온 SSH 터널을 생성하거나 프록시를 생성하는 절차를 수행한 다음, 클러스터의 YARN ResourceManager로 이동하여 Spark 웹 UI를 볼 수 있습니다. 애플리케이션의 Tracking UI(추적 UI)에서 링크를 선택합니다. 애플리케이션이 실행 중인 경우 ApplicationMaster가 표시됩니다. ApplicationMaster는 드라이버가 있는 경우 언제든지 포트 20888의 애플리케이션 마스터 웹 UI로 안내합니다. YARN 클라이언트 모드로 실행하는 경우 드라이버는 클러스터의 프라이머리 노드에 있을 수 있습니다. 애플리케이션을 YARN 클러스터 모드에서 실행 중인 경우 드라이버는 클러스터에서 해당 애플리케이션에 대한 ApplicationMaster에 있습니다. 애플리케이션이 완료된 경우에는 기록이 표시되며, EMR 클러스터 프라이머리 노드의 포트 번호 18080에 있는 Spark HistoryServer UI로 안내합니다. 이 설명은 이미 완료된 애플리케이션에 적용됩니다. 또한 http://master-public-dns-name:18080/에서 Spark HistoryServer UI로 직접 이동할 수도 있습니다.

Amazon EMR 릴리스 5.25.0 이상에서는 SSH 연결을 통해 웹 프록시를 설정하지 않고도 콘솔에서 Spark 기록 서버 UI에 액세스할 수 있습니다. 자세한 내용은 영구 애플리케이션 사용자 인터페이스 보기를 참조하세요.