콘솔을 사용하여 Amazon EMR 클러스터 관리
콘솔은 Amazon EMR 환경을 직관적으로 관리할 수 있으며, 설명서, 제품 정보 및 기타 리소스에 편리하게 액세스할 수 있는 업데이트된 인터페이스를 제공합니다.
콘솔 기능
Amazon EMR 콘솔은 다음 URL에서 사용할 수 있습니다.
다음 테이블에는 기본 Amazon EMR 콘솔 구성 요소 상태가 나와 있습니다.
| Amazon EMR 콘솔 구성 요소 | 콘솔 |
|---|---|
|
EMR Studio |
✔ |
|
클러스터 생성 및 관리 |
✔ |
|
퍼블릭 액세스 차단 |
✔ |
|
Amazon CloudWatch Events 모니터링 |
✔ |
|
보안 구성 |
✔ |
|
가상 클러스터(Amazon EMR on EKS) |
✔ |
| Amazon VPC Private Cloud 서브넷 보기 및 관리1 | ✔ |
|
노트북2 |
✔ |
1 콘솔에서는 클러스터를 생성할 때 네트워킹 섹션에서 Amazon VPC 서브넷을 보고 관리할 수 있습니다.
2 EMR Notebooks는 콘솔에서 EMR Studio Workspaces로 사용 가능합니다. 콘솔의 워크스페이스 생성 버튼을 사용하면 새 노트북을 생성할 수 있습니다. EMR Notebooks 사용자는 Workspace에 액세스하거나 Workspace를 생성하려면 추가 IAM 역할 권한이 필요합니다. 자세한 내용은 Amazon EMR Notebooks가 콘솔에서 Amazon EMR Studio 워크스페이스 역할 및 Amazon EMR 콘솔을 참조하세요.
차이점 요약
이 섹션에서는 Amazon EMR 콘솔 환경의 기능을 간략하게 설명합니다. 이러한 기능은 다음 카테고리로 분류됩니다.
콘솔의 클러스터 호환성
경우에 따라 사용자가 생성한 클러스터가 콘솔과 호환되지 않을 수 있습니다. 다음 목록에서는 Amazon EMR 콘솔의 호환성 요구 사항을 설명합니다.
-
콘솔에서는 Amazon EMR 릴리스 5.20.1 이상에서 생성된 클러스터를 지원합니다.
-
콘솔에서 자동 조정을 사용하는 클러스터를 복제할 수 있지만, 수동 조정을 수행하거나 관리형 조정을 사용하려는 경우 새 클러스터만 생성할 수 있습니다.
릴리스 5.20.1 이하의 클러스터를 생성하고 작업하기 위해 AWS Command Line Interface(AWS CLI) 또는 AWS SDK를 사용할 수 있습니다.
클러스터 생성
| 기능 | 콘솔 |
|---|---|
|
용어: Amazon EMR 클러스터 노드 유형 |
프라이머리, 코어, 태스크 |
|
Amazon EMR 릴리스 5.20.1 이상 |
|
|
요약 패널 아래의 클러스터 생성 버튼을 사용합니다. 클러스터 이름에는 <, >, $, | 또는 `(백틱) 문자를 포함할 수 없습니다. |
|
클러스터에서 플릿마다 스팟 인스턴스를 프로비저닝할 제한 시간을 정의합니다. |
|
|
콘솔에서는 기본 역할을 생성하지 않으므로, IAM 콘솔 |
|
| Amazon EMR 콘솔 내에서는 일부 사용자에게 클러스터를 표시할 수 없습니다. IAM 정책에 따라 클러스터 액세스가 결정됩니다. | |
| 각각 Amazon S3 |
|
|
2020년 12월 1일에 Amazon S3의 강력한 읽기 후 쓰기 일관성 기능이 출시됨에 따라 EMR 클러스터에서 EMRFS CV를 사용할 필요가 없습니다. |
|
| 클러스터 세부 정보 페이지의 애플리케이션 UI 인터페이스를 사용하여 작업을 디버깅할 수 있습니다. |
1 콘솔에서 Amazon EMR 5.20.1 이전 릴리스를 사용하여 클러스터를 생성하거나 편집할 수는 없지만, 5.20.1 이전 릴리스를 사용하여 생성한 기존 클러스터는 계속 작동합니다. 5.20.1 이전의 Amazon EMR 릴리스에서 클러스터를 생성하고 편집하려면 API 또는 CLI를 사용합니다. 콘솔을 사용하여 모든 클러스터를 볼 수 있지만, 5.20.1 이전에 생성된 콘솔은 최신 기능과 호환되지 않을 수 있습니다.
클러스터 보기 및 검색
다음 표에서는 Amazon EMR 콘솔을 사용하여 클러스터를 보고 검색하는 방법을 강조합니다.
참고
클러스터 목록에 데이터 필터를 적용하면 전체 데이터베이스가 쿼리됩니다. 그러나 검색 상자에 텍스트 문자열을 입력하면 목록이 클라이언트 측에서 로드한 결과에만 검색이 적용됩니다.
| 기능 | 콘솔 |
|---|---|
|
클러스터 세부 정보 보기 |
클러스터 ID를 선택하여 구성 옵션, 영구 애플리케이션 UI, 로그와 같은 전체 클러스터 세부 정보를 볼 수 있습니다. |
|
클러스터 검색 |
단일 검색 필드를 사용하여 텍스트 검색 쿼리를 입력하고 '상태 = 모든 활성 상태'와 같은 데이터 필터를 생성 및 적용합니다. |
|
실패한 클러스터 찾기 |
실패한 클러스터를 검색하려면 상태 = 오류로 종료됨 필터를 적용합니다. |
클러스터 세부 정보 보기 또는 편집
| 기능 | 콘솔 |
|---|---|
|
조정, 프로비저닝, 크기 조정 및 종료 옵션과 함께 인스턴스 그룹 및 인스턴스 플릿의 인스턴스 보기 |
인스턴스 탭에서 인스턴스 옵션 및 세부 정보를 봅니다. 속성 탭에서 종료 옵션을 봅니다. |
|
앱 UI, 로그 및 구성 보기 (Apache Spark |
구성 탭에서 클러스터 구성을 확인합니다. 실시간 영구 애플리케이션 UI를 시작하여 애플리케이션 탭에서 애플리케이션 로그를 확인합니다. |
|
클러스터를 CLI로 내보내기 |
클러스터 세부 정보 및 목록 보기 작업 메뉴에서 '클러스터 복제 명령 보기'와 같은 사용 가능한 옵션 |
보안 구성 작업 시 차이점
| 기능 | 콘솔 |
|---|---|
|
보안 구성 복제 |
✔ |
|
✔ |
|
|
✔ |
|
|
Amazon S3 액세스 포인트 |
|
|
AWS Lake Formation 액세스 제어 |
런타임 역할 |
1 단계 제출 중에 역할을 전달하려면 클러스터에서 IAM 권한 정책이 첨부된 보안 구성을 사용해야 합니다. 그러면 사용자는 승인된 역할만 전달하고 작업은 Amazon EMR 리소스에 액세스할 수 있습니다. 자세한 내용은 Amazon EMR 단계의 런타임 역할 단원을 참조하십시오.
