使用主控台管理 Amazon EMR 叢集 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用主控台管理 Amazon EMR 叢集

主控台提供更新的介面,可讓您以直覺的方式管理 Amazon EMR 環境,並讓您方便存取文件、產品資訊和其他資源。

控制台功能

Amazon 控EMR制台可在以下位置使用URL:

下表列出 Amazon 主EMR控台元件的狀態。

Amazon EMR 控制台組 主控台

EMR工作室

建立和管理叢集

封鎖公有存取權

監控 Amazon CloudWatch 活動

安全組態

虛擬叢集 (Amazon EMR 上EKS)

檢視和管理您的 Amazon Virtual Private Cloud 子網路 1

筆記本 2

1 在主控台中,您可以在建立叢集時,在「聯VPC網」區段中檢視和管理 Amazon 子網路。

2 EMR 筆記本可作為主控台中的 EMR Studio 工作區使用。主控台中的 [建立工作區] 按鈕可讓您建立新的筆記本。若要存取或建立工作區,EMR筆記本使用者需要額外的IAM角色權限。有關詳情,請參閱 Amazon EMR 筆記本是控制台和 Amazon 控制台中的 Amazon EMR 工作EMR室工作區。

差異摘要

本節概述 Amazon EMR 主控台體驗的功能。這些功能分為以下幾類:

主控台中的叢集相容性

在某些情況下,您建立的叢集可能與主控台不相容。下列清單說明 Amazon EMR 主控台的相容性需求。

  • 主控台支援在 Amazon 5.20.1 及更EMR新版本中建立的叢集。

  • 您可以在主控台中複製使用自動調整規模的叢集,但只有在您想要手動擴展或使用受管擴展時,才能建立新叢集。

若要建立和使用 5.20.1 及更早版本的叢集,您可以使用 AWS Command Line Interface (AWS CLI) 或 AWS SDK.

建立叢集

功能 主控台

術語:Amazon EMR 叢集節點類型

主要、核心、任務

Amazon EMR 支持的版本 1

Amazon EMR 版本 5.20.1 及更高版本

快速啟動叢集

使用「摘要」面板下的「建立叢集」按鈕。您的叢集名稱不能包含 <、>、$、| 或 `(反引號) 字元。

設定 Spot 佈建逾時

為叢集中的每個機群定義逾時期間以佈建 Spot 執行個體。

服務角色和 Amazon EC2 執行個體設定檔角色

主控台不會建立預設角色;您必須使用IAM主控台建立角色或選取已IAM建立的角色

叢集可見度

在 Amazon EMR 主控台中,您無法讓所有使用者看到叢集;您的IAM政策決定叢集存取

聯網 - 設定私有子網路

您必須從各自的 Amazon S3 和 Amazon VPC 主控台設定 Amazon S3 端點和NAT閘道

EMR檔案系統一致檢視 (EMRFSCV)

隨著 Amazon S3 在 2020 年 12 月 1 日發布了強大的 read-after-write 一致性,因此您無需在EMR叢集中使用EMRFS簡歷

偵錯

您可以使用叢集詳細資料頁面上的應用程式 UI 介面來對作業進行偵錯

1 您無法在主控台中使用 Amazon EMR 5.20.1 之前的版本建立或編輯叢集,但使用 5.20.1 之前的版本建立的任何現有叢集仍可繼續運作。若要使用早於 5.20.1 版本的 Amazon EMR 版本建立和編輯叢集,請使用API或CLI. 您可以使用主控台檢視所有叢集,但是建立於 5.20.1 之前的主控台可能與較新的功能不相容。

檢視和搜尋叢集

下表重點說明如何使用 Amazon EMR 主控台檢視和搜尋叢集。

注意

將資料篩選套用至叢集清單會查詢整個資料庫。但是,當您在搜尋框中輸入文字字串時,搜尋僅適用於清單已加載用戶端的結果。

功能 主控台

檢視叢集詳細資訊

您可以選取叢集 ID 來檢視完整的叢集詳細資料,例如組態選項、持續性應用程式UIs和記錄。

搜尋叢集

使用單一搜尋欄位以輸入文字搜尋查詢,並建立和套用資料篩選條件,例如「狀態 = 任何作用中狀態」。

尋找失敗的叢集

若要搜尋失敗的叢集,請套用篩選條件狀態 = 因錯誤而終止

檢視或編輯叢集詳細資訊

功能 主控台

檢視執行個體群組和執行個體機群中的執行個體,以及擴展、佈建、調整大小和終止選項

執行個體索引標籤中檢視執行個體選項和詳細資訊。在屬性索引標籤中檢視終止選項。

檢視應用程式UIs、記錄和設定

阿帕奇星火 UI,星火歷史服務,阿帕奇 TEZ UI,YARN時間表服務器)

組態索引標籤中檢視叢集組態。啟動即時、持續的應用程式 UI,以便從應用程式索引標籤中查看應用程式日誌。

將叢集匯出至 CLI

叢集詳細資訊和清單檢視「動作」功能表中可用的選項,「檢視用於複製叢集的命令」

使用安全組態時的差異

功能 主控台

複製安全組態

使用 Trino 和 Apache Ranger 進行聯合監管

使用執行期角色將工作提交至叢集1

授權存取EMR檔案系統 (EMRFS) 資料

Amazon S3 存取點

AWS Lake Formation 存取控制

執行期角色

1 若要在步驟提交期間傳遞角色,您的叢集必須使用附加IAM許可政策的安全組態,以便使用者只能傳遞核准的角色,而您的任務可以存取 Amazon EMR 資源。如需詳細資訊,請參閱Amazon EMR 步驟的執行期角色