使用執行個體機群或統一執行個體群組建立 Amazon EMR叢集 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用執行個體機群或統一執行個體群組建立 Amazon EMR叢集

當您建立叢集並指定主節點、核心節點和任務節點的組態時,您有兩個組態選項。您可以使用執行個體機群統一執行個體群組。您選擇的組態選項適用於所有節點,它適用於叢集的生命週期,且執行個體機群和執行個體群組不能在叢集中共存。執行個體機群組態可在 Amazon 4EMR.8.0 版及更新版本中使用,但 5.0.x 版除外。

您可以使用 Amazon EMR主控台、 AWS CLI或 Amazon EMR API 來建立具有任一組態的叢集。透過 AWS CLI使用 create-cluster 命令時,您可以使用 --instance-fleets 參數來使用執行個體機群建立叢集,或者您可以使用 --instance-groups 參數來使用統一的執行個體群組將其建立。

使用 Amazon EMR 也是如此API。您使用 InstanceGroups 組態來指定一系列的 InstanceGroupConfig 物件,或您使用 InstanceFleets 組態來指定一系列的 InstanceFleetConfig 物件。

在新的 Amazon EMR主控台中,您可以在建立叢集時選擇使用執行個體群組或執行個體機群,而且您可以選擇將 Spot 執行個體與每個執行個體搭配使用。使用舊的 Amazon EMR主控台,如果您在建立叢集時使用預設的 Quick Options 設定,Amazon 會將統一執行個體群組組態EMR套用至叢集,並使用隨需執行個體。若要使用 Spot 執行個體與統一的執行個體群組,或若是要設定執行個體機群和其他自訂項目,請選擇 Advanced Options (進階選項)

執行個體機群

執行個體機群組態為 Amazon EC2執行個體提供最多樣化的佈建選項。每個節點類型都有單一執行個體機群,使用任務執行個體機群是選用的。當您使用 或 Amazon 建立叢集EMRAPI,以及隨需和 Spot EC2執行個體的配置策略時,每個機群最多可指定五個EC2執行個體類型, AWS CLI 或每個機群指定 30 個執行個體類型。對於核心和任務執行個體機群,您會為隨需執行個體指定一個目標容量,而為 Spot 執行個體指定另一個目標容量。Amazon EMR會選擇指定執行個體類型的任何組合,以滿足目標容量,同時佈建隨需執行個體和 Spot 執行個體。

對於主要節點類型,Amazon 會從執行個體清單中選擇EMR單一執行個體類型,並指定是佈建為隨需或 Spot 執行個體。執行個體機群還為 Spot 執行個體和隨需購買提供其他選項。Spot 執行個體選項包括指定在無法佈建 Spot 容量時要採取的動作的逾時,以及用於啟動 Spot 執行個體機群的偏好配置策略 (容量優化)。您也可以使用配置策略 (價格最低) 選項啟動隨需執行個體機群。如果您使用非EMR預設服務角色的服務角色,或在服務角色中使用EMR受管政策,則需要將其他許可新增至自訂叢集服務角色,以啟用配置策略選項。如需詳細資訊,請參閱Amazon 的服務角色 EMR(EMR 角色)

如需有關設定執行個體機群的詳細資訊,請參閱 為您的 Amazon EMR叢集規劃和設定執行個體機群

統一執行個體群組

統一執行個體群組提供比執行個體機群更簡單的設定。每個 Amazon EMR叢集最多可包含 50 個執行個體群組:一個包含一個 Amazon EC2執行個體的主要執行個體群組、一個包含一或多個EC2執行個體的核心執行個體群組,以及最多 48 個選用任務執行個體群組。每個核心和任務執行個體群組都可以包含任何數量的 Amazon EC2執行個體。您可以手動新增和移除 Amazon 執行個體來擴展每個EC2執行個體群組,也可以設定自動擴展。如需有關新增和移除執行個體的詳細資訊,請參閱 使用 Amazon EMR叢集擴展來調整不斷變化的工作負載

如需設定統一執行個體群組的詳細資訊,請參閱 為您的 Amazon EMR叢集設定統一執行個體群組

使用執行個體機群和執行個體群組