本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

管理虛擬叢集

虛擬叢集是 Amazon EMR 註冊的 Kubernetes 命名空間。您可以建立、描述、列出和刪除虛擬叢集。它們不會耗用系統中的任何其他資源。單一虛擬叢集映射至單一 Kubernetes 命名空間。鑑於此關係，您可以使用與建立 Kubernetes 命名空間模型相同的方式來建立虛擬叢集的模型，以符合您的需求。請參閱 Kubernetes 概念概觀文件中的可能使用案例。

若要使用 Amazon EKS 叢集上的 Kubernetes 命名空間註冊 Amazon EMR，您需要 EKS 叢集的名稱，以及為執行工作負載而設定的命名空間。Amazon EMR 中的這些已註冊叢集稱為虛擬叢集，因為它們不會管理實體運算或儲存，而是指向在其中排程工作負載的 Kubernetes 命名空間。

建立虛擬叢集

透過使用 EKS 叢集上的命名空間註冊 Amazon EMR，執行下列命令來建立虛擬叢集。使用您為虛擬叢集提供的名稱取代 virtual_cluster_name。將 eks_cluster_name 取代為 EKS 叢集的名稱。將 namespace_name 取代為您要註冊 Amazon EMR 的命名空間。

aws emr-containers create-virtual-cluster \
--name virtual_cluster_name \
--container-provider '{
    "id": "eks_cluster_name",
    "type": "EKS",
    "info": {
        "eksInfo": {
            "namespace": "namespace_name"
        }
    }
}' 

或者，可以建立包含虛擬叢集所需參數的 JSON 檔案，如下列範例所示。

{
    "name": "virtual_cluster_name", 
    "containerProvider": {
        "type": "EKS", 
        "id": "eks_cluster_name", 
        "info": {
            "eksInfo": {
                "namespace": "namespace_name"
            }
        }
    }
}

然後使用 JSON 檔案的路徑來執行下列 create-virtual-cluster 命令。

aws emr-containers create-virtual-cluster \
--cli-input-json file://./create-virtual-cluster-request.json
    

列出虛擬叢集

執行以下命令以檢視虛擬叢集狀態。

aws emr-containers list-virtual-clusters

描述虛擬叢集

執行下列命令，以取得有關虛擬叢集的詳細資訊，例如命名空間、狀態和註冊日期。將 123456 取代為虛擬叢集 ID。

aws emr-containers describe-virtual-cluster --id 123456

刪除虛擬叢集

執行下列命令以刪除虛擬叢集。將 123456 取代為虛擬叢集 ID。

aws emr-containers delete-virtual-cluster --id 123456

虛擬叢集狀態

下表描述四個可能的虛擬叢集狀態。

虛擬叢集的並行任務限制

您可以在 Amazon EMR on EKS 虛擬叢集上設定並行任務限制，以控制同時執行的任務數量，以及佇列中可等待的任務數量。您可以獨立設定並行限制 (maxConcurrentJobRuns) 和佇列深度 (maxInQueueJobRuns)，以便對執行中的任務執行、排入佇列的任務執行或兩者設定上限。當您設定這些限制時，StartJobRunAPI 會在虛擬叢集層級提供背壓。任務在 SUBMITTED或 PENDING 狀態的佇列中執行超過執行中限制等待，而不是立即啟動，且佇列已滿時， 會StartJobRun拒絕進一步提交。例如，如果您將虛擬叢集設定為允許 500 個並行任務執行和 100 個排入佇列任務執行，則會拒絕第 101 個排入佇列的提交，而且您可以在相同 EKS 叢集上的其他虛擬叢集重新平衡該工作負載或新增容量。當您未設定並行限制且佇列深度持續增加時，讓任務執行在啟動之前保持在 SUBMITTED或 PENDING 狀態更久，它可以發出訊號，指出基礎 EKS 叢集在運算資源上執行不足，且無法快速排程新的 Pod。在這種情況下，請將工作負載路由到另一個叢集或新增容量。

並行任務限制會在 Kubernetes 排程器和 Kubernetes 網站上的 ResourceQuota 功能前面新增控制層。由於它們會在 強制執行StartJobRun，因此在建立任何 Pod 之前，API 會排入佇列或拒絕多餘的負載，在任務到達之前保護基礎叢集。Kubernetes 仍會強制執行下方的實際 CPU 和記憶體上限。

並行任務限制的主要優點

並行任務限制入門

您可以使用虛擬叢集上的 schedulerConfiguration 欄位設定並行任務限制。此欄位接受兩個參數：

AWS CLI

若要在建立虛擬叢集時設定限制，請在請求schedulerConfiguration中指定 。

aws emr-containers create-virtual-cluster \
  --name my-virtual-cluster \
  --container-provider '{ ... }' \
  --scheduler-configuration '{
      "maxConcurrentJobRuns": 500,
      "maxInQueueJobRuns": 100
  }'

若要變更現有虛擬叢集的限制，請使用 update-virtual-cluster命令。

aws emr-containers update-virtual-cluster \
  --id virtual-cluster-id \
  --scheduler-configuration '{
      "maxConcurrentJobRuns": 500,
      "maxInQueueJobRuns": 100
  }'

若要從虛擬叢集移除限制，請傳遞空的 schedulerConfiguration。這會清除組態，因此不會套用任何限制，而虛擬叢集會回到預設 （無限制） 行為。請注意，schedulerConfiguration從請求中省略 會讓現有的限制保持不變 — 您必須傳遞空物件才能清除它們。

aws emr-containers update-virtual-cluster \
  --id virtual-cluster-id \
  --scheduler-configuration '{}'

若要檢視目前的限制和即時任務計數，請使用 describe-virtual-cluster命令。回應包含您的 schedulerConfiguration和具有目前 activeJobRunCount和 的 SchedulerStatus 物件inQueueJobRunCount。

選擇 maxConcurrentJobRuns 和 maxInQueueJobRuns 的值

正確的限制取決於三件事：Amazon EKS 叢集一次可以執行多少工作量、提交的爆量程度，以及您希望虛擬叢集在已滿時如何運作。使用以下指引來挑選起點，然後從即時計數器進行精簡。

設定 maxConcurrentJobRuns （執行中的插槽）

maxConcurrentJobRuns 是以計數為基礎的任務精細性護欄。此處的粗略估算可以保護基礎 Amazon EKS 叢集免於因載入而降級，並可以改善可用性。

設定 maxInQueueJobRuns （佇列深度）

maxInQueueJobRuns 控制虛擬叢集開始拒絕提交之前接受的待處理項目數量。它是高載吸收緩衝區。請考慮下列因素。

並行任務限制的考量事項