本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

管理虚拟集群

虚拟集群是 Amazon EMR 注册的 Kubernetes 命名空间。您可以创建、描述、列出和删除虚拟集群。它们不会消耗您系统中的任何额外资源。一个虚拟集群映射到一个 Kubernetes 命名空间。鉴于这种关系，您可以按照对 Kubernetes 命名空间进行建模的方式对虚拟集群进行建模，来满足您的需求。请参阅 Kubernetes 概念概览文档中可能的使用案例。

要在 Amazon EKS 集群上使用 Kubernetes 命名空间注册 Amazon EMR，您需要 EKS 集群的名称以及为运行您的工作负载而设置的命名空间。Amazon EMR 中的这些注册集群称为虚拟集群，因为它们不管理物理计算或存储，而是指向计划工作负载的 Kubernetes 命名空间。

创建虚拟集群

运行以下命令，通过使用 EKS 集群上的命名空间注册 Amazon EMR 来创建虚拟集群。virtual_cluster_name替换为您为虚拟集群提供的名称。eks_cluster_name替换为 EKS 集群的名称。将namespace_name替换为您要注册 Amazon EMR 的命名空间。

aws emr-containers create-virtual-cluster \
--name virtual_cluster_name \
--container-provider '{
    "id": "eks_cluster_name",
    "type": "EKS",
    "info": {
        "eksInfo": {
            "namespace": "namespace_name"
        }
    }
}' 

或者，您可以创建包含虚拟集群所需参数的 JSON 文件，如以下示例所示。

{
    "name": "virtual_cluster_name", 
    "containerProvider": {
        "type": "EKS", 
        "id": "eks_cluster_name", 
        "info": {
            "eksInfo": {
                "namespace": "namespace_name"
            }
        }
    }
}

然后使用 JSON 文件路径运行以下 create-virtual-cluster 命令。

aws emr-containers create-virtual-cluster \
--cli-input-json file://./create-virtual-cluster-request.json
    

列出虚拟集群

运行以下命令来查看虚拟集群的状态。

aws emr-containers list-virtual-clusters

描述虚拟集群

运行以下命令以获取有关虚拟集群的详细信息，例如命名空间、状态和注册日期。123456替换为您的虚拟集群 ID。

aws emr-containers describe-virtual-cluster --id 123456

删除虚拟集群

运行以下命令来删除虚拟集群。123456替换为您的虚拟集群 ID。

aws emr-containers delete-virtual-cluster --id 123456

虚拟集群状态

下表描述了虚拟集群的四种可能状态。

虚拟集群的并发作业限制

您可以在 EKS 虚拟集群上的 Amazon EMR 上配置并行任务限制，以控制有多少任务同时运行，有多少任务可以在队列中等待。您可以单独设置并发限制 (maxConcurrentJobRuns) 和队列深度 (maxInQueueJobRuns)，因此可以对正在运行的作业运行和/或排队作业运行设置上限。当您设置这些限制时，StartJobRunAPI 会在虚拟集群级别提供背压。作业超出运行限制，在队列中等待PENDING处于SUBMITTED或状态，而不是立即启动，一旦队列已满，就会StartJobRun拒绝进一步的提交。例如，如果您将虚拟集群设置为允许 500 次并发作业运行和 100 次排队作业，则第 101 次排队提交将被拒绝，并且您可以在同一 EKS 集群上的其他虚拟集群之间重新平衡该工作负载或增加容量。当你没有设置并发限制且队列深度持续增长，从而使任务运行在开始之前更长时间地PENDING处于SUBMITTED或状态时，这可能表明底层 EKS 集群的计算资源不足，无法足够快地调度新 Pod。在这种情况下，将工作负载路由到另一个集群或增加容量。

并行任务限制在 Kubernetes 调度器和 Kubernetes 网站上的该ResourceQuota功能前面添加了一个控制层。由于它们是在创建任何 Pod 之前强制执行的，因此多余的负载会在 API 排队或拒绝，这样在任务到达底层集群之前就保护了底层集群。StartJobRunKubernetes 仍然强制执行下方的实际CPU和内存上限。

并行任务限制的主要优点

并发任务限制入门

您可以使用虚拟群集上的schedulerConfiguration字段配置并发作业限制。此字段接受两个参数：

AWS CLI

要在创建虚拟集群时设置限制，请在请求schedulerConfiguration中指定。

aws emr-containers create-virtual-cluster \
  --name my-virtual-cluster \
  --container-provider '{ ... }' \
  --scheduler-configuration '{
      "maxConcurrentJobRuns": 500,
      "maxInQueueJobRuns": 100
  }'

要更改现有虚拟集群的限制，请使用update-virtual-cluster命令。

aws emr-containers update-virtual-cluster \
  --id virtual-cluster-id \
  --scheduler-configuration '{
      "maxConcurrentJobRuns": 500,
      "maxInQueueJobRuns": 100
  }'

要删除虚拟集群的限制，请传递一个空值schedulerConfiguration。这会清除配置，因此不存在任何限制，虚拟集群将恢复默认（无限制）行为。请注意，在请求schedulerConfiguration中省略会使现有限制保持不变——您必须传递一个空对象才能清除这些限制。

aws emr-containers update-virtual-cluster \
  --id virtual-cluster-id \
  --scheduler-configuration '{}'

要查看当前限制和实时任务数，请使用describe-virtual-cluster命令。响应包括您的schedulerConfiguration和当前为activeJobRunCount和的SchedulerStatus对象inQueueJobRunCount。

为最大值ConcurrentJobRuns 和最大值选择值 InQueueJobRuns

正确的限制取决于三点：您的 Amazon EKS 集群一次可以运行多少工作、提交的突发性以及您希望虚拟集群在满时表现如何。使用以下指南选择起点，然后从实时计数器中对其进行优化。

设置最大值ConcurrentJobRuns （运行插槽）

maxConcurrentJobRuns是一种基于任务粒度的护栏。这里的粗略估计可以保护底层 Amazon EKS 集群免受负载降级，并可以提高可用性。

设置最大值InQueueJobRuns （队列深度）

maxInQueueJobRuns控制虚拟集群在开始拒绝提交之前接受的待办事项大小。它是一种爆发吸收缓冲液。考虑以下因素。

并发任务限制的注意事项