管理虚拟集群

虚拟集群是 Amazon EMR 注册的 Kubernetes 命名空间。您可以创建、描述、列出和删除虚拟集群。它们不会消耗您系统中的任何额外资源。一个虚拟集群映射到一个 Kubernetes 命名空间。鉴于这种关系，您可以按照对 Kubernetes 命名空间进行建模的方式对虚拟集群进行建模，来满足您的需求。请参阅 Kubernetes 概念概览文档中可能的使用案例。

要在 Amazon EKS 集群上使用 Kubernetes 命名空间注册 Amazon EMR，您需要 EKS 集群的名称以及为运行您的工作负载而设置的命名空间。Amazon EMR 中的这些注册集群称为虚拟集群，因为它们不管理物理计算或存储，而是指向计划工作负载的 Kubernetes 命名空间。

创建虚拟集群

运行以下命令，通过使用 EKS 集群上的命名空间注册 Amazon EMR 来创建虚拟集群。用您为虚拟集群提供的名称来替换 virtual_cluster_name。使用 EKS 集群的名称来替换 eks_cluster_name。使用您要注册 Amazon EMR 的命名空间来替换 namespace_name。

aws emr-containers create-virtual-cluster \
--name virtual_cluster_name \
--container-provider '{
    "id": "eks_cluster_name",
    "type": "EKS",
    "info": {
        "eksInfo": {
            "namespace": "namespace_name"
        }
    }
}' 

或者，您可以创建包含虚拟集群所需参数的 JSON 文件，如以下示例所示。

{
    "name": "virtual_cluster_name", 
    "containerProvider": {
        "type": "EKS", 
        "id": "eks_cluster_name", 
        "info": {
            "eksInfo": {
                "namespace": "namespace_name"
            }
        }
    }
}

然后使用 JSON 文件路径运行以下 create-virtual-cluster 命令。

aws emr-containers create-virtual-cluster \
--cli-input-json file://./create-virtual-cluster-request.json
    

列出虚拟集群

运行以下命令来查看虚拟集群的状态。

aws emr-containers list-virtual-clusters

描述虚拟集群

运行以下命令以获取有关虚拟集群的详细信息，例如命名空间、状态和注册日期。用您的虚拟集群 ID 来替换 123456。

aws emr-containers describe-virtual-cluster --id 123456

删除虚拟集群

运行以下命令来删除虚拟集群。用您的虚拟集群 ID 来替换 123456。

aws emr-containers delete-virtual-cluster --id 123456

虚拟集群状态

下表描述了虚拟集群的四种可能状态。