帮助改进此页面

要帮助改进本用户指南，请选择位于每个页面右侧窗格中的在 GitHub 上编辑此页面链接。

运行 GPU 加速容器（EC2 G 系列上的 Windows）

了解如何将 NVIDIA GPU 与 TensorWorks 推出的适用于 DirectX 的 Kubernetes 设备插件结合使用，在 Amazon EKS（Elastic Kubernetes Service）上运行 GPU 加速型 Windows 容器工作负载。有关更多信息，请参阅 Kubernetes Device Plugin for DirectX。

为 Windows 容器设置 GPU 加速的方法主要有两种：

这两种方法都可以按照本指南中详述的步骤来利用。

注意事项

本指南提供了使用 NVIDIA GPU、NVIDIA GRID 驱动程序和 TensorWorks 推出的适用于 DirectX 的 Kubernetes 设备插件，为 Windows 容器安装和设置 GPU 加速的步骤。这些步骤已经过测试和验证，能够为您在 Amazon EKS 上的 Windows 容器工作负载提供 GPU 加速。有关兼容驱动程序和设备插件的更多信息，请参阅已知限制条件。在开始操作之前，请注意以下事项：

先决条件

要为 Amazon EKS 上的 Windows 容器启用 GPU 加速，在开始操作之前需要满足以下要求：

在每个 Windows 节点上安装 GPU 驱动程序

要在 EKS Worker 节点上安装 NVIDIA GRID 驱动程序，请按照 Amazon EC2 实例的 NVIDIA 驱动程序中概述的步骤执行操作。导航到安装选项 – 选项 3：GRID 驱动程序，然后按照安装步骤进行操作。

适用于 Windows Server Core 的安装

对于不提供桌面体验的 Windows Server Core，请使用以下命令静默安装 NVIDIA GRID 驱动程序：

$nvidiaInstallerFilePath = nvidia-driver-installer.exe # Replace with path to installer
$installerArguments = "-s -clean -noreboot -noeula"
Start-Process -FilePath $nvidiaInstallerFilePath -ArgumentList $installerArguments -Wait -NoNewWindow -PassThru

验证安装

运行以下 PowerShell 命令以显示有关实例上 GPU 的诊断信息：

nvidia-smi

此命令会显示 NVIDIA 驱动程序的版本以及有关 GPU 硬件的信息。确保此命令的输出与您预期安装的 NVIDIA GRID 驱动程序版本相符。

在每个节点上部署 GPU 设备插件

为确保能够发现 GPU 资源并将向 Windows 节点上的容器公开，您需要一个设备插件。将 Tensorworks 的 DirectX 设备插件作为 EKS 集群中的进程守护程序集运行，从而在每个 Worker 节点上部署此插件。按照 README.md 中指定的安装指南进行操作，其中涉及以下步骤。操作建议：

运行 GPU 加速型容器时，设备插件支持两种模式：

验证设备插件部署

部署设备插件后，替换 <namespace> 并运行以下命令来验证 DirectX 设备插件是否在所有 Windows 节点上正常运行。

kubectl get ds device-plugin-wddm -n <namespace>

验证容器是否已准备好部署

设备插件进程守护程序集在 GPU 驱动的 Windows Worker 节点上开始运行后，使用以下命令验证每个节点是否都有可分配的 GPU。相应的数字应与每个节点上的 DirectX 设备数量相匹配。

kubectl get nodes "-o=custom-columns=NAME:.metadata.name,DirectX:.status.allocatable.directx\.microsoft\.com/display"

运行带 GPU 加速的 Windows 容器

在启动容器组之前，请在 .spec.containers[].resources 中指定资源名称 directx.microsoft.com/display。这将指示您的容器要求启用 GPU 的功能，并且 kube-scheduler 会尝试将容器组部署到具有可用 GPU 资源的预配置 Windows 节点上。

例如，下面的示例命令会启动一个 Job 来运行蒙特卡洛模拟，从而估计 π 的值。此示例来自 Kubernetes Device Plugins for DirectX GitHub 存储库，其中有多个示例可供选择，您可以运行这些示例来测试 Windows 节点 GPU 功能。

cat <<EOF | kubectl apply -f -
apiVersion: batch/v1
kind: Job
metadata:
  name: example-cuda-montecarlo-wddm
spec:
  template:
    spec:
      containers:
      - name: example-cuda-montecarlo-wddm
        image: "index.docker.io/tensorworks/example-cuda-montecarlo:0.0.1"
        resources:
          limits:
            directx.microsoft.com/display: 1
      nodeSelector:
        "kubernetes.io/os": windows
      restartPolicy: Never
  backoffLimit: 0
EOF

已知限制条件

所有 GPU 都可使用

即使您为给定容器请求了特定数量的 GPU，主机上正在运行的每个容器都可以使用实例上的所有 GPU。此外，默认行为是即使节点上有多个 GPU 可用，主机上运行的所有容器都将使用索引为 0 的 GPU。因此，为确保多 GPU 任务正常运行，必须在应用程序代码中明确指定要使用的具体 GPU 设备。

将某个设备分配给应用程序的确切实现，将取决于您使用的编程语言或框架。例如，假设您使用 CUDA 编程，要选择某个特定的 GPU，则可以使用函数 cudaSetDevice() 显式指定要在应用程序代码中使用的设备。

之所以需要显式指定设备，是因为存在一个影响 Windows 容器的已知问题。您可以通过 microsoft/Windows-Containers issue #333 跟踪此问题的解决进展。下表是这种 GPU 分配行为的直观再现和实际示例。

假设使用 EC2 实例类型 g4dn.12xlarge 的单个 Windows 节点有四个 GPU，并假设在此实例上启动三个容器组的场景。该表说明，无论每个容器请求多少个 GPU，所有三个容器组都可以访问实例上的所有四个 GPU，并且默认情况下将使用设备索引为 0 的 GPU。

Kubernetes 设备插件支持

Kubernetes 设备插件的 NVIDIA 官方实现不支持 Windows。您可以在通过 NVIDIA/k8s-device-plugin issue #419 跟踪有关增加官方 Windows 支持的进展。

GPU 计算实例限制

您可以启动的 Amazon EC2 GPU 计算实例数量和类型可能存在服务限制，具体取决于您的 AWS 账户配置。如果您需要更多容量，可以申请增加配额。

必须构建 Windows GPU 优化型 AMI

Amazon EKS 没有提供 EKS Windows GPU 优化型 AMI 或 EC2 Image Builder 托管式组件。您需要按照本指南中的步骤构建预装了必需 GPU 驱动程序的自定义 EKS Windows 优化型 AMI，或者在启动实例后在 EKS Worker 节点上安装必要的 GPU 驱动程序。

不支持 Inferentia 和 Trainium

Windows 不支持基于 AWS Inferentia 和 AWS Trainium 的工作负载。