帮助改进此页面
要帮助改进本用户指南,请选择位于每个页面右侧窗格中的在 GitHub 上编辑此页面链接。
参阅在 EKS 上部署机器学习工作负载的教程
如果您有兴趣在 EKS 中设置机器学习平台和框架,请浏览本页所述的教程。此类教程涵盖了所有内容,包括充分利用 GPU 处理器的模式、选择建模工具以及为专业行业构建框架。
在 EKS 上构建生成式人工智能平台
在 EKS 上运行专用的生成式人工智能框架
最大限度提高 NVIDIA GPU 在 EKS 上部署机器学习的性能
-
实现 GPU 共享,以便为 EKS 集群高效使用 NVIDIA GPU:
-
使用多实例 GPU(MIG)和 NIM 微服务,让每个 EKS 集群上的 GPU 运行更多容器组(pod):
在 Amazon EKS 上使用 NVIDIA 的多实例 GPU(MIG),最大限度地提高 GPU 利用率:让每个 GPU 运行更多容器组(pod)以增强性能
-
利用 NVIDIA NIM 微服务,通过优化的微服务来优化推理工作负载,从而大规模部署人工智能模型:
第 1 部分:在 Amazon EKS 上使用 NVIDIA NIM 部署生成式人工智能应用程序
第 2 部分:在 Amazon Elastic Kubernetes Service(Amazon EKS)上使用 NVIDIA NIM 微服务部署生成式人工智能应用程序