**帮助改进此页面**
要帮助改进本用户指南，请选择位于每个页面右侧窗格中的**在 GitHub 上编辑此页面**链接。
# Amazon EKS 上的人工智能（AI）和机器学习（ML）概述
Amazon Elastic Kubernetes Service（EKS）是托管型 Kubernetes 平台，能够让组织以无与伦比的灵活性与控制力部署、管理和扩展人工智能和机器学习（ML）工作负载。EKS 在开源 Kubernetes 生态系统上构建，不仅便于您利用现有的 Kubernetes 专业知识，还可帮助您与开源工具和 AWS 服务无缝集成。
无论您是想训练大型模型、运行实时在线推理，还是部署生成式人工智能应用程序，EKS 都能提供人工智能/机器学习项目所需的优异性能、可扩展性以及成本效益。
## 为何选择 EKS 部署人工智能/机器学习？
EKS 是一个托管型 Kubernetes 平台，可帮助您部署和管理复杂的人工智能/机器学习工作负载。它在开源 Kubernetes 生态系统上构建，可与 AWS 服务集成，提供高级项目所需的控制力和可扩展性。对于刚接触人工智能/机器学习部署的团队，可以直接转移现有的 Kubernetes 技能，实现多个工作负载的高效编排。
EKS 支持从操作系统自定义到计算扩缩的所有内容，其开源基础提高了技术灵活性，为未来的基础设施决策保留了选择余地。该平台提供人工智能/机器学习工作负载所需的性能和调整选项，支持以下功能：
+ 集群完全控制，无需隐藏抽象即可微调成本和配置
+ 生产环境中实时推理工作负载的亚秒级延迟保障
+ 高级自定义设置，例如多实例 GPU、多云策略和操作系统级调整
+ 能够使用 EKS 作为跨人工智能/机器学习管道的统一编排工具，集中管理工作负载
## 关键使用案例
Amazon EKS 提供了一个适用于人工智能/机器学习工作负载的强大平台，支持各种技术和部署模式：
+ **实时（在线）推理：**EKS 借助 Amazon EC2 [Inf1](https://aws.amazon.com/ec2/instance-types/inf1/) 和 [Inf2](https://aws.amazon.com/ec2/instance-types/inf2/) 实例上的 [TorchServe](https://docs.aws.amazon.com/dlami/latest/devguide/tutorial-torchserve.html)、[Triton Inference Server](https://aws.amazon.com/blogs/containers/quora-3x-faster-machine-learning-25-lower-costs-with-nvidia-triton-on-amazon-eks/) 和 [KServe](https://kserve.github.io/website/0.8/get_started/first_isvc/) 等工具，为传入数据（例如欺诈检测）提供亚秒级延迟的即时预测能力。这些工作负载不仅受益于 [Karpenter](https://karpenter.sh/) 和 [KEDA](https://keda.sh/) 的动态扩缩，还能利用 [Amazon EFS](https://aws.amazon.com/efs/) 在容器组（pod）之间进行模型分片。[Amazon ECR Pull Through Cache（PTC）](https://docs.aws.amazon.com/AmazonECR/latest/userguide/pull-through-cache-creating-rule.html) 可加快模型更新速度，而具有 [Amazon EBS](https://docs.aws.amazon.com/ebs/latest/userguide/what-is-ebs.html) 优化型卷的 [Bottlerocket](https://aws.amazon.com/bottlerocket/) 数据卷可确保快速访问数据。
+ **常规模型训练：**组织可利用 EKS，基于 [Amazon EC2 P4d](https://aws.amazon.com/ec2/instance-types/p4/) 和 [Amazon EC 2 Trn1](https://aws.amazon.com/ec2/instance-types/trn1/) 实例，使用 [Kubeflow Training Operator](https://www.kubeflow.org/docs/components/trainer/)、[Ray Serve](https://docs.ray.io/en/latest/serve/index.html) 和 [Torch Distributed Elastic](https://pytorch.org/docs/stable/distributed.elastic.html)，在大型数据集上长时间训练复杂模型。这些工作负载由 [Volcano](https://volcano.sh/en/#home_slider)、[Yunikorn](https://yunikorn.apache.org/) 和 [Kueue](https://kueue.sigs.k8s.io/) 等工具提供批量计划支持。[Amazon EFS](https://aws.amazon.com/efs/) 支持共享模型检查点，并且 [Amazon S3](https://aws.amazon.com/s3/) 使用生命周期策略处理模型的导入/导出，以进行版本管理。
+ **检索增强生成（RAG）管道：**EKS 通过集成检索和生成流程来管理客户支持聊天机器人和类似的应用程序。这些工作负载通常使用 [Argo Workflows](https://argoproj.github.io/workflows/) 和 [Kubeflow](https://www.kubeflow.org/) 等工具进行编排，使用 [Pinecone](https://www.pinecone.io/blog/serverless/)、[Weaviate](https://weaviate.io/) 或 [Amazon OpenSearch](https://aws.amazon.com/opensearch-service/) 等向量数据库，并通过[应用程序负载均衡器控制器（LBC）](aws-load-balancer-controller.md)向用户公开应用程序。[NVIDIA NIM](https://docs.nvidia.com/nim/index.html) 可优化 GPU 利用率，而 [Prometheus](prometheus.md) 和 [Grafana](https://aws.amazon.com/grafana/) 则监控资源使用情况。
+ **生成式人工智能模型部署：**各公司使用 Amazon [EC2 G5](https://aws.amazon.com/ec2/instance-types/g5/) 和 [Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/) 加速器上的 [Ray Serve](https://docs.ray.io/en/latest/serve/index.html)、[vLLM](https://github.com/vllm-project/vllm)、和 [Triton Inference Server](https://aws.amazon.com/blogs/containers/quora-3x-faster-machine-learning-25-lower-costs-with-nvidia-triton-on-amazon-eks/)，在 EKS 上部署实时内容创建服务，例如文本或图像生成。这些部署优化了大型模型的性能和内存利用率。[JupyterHub](https://jupyter.org/hub) 支持迭代开发，[Gradio](https://www.gradio.app/) 提供简单的 Web 界面，并且 [S3 Mountpoint CSI 驱动程序](s3-csi.md)允许将 S3 存储桶安装为文件系统，以访问大型模型文件。
+ **批量（离线）推理：**组织通过使用 [AWS Batch](https://docs.aws.amazon.com/batch/latest/userguide/what-is-batch.html) 或 [Volcano](https://volcano.sh/en/docs/schduler_introduction/) 的计划作业高效处理大型数据集。这些工作负载通常将 [Inf1](https://aws.amazon.com/ec2/instance-types/inf1/) 和 [Inf2](https://aws.amazon.com/ec2/instance-types/inf2/) EC2 实例用于 AWS [Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/) 芯片，将 Amazon EC2 [G4dn](https://aws.amazon.com/ec2/instance-types/g4/) 实例用于 NVIDIA T4 GPU，或者将 [c5](https://aws.amazon.com/ec2/instance-types/c5/) 和 [c6i](https://aws.amazon.com/ec2/instance-types/c6i) CPU 实例用于最大限度地提高非高峰时段分析任务的资源利用率。[AWS Neuron SDK](https://aws.amazon.com/ai/machine-learning/neuron/) 和 NVIDIA GPU 驱动程序优化了性能，MIG/TS 则实现了 GPU 共享。存储解决方案包括 [Amazon S3](https://aws.amazon.com/s3/)、Amazon [EFS](https://aws.amazon.com/efs/) 和 [FSx for Lustre](https://aws.amazon.com/fsx/lustre/)，以及适用于各种存储类的 CSI 驱动程序。模型管理利用 [Kubeflow Pipelines](https://www.kubeflow.org/docs/components/pipelines/)、[Argo Workflows](https://argoproj.github.io/workflows/) 和 [Ray Cluster](https://docs.ray.io/en/latest/cluster/getting-started.html) 等工具，监控管理则利用 [Prometheus](prometheus.md)、[Grafana](https://aws.amazon.com/grafana/) 以及自定义模型监控工具。
## 案例研究
客户选择 Amazon EKS 的原因多种多样，例如优化 GPU 使用率或以亚秒级延迟运行实时推理工作负载，如以下案例研究所示。有关 Amazon EKS 的所有案例研究列表，请参阅 [AWS 客户成功案例](https://aws.amazon.com/solutions/case-studies/browse-customer-success-stories/?refid=cr_card&customer-references-cards.sort-by=item.additionalFields.sortDate&customer-references-cards.sort-order=desc&awsf.customer-references-location=*all&awsf.customer-references-industry=*all&awsf.customer-references-use-case=*all&awsf.language=language%23english&awsf.customer-references-segment=*all&awsf.content-type=*all&awsf.customer-references-product=product%23eks&awsm.page-customer-references-cards=1)。
+ [Unitary](https://aws.amazon.com/solutions/case-studies/unitary-eks-case-study/?did=cr_card&trk=cr_card) 将人工智能内容审核范围扩大到每天 2600 万个视频，不仅实现了高吞吐量、低延迟的推理，还将容器启动时间缩短了 80%，确保在流量波动时快速响应扩缩事件。
+ [Miro](https://aws.amazon.com/solutions/case-studies/miro-eks-case-study/)，一个为全球 7000 万用户提供服务的可视化协作平台，相较于之前的自主管理型 Kubernetes 集群，计算成本降低了 80%。
+ [Synthesia](https://aws.amazon.com/solutions/case-studies/synthesia-case-study/?did=cr_card&trk=cr_card) 提供生成式人工智能视频创建服务，供客户根据文本提示创建逼真的视频，其机器学习模型训练吞吐量提升了 30 倍。
+ [Harri](https://aws.amazon.com/solutions/case-studies/harri-eks-case-study/?did=cr_card&trk=cr_card) 为酒店业提供 HR 技术解决方案，迁移至 [AWS Graviton 处理器](https://aws.amazon.com/ec2/graviton/)后，横向缩减速度提高了 90%，可应对激增的需求，同时计算成本降低了 30%。
+ [Ada Support](https://aws.amazon.com/solutions/case-studies/ada-support-eks-case-study/)，一家人工智能驱动的客户服务自动化公司，其计算成本降低了 15%，并且计算效率提升了 30%。
+ [Snorkel AI](https://aws.amazon.com/blogs/startups/how-snorkel-ai-achieved-over-40-cost-savings-by-scaling-machine-learning-workloads-using-amazon-eks/)，旨在帮助企业构建和调整基础模型和大型语言模型，通过为其 GPU 资源实施智能扩缩机制，节省了 40% 以上的成本。
## 开始在 EKS 上部署机器学习
要开始在 AWS 云端的 EKS 上规划和使用机器学习平台和工作负载，请继续阅读 [在 Amazon EKS 上开始使用人工智能/机器学习的资源](ml-resources.md) 部分。