本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
# DLAMI 入门
本指南包括了关于选择适合您的 DLAMI、选择适合您的使用案例和预算的实例类型的技巧，以及介绍您可能感兴趣的自定义设置的 [有关 DLAMI 的相关信息](resources.md)。
如果您不熟悉使用 AWS 或使用 Amazon EC2，请从[带 Conda 的深度学习 AMI](overview-conda.md)。如果您熟悉 Amazon EC2 和 Amazon EMR、Amazon EFS 或 Amazon S3 等其他 AWS 服务，并且有兴趣将这些服务集成[有关 DLAMI 的相关信息](resources.md)到需要分布式训练或推理的项目中，那么请查看是否适合您的用例。
我们建议您查看[选择 DLAMI](choose-dlami.md)，以了解最适合您的应用程序的实例类型。
**后续步骤**
[选择 DLAMI](choose-dlami.md)
# 选择 DLAMI
如 [GPU DLAMI 发布说明](https://docs.aws.amazon.com/dlami/latest/devguide/appendix-ami-release-notes.html#appendix-ami-release-notes-gpu)中所述，我们提供了一系列 DLAMI 选项。为了帮助您为自己的使用案例选择正确的 DLAMI，我们按开发映像的硬件类型或功能对映像进行分组。我们的顶层分组是：
+ **DLAMI 类型：**基础、单一框架、多框架（Conda DLAMI）
+ **计算架构：**基于 x86 与基于 Arm64 的 [AWS Graviton](https://aws.amazon.com/ec2/graviton/)
+ **处理器类型：**[GPU](https://docs.aws.amazon.com/dlami/latest/devguide/gpu)、[CPU](https://docs.aws.amazon.com/dlami/latest/devguide/cpu)、[Inferentia](https://docs.aws.amazon.com/dlami/latest/devguide/inferentia)、[Trainium](https://docs.aws.amazon.com/dlami/latest/devguide/trainium)
+ **SDK：**[CUDA](https://developer.nvidia.com/cuda-toolkit)、[AWS Neuron](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/neuron-intro/get-started.html)
+ **操作系统：**Amazon Linux、Ubuntu
本指南中的其他主题有助于进一步给您提供信息和进一步让您了解详情。
**Topics**
+ [CUDA 安装和框架绑定](overview-cuda.md)
+ [深度学习基础 AMI](overview-base.md)
+ [带 Conda 的深度学习 AMI](overview-conda.md)
+ [DLAMI 架构选项](overview-architecture.md)
+ [DLAMI 操作系统选项](overview-os.md)
**后续步骤**
[带 Conda 的深度学习 AMI](overview-conda.md)
# CUDA 安装和框架绑定
虽然深度学习都非常先进，但每个框架都提供“稳定”版本。这些稳定版本可能不适用于最新的 CUDA 或 cuDNN 实施和功能。您的用例和所需功能可以帮助您选择框架。如果您不确定，就请使用最新的带 Conda 的深度学习 AMI。它为所有使用 CUDA 的框架提供了官方 `pip` 二进制文件，同时使用每个框架均支持的最新版本。如果您需要最新版本，并要自定义深度学习环境，就请使用深度学习基础 AMI。
如需进一步指导，请在 [稳定版本与候选版本](overview-conda.md#overview-conda-stability) 上查看我们的指南。
## 选择带 CUDA 的 DLAMI
[深度学习基础 AMI](overview-base.md) 具有所有可用的 CUDA 版本系列
[带 Conda 的深度学习 AMI](overview-conda.md) 具有所有可用的 CUDA 版本系列
**注意**
我们不再在 AWS Deep Learning AMIs 中包含 MXNet、CNTK、Caffe、Caffe2、Theano、Chainer 或 Keras Conda 环境。
有关具体框架版本号，请参阅 [深度学习 AMIs 发行说明](appendix-ami-release-notes.md)。
选择这个 DLAMI 类型，或通过**后续步骤**选项了解有关其他 DLAMI 的更多信息。
选择一个 CUDA 版本并在**附录**中查看具有该版本的完整 DLAMI 列表，或者使用**后续步骤**选项来了解不同 DLAMI 的更多信息。
**后续步骤**
[深度学习基础 AMI](overview-base.md)
## 相关主题
+ 有关在 CUDA 版本之间切换的说明，请参阅[使用 Deep Learning Base AMI](tutorial-base.md)教程。
# 深度学习基础 AMI
深度学习基础 AMI 就像一张用于深度学习的空白画布。它包含您需要的一切，直到安装特定的框架，并具有您选择的 CUDA 版本。
## 为什么要选择基础 DLAMI
该 AMI 团队对于那些想要分享深度学习项目和建立最新版本的项目贡献者非常有用。适用于那些希望推出自己环境且有信心安装和使用最新 NVIDIA 软件的人员，从而他们可以专注于选择要安装的框架和版本。
选择这个 DLAMI 类型，或通过**后续步骤**选项了解有关其他 DLAMI 的更多信息。
**后续步骤**
[使用 Conda 的 DLAMI](https://docs.aws.amazon.com/dlami/latest/devguide/overview-conda.html)
## 相关主题
+ [使用深度学习基础 AMI](https://docs.aws.amazon.com/dlami/latest/devguide/tutorial-base.html)
# 带 Conda 的深度学习 AMI
Conda DLAMI 使用 `conda` 虚拟环境，它们要么是多框架 DLAMI，要么是单一框架 DLAMI。这些环境配置为单独安装不同的框架，并简化框架之间的切换。这对了解和体验 DLAMI 必须提供的所有框架很有好处。大多数用户都会发现新的带 Conda 的深度学习 AMI 非常适合他们。
它们将经常使用框架中的最新版本进行更新，并拥有最新的 GPU 驱动程序和软件。在大多数文档中，它们通常被称为** AWS Deep Learning AMIs。这些 DLAMI 支持 Ubuntu 20.04、Ubuntu 22.04、Amazon Linux 2、Amazon Linux 2023 操作系统。操作系统支持取决于上游操作系统的支持。
## 稳定版本与候选版本
Conda AMI 使用每个框架中最新正式版本的优化二进制文件。不会有候选版本和实验性功能。优化取决于框架对 Intel 的 MKL DNN 等加速技术的支持，这些技术可加快在 C5 和 C4 CPU 实例类型上的训练和推理速度。二进制文件也将被编译以支持高级 Intel 指令集，包括但不限于 AVX、AVX-2、SSE4.1 和 SSE4.2。这些指令将加快 Intel CPU 架构上向量和浮点运算的速度。此外，对于 GPU 实例类型，使用最新官方版本支持的任何版本来更新 CUDA 和 cuDNN。
带 Conda 的深度学习 AMI 会在框架首次激活时自动为您的 Amazon EC2 实例安装框架的最优化版本。有关更多信息，请参阅[使用带 Conda 的深度学习 AMI](tutorial-conda.md)。
如果要使用自定义或优化的版本选项从源安装，[深度学习基础 AMI](overview-base.md) 可能是您更好的选择。
## Python 2 弃用
Python 开源社区已于 2020 年 1 月 1 日正式结束对 Python 2 的支持。TensorFlow 和 PyTorch 社区已经宣布：TensorFlow 2.1 和 PyTorch 1.4 版本是支持 Python 2 的最后版本。包含 Python 2 Conda 环境的 DLAMI 先前版本（v26、v25 等）继续可用。但是，只有在开源社区针对先前发布的 DLAMI 版本发布了安全修补程序时，我们才会在这些版本上提供关于 Python 2 Conda 环境的更新。包含最新版本 TensorFlow 和 PyTorch 框架的 DLAMI 版本不包含 Python 2 Conda 环境。
## CUDA 支持
具体 CUDA 版本号可以在 [GPU DLAMI 发布说明](https://docs.aws.amazon.com/dlami/latest/devguide/appendix-ami-release-notes.html#appendix-ami-release-notes-gpu)中找到。
**后续步骤**
[DLAMI 架构选项](overview-architecture.md)
## 相关主题
+ 有关使用带 Conda 的深度学习 AMI 的教程，请参阅 [使用带 Conda 的深度学习 AMI](tutorial-conda.md) 教程。
# DLAMI 架构选项
AWS Deep Learning AMIs 附带基于 x86 或基于 Arm64 的 [AWS Graviton2](https://aws.amazon.com/ec2/graviton/) 架构。
有关 ARM64 GPU DLAMI 入门的信息，请参阅 [ARM64 DLAMI](tutorial-arm64.md)。有关可用实例类型的更多详细信息，请参阅 [选择 DLAMI 实例类型](instance-select.md)。
**后续步骤**
[DLAMI 操作系统选项](overview-os.md)
# DLAMI 操作系统选项
DLAMI 在以下操作系统中提供。
+ Amazon Linux 2
+ Amazon Linux 2023
+ Ubuntu 20.04
+ Ubuntu 22.04
可以在已弃用的 DLAMI 上使用旧版本的操作系统。有关 DLAMI 弃用的更多信息，请参阅 [DLAMI 的弃用](https://docs.aws.amazon.com/dlami/latest/devguide/deprecations.html)
在选择 DLAMI 之前，请评估您需要的实例类型并确定您的 AWS 区域。
**后续步骤**
[选择 DLAMI 实例类型](instance-select.md)
# 选择 DLAMI 实例类型
在更一般情况下，在为 DLAMI 选择实例类型时，请考虑以下几点。
+ 如果您不熟悉深度学习，那么具有单个 GPU 的实例可能适合您的需求。
+ 如果您注重预算，则可以使用仅含 CPU 的实例。
+ 如果您希望优化深度学习模型推断的高性能和成本效益，则可以使用带有AWS Inferentia 芯片的实例。
+ 如果您正在寻找具有基于 Arm64 的 CPU 架构的高性能 GPU 实例，则可以使用 G5g 实例类型。
+ 如果您有兴趣运行预训练模型进行推理和预测，则可以将 Amazon [Elastic Inference 附加到您的亚马逊](https://docs.aws.amazon.com/elastic-inference/latest/developerguide/what-is-ei.html)实例。 EC2 Amazon Elastic Inference 允许您使用只有一部分 GPU 的加速器。
+ 对于高容量推理服务，具有大量内存的单个 CPU 实例或此类实例的集群可能是更好的解决方案。
+ 如果您使用的是具有大量数据或较大批处理大小的大型模型，那么您需要具有更多内存的大型实例。您也可以将模型分发到一个集群 GPUs。您可能会发现，如果减小批处理大小，则使用内存较少的实例将是更好的选择。这可能会影响您的准确性和训练速度。
+ 如果您有兴趣使用 NVIDIA 集体通信库 (NCCL) 来运行机器学习应用程序，且需要大规模的节点间通信，那么您可能需要使用 [Elastic Fabric Adapter (EFA)](https://docs.aws.amazon.com/dlami/latest/devguide/tutorial-efa-launching.html)。
有关实例的更多详细信息，请参阅[实例类型](https://aws.amazon.com/ec2/instance-types/)。
以下主题提供有关实例类型注意事项的信息。
**重要**
深度学习 AMIs 包括由 NVIDIA 公司开发、拥有或提供的驱动程序、软件或工具包。您同意仅在包含 NVIDIA 硬件的 Amazon EC2 实例上使用这些 NVIDIA 驱动程序、软件或工具包。
**Topics**
+ [DLAMI 的定价](#pricing)
+ [DLAMI 区域可用性](#region)
+ [推荐的 GPU 实例](gpu.md)
+ [推荐的 CPU 实例](cpu.md)
+ [推荐的 Inferentia 实例](inferentia.md)
+ [推荐的 Trainium 实例](trainium.md)
## DLAMI 的定价
DLAMI 中包含的深度学习框架是免费的，每个都有自己的开源许可证。尽管 DLAMI 中包含的软件是免费的，但您仍然需要为底层的 Amazon EC2 实例硬件付费。
有些 Amazon EC2 实例类型被标记为免费。可以在其中一个免费实例上运行 DLAMI。这意味着，当您只使用该实例的容量时，使用 DLAMI 是完全免费的。如果您需要一个功能更强大、具有更多 CPU 内核、更多磁盘空间、更多 RAM 或一个或多个 RAM 的实例 GPUs，那么您需要一个不属于免费套餐实例类别的实例。
有关实例选择和定价的更多信息，请参阅 [Amazon EC2 定价](https://aws.amazon.com/ec2/pricing/)。
## DLAMI 区域可用性
每个区域支持不同的实例类型范围，并且通常在不同的区域中，一种实例类型的成本略有不同。 DLAMIs 并非在每个地区都可用，但可以复制 DLAMIs 到您选择的区域。有关更多信息，请参阅[复制 AMI](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/CopyingAMIs.html)。请注意区域选择列表，并确保您选择一个靠近您或您客户的区域。如果您打算使用不止一个 DLAMI 并且可能创建一个集群，请确保为集群中的所有节点使用相同的区域。
有关区域的更多信息，请访问 [Amazon EC2 服务终端节点](https://docs.aws.amazon.com/general/latest/gr/ec2-service.html#ec2_region)。
**后续步骤**
[推荐的 GPU 实例](gpu.md)
# 推荐的 GPU 实例
我们推荐的 GPU 实例适用于大多数深度学习目的。在 GPU 实例上训练新模型比在 CPU 实例上更快。当您拥有多 GPU 实例或在多个实例上使用分布式训练时，您可以进行亚线性扩展。 GPUs
以下实例类型支持 DLAMI。有关 GPU 实例类型选项及其用途的信息，请参阅[实例类型](https://aws.amazon.com/ec2/instance-types/)并选择**加速计算**。
**注意**
应将模型大小作为选择实例的一个因素。如果模型超出了实例的可用 RAM，请为应用程序选择其它具有足够内存的实例类型。
+ [亚马逊 EC2 P6-B200 实例](https://aws.amazon.com/ec2/instance-types/p6/)最多有 8 个 NVIDIA Blackwell B200 GPUs。
+ [亚马逊 EC2 P6-B300 实例](https://aws.amazon.com/ec2/instance-types/p6/)最多有 8 个 NVIDIA Blackwell B300 GPUs。
+ [亚马逊 EC2 p6e-GB2 00 实例](https://aws.amazon.com/ec2/instance-types/p6/)最多有 4 个 NVIDIA Black GB2 well 00。 GPUs
+ [亚马逊 EC2 P5e 实例](https://aws.amazon.com/ec2/instance-types/p5/)最多有 8 个 NVIDIA Tesla H200。 GPUs
+ [亚马逊 EC2 P5 实例](https://aws.amazon.com/ec2/instance-types/p5/)最多有 8 个 NVIDIA Tesla H GPUs 100。
+ [亚马逊 EC2 P4 实例](https://aws.amazon.com/ec2/instance-types/p4/)最多有 8 个 NVIDIA Tesla A GPUs 100。
+ [亚马逊 EC2 P3 实例](https://aws.amazon.com/ec2/instance-types/p3/)最多有 8 个 NVIDIA Tesla V GPUs 100。
+ [亚马逊 EC2 G3 实例](https://aws.amazon.com/ec2/instance-types/g3/)最多有 4 个 NVIDIA Tesla M60 GPUs。
+ [亚马逊 EC2 G4 实例](https://aws.amazon.com/ec2/instance-types/g4/)最多有 4 个 NVIDIA T GPUs 4。
+ [亚马逊 EC2 G5 实例](https://aws.amazon.com/ec2/instance-types/g5/)最多有 8 个 NVIDIA A GPUs 10G。
+ [亚马逊 EC2 G6 实例](https://aws.amazon.com/ec2/instance-types/g6/)最多有 8 个 NVIDIA L GPUs 4。
+ [亚马逊 EC2 G6e 实例](https://aws.amazon.com/ec2/instance-types/g6e/)最多有 8 个 NVIDIA L40S Tensor Core。 GPUs
+ [亚马逊 EC2 G5G 实例](https://aws.amazon.com/ec2/instance-types/g5g/)[具有基于 ARM64 的 Gravit AWS on2 处理器。](https://aws.amazon.com/ec2/graviton/)
DLAMI 实例提供了用于监控和优化 GPU 进程的工具。有关监控 GPU 进程的更多信息，请参阅 [GPU 监控和优化](tutorial-gpu.md)。
有关使用 G5g 实例的特定教程，请参阅 [ARM64 DLAMI](tutorial-arm64.md)。
**后续步骤**
[推荐的 CPU 实例](cpu.md)
# 推荐的 CPU 实例
无论您是在关注预算，了解深度学习，还是只是想运行一项预测服务，您在 CPU 类别中都有许多经济实惠的选项。某些框架利用了 Intel 的 MKL DNN，从而加快了在 C5（并非在所有区域中都可用）CPU 实例类型上的训练和推理速度。有关 CPU 实例类型的信息，请参阅[实例类型](https://aws.amazon.com/ec2/instance-types/)并选择**计算优化**。
**注意**
应将模型大小作为选择实例的一个因素。如果模型超出了实例的可用 RAM，请为应用程序选择其它具有足够内存的实例类型。
+ [Amazon EC2 C5 实例](https://aws.amazon.com/ec2/instance-types/c5/)最多有 72 个 Intel vCPUs. C5 实例擅长科学建模、批处理、分布式分析、高性能计算 (HPC) 以及机器和深度学习推理。
**后续步骤**
[推荐的 Inferentia 实例](inferentia.md)
# 推荐的 Inferentia 实例
AWS Inferentia 实例旨在为深度学习模型推理工作负载提供高性能和成本效益。具体而言，Inf2 实例类型使用AWS Inferentia 芯片和 Ne [AWS uron SDK](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/)，后者与流行的机器学习框架（例如和）集成。 TensorFlow PyTorch
客户使用 Inf2 实例之后，能够以最低的云端成本来运行大规模的机器学习推理应用程序，例如搜索、推荐引擎、计算机视觉、语音识别、自然语言处理、个性化和欺诈检测。
**注意**
应将模型大小作为选择实例的一个因素。如果模型超出了实例的可用 RAM，请为应用程序选择其它具有足够内存的实例类型。
+ [Amazon EC2 Inf2 实例](https://aws.amazon.com/ec2/instance-types/inf2/)最多有 16 个AWS推理芯片和 100 Gbps 的网络吞吐量。
有关开始使用AWS Inferentia 的更多信息 DLAMIs，请参阅。[带有 DLAMI 的 AWS 推理芯片](tutorial-inferentia.md)
**后续步骤**
[推荐的 Trainium 实例](trainium.md)
# 推荐的 Trainium 实例
AWS Trainium 实例旨在为深度学习模型推理工作负载提供高性能和成本效益。具体而言，Trn1 实例类型使用 T AWS rainium 芯片和 Ne [AWS uron SDK](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/)，后者与流行的机器学习框架（例如和）集成。 TensorFlow PyTorch
客户使用 Trn1 实例之后，能够以最低的云端成本来运行大规模的机器学习推理应用程序，例如搜索、推荐引擎、计算机视觉、语音识别、自然语言处理、个性化和欺诈检测。
**注意**
应将模型大小作为选择实例的一个因素。如果模型超出了实例的可用 RAM，请为应用程序选择其它具有足够内存的实例类型。
+ [Amazon EC2 Trn1 实例](https://aws.amazon.com/ec2/instance-types/trn1/)最多有 16 个 T AWS rainium 芯片和 100 Gbps 的网络吞吐量。
# 在 I EC2 mage Builder 中使用深度学习 AMIs
AWS 深度学习 AMIs (DLAMIs) 现已作为亚马逊管理的[EC2 图像在 Image Builder](https://docs.aws.amazon.com/imagebuilder/latest/userguide/what-is-image-builder.html) 服务上提供。这种集成简化了 a DLAMIs s Base Images 的使用，并确保在任何给定时间都使用最新版本。
## 可用 DLAMIs
以下 DLAMIs 是亚马逊管理的图片，可在服务的 “**图片” 部分**找到：
+ [带有单个 CUDA 的基础 AMI（亚马逊 Linux 2023）](https://docs.aws.amazon.com/dlami/latest/devguide/aws-deep-learning-x86-base-with-single-cuda-ami-amazon-linux-2023.html)
+ [带单个 CUDA 的基础 AMI (Ubuntu 22.04)](https://docs.aws.amazon.com/dlami/latest/devguide/aws-deep-learning-x86-base-with-single-cuda-ami-ubuntu-22-04.html)
+ [ARM64 带有单个 CUDA 的基础 AMI（亚马逊 Linux 2023）](https://docs.aws.amazon.com/dlami/latest/devguide/aws-deep-learning-arm64-base-with-single-cuda-ami-amazon-linux-2023.html)
+ [ARM64 带单个 CUDA 的基础 AMI (Ubuntu 22.04)](https://docs.aws.amazon.com/dlami/latest/devguide/aws-deep-learning-arm64-base-with-single-cuda-ami-ubuntu-22-04.html)
![\[亚马逊托管深度学习基础 X86 AMI\]](http://docs.aws.amazon.com/zh_cn/dlami/latest/devguide/images/deep-learning-base.png)
![\[亚马逊托管深度学习基础 ARM64 AMI\]](http://docs.aws.amazon.com/zh_cn/dlami/latest/devguide/images/deep-learning-arm.png)
## DLAMIs 用作基础映像
DLAMIs 可以在创建图像配方期间用作基础图像。
1. 前往 Image Builder 控制台
1. 选择**图片食谱**
1. 选择 “**创建图像配方**”
1. 在 “**基础图片**” 部分，选择 “**快速入门（亚马逊管理）**”
1. 从下拉菜单中， DLAMIs 根据您选择的**映像操作系统 (OS)** 选择一个可用选项
+ 如果选择了**亚马逊 Linux**：
+ 带有单个 CUDA 的深度学习基础 AMI 亚马逊 Linux 2023
+ 带有单个 CUDA 的深度学习 ARM64 基础 AMI 亚马逊 Linux 2023
![\[为亚马逊 Linux 创建 Image Builder 配方\]](http://docs.aws.amazon.com/zh_cn/dlami/latest/devguide/images/image-recipe-creation-al2023.png)
+ 如果选择了 **Ubuntu**：
+ 带有单个 CUDA Ubuntu 的深度学习基础 AMI 22-04
+ 带有单个 CUDA Ubuntu 的深度学习 ARM64 基础 AMI 22-04
![\[为 Ubuntu 创建 Image Builder 配方\]](http://docs.aws.amazon.com/zh_cn/dlami/latest/devguide/images/image-recipe-creation-ul22.png)