本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
# 选择 DLAMI 实例类型
在更一般情况下，在为 DLAMI 选择实例类型时，请考虑以下几点。
+ 如果您不熟悉深度学习，那么具有单个 GPU 的实例可能适合您的需求。
+ 如果您注重预算，则可以使用仅含 CPU 的实例。
+ 如果您希望优化深度学习模型推断的高性能和成本效益，则可以使用带有AWS Inferentia 芯片的实例。
+ 如果您正在寻找具有基于 Arm64 的 CPU 架构的高性能 GPU 实例，则可以使用 G5g 实例类型。
+ 如果您有兴趣运行预训练模型进行推理和预测，则可以将 Amazon [Elastic Inference 附加到您的亚马逊](https://docs.aws.amazon.com/elastic-inference/latest/developerguide/what-is-ei.html)实例。 EC2 Amazon Elastic Inference 允许您使用只有一部分 GPU 的加速器。
+ 对于高容量推理服务，具有大量内存的单个 CPU 实例或此类实例的集群可能是更好的解决方案。
+ 如果您使用的是具有大量数据或较大批处理大小的大型模型，那么您需要具有更多内存的大型实例。您也可以将模型分发到一个集群 GPUs。您可能会发现，如果减小批处理大小，则使用内存较少的实例将是更好的选择。这可能会影响您的准确性和训练速度。
+ 如果您有兴趣使用 NVIDIA 集体通信库 (NCCL) 来运行机器学习应用程序，且需要大规模的节点间通信，那么您可能需要使用 [Elastic Fabric Adapter (EFA)](https://docs.aws.amazon.com/dlami/latest/devguide/tutorial-efa-launching.html)。
有关实例的更多详细信息，请参阅[实例类型](https://aws.amazon.com/ec2/instance-types/)。
以下主题提供有关实例类型注意事项的信息。
**重要**
深度学习 AMIs 包括由 NVIDIA 公司开发、拥有或提供的驱动程序、软件或工具包。您同意仅在包含 NVIDIA 硬件的 Amazon EC2 实例上使用这些 NVIDIA 驱动程序、软件或工具包。
**Topics**
+ [DLAMI 的定价](#pricing)
+ [DLAMI 区域可用性](#region)
+ [推荐的 GPU 实例](gpu.md)
+ [推荐的 CPU 实例](cpu.md)
+ [推荐的 Inferentia 实例](inferentia.md)
+ [推荐的 Trainium 实例](trainium.md)
## DLAMI 的定价
DLAMI 中包含的深度学习框架是免费的，每个都有自己的开源许可证。尽管 DLAMI 中包含的软件是免费的，但您仍然需要为底层的 Amazon EC2 实例硬件付费。
有些 Amazon EC2 实例类型被标记为免费。可以在其中一个免费实例上运行 DLAMI。这意味着，当您只使用该实例的容量时，使用 DLAMI 是完全免费的。如果您需要一个功能更强大、具有更多 CPU 内核、更多磁盘空间、更多 RAM 或一个或多个 RAM 的实例 GPUs，那么您需要一个不属于免费套餐实例类别的实例。
有关实例选择和定价的更多信息，请参阅 [Amazon EC2 定价](https://aws.amazon.com/ec2/pricing/)。
## DLAMI 区域可用性
每个区域支持不同的实例类型范围，并且通常在不同的区域中，一种实例类型的成本略有不同。 DLAMIs 并非在每个地区都可用，但可以复制 DLAMIs 到您选择的区域。有关更多信息，请参阅[复制 AMI](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/CopyingAMIs.html)。请注意区域选择列表，并确保您选择一个靠近您或您客户的区域。如果您打算使用不止一个 DLAMI 并且可能创建一个集群，请确保为集群中的所有节点使用相同的区域。
有关区域的更多信息，请访问 [Amazon EC2 服务终端节点](https://docs.aws.amazon.com/general/latest/gr/ec2-service.html#ec2_region)。
**后续步骤**
[推荐的 GPU 实例](gpu.md)
# 推荐的 GPU 实例
我们推荐的 GPU 实例适用于大多数深度学习目的。在 GPU 实例上训练新模型比在 CPU 实例上更快。当您拥有多 GPU 实例或在多个实例上使用分布式训练时，您可以进行亚线性扩展。 GPUs
以下实例类型支持 DLAMI。有关 GPU 实例类型选项及其用途的信息，请参阅[实例类型](https://aws.amazon.com/ec2/instance-types/)并选择**加速计算**。
**注意**
应将模型大小作为选择实例的一个因素。如果模型超出了实例的可用 RAM，请为应用程序选择其它具有足够内存的实例类型。
+ [亚马逊 EC2 P6-B200 实例](https://aws.amazon.com/ec2/instance-types/p6/)最多有 8 个 NVIDIA Blackwell B200 GPUs。
+ [亚马逊 EC2 P6-B300 实例](https://aws.amazon.com/ec2/instance-types/p6/)最多有 8 个 NVIDIA Blackwell B300 GPUs。
+ [亚马逊 EC2 p6e-GB2 00 实例](https://aws.amazon.com/ec2/instance-types/p6/)最多有 4 个 NVIDIA Black GB2 well 00。 GPUs
+ [亚马逊 EC2 P5e 实例](https://aws.amazon.com/ec2/instance-types/p5/)最多有 8 个 NVIDIA Tesla H200。 GPUs
+ [亚马逊 EC2 P5 实例](https://aws.amazon.com/ec2/instance-types/p5/)最多有 8 个 NVIDIA Tesla H GPUs 100。
+ [亚马逊 EC2 P4 实例](https://aws.amazon.com/ec2/instance-types/p4/)最多有 8 个 NVIDIA Tesla A GPUs 100。
+ [亚马逊 EC2 P3 实例](https://aws.amazon.com/ec2/instance-types/p3/)最多有 8 个 NVIDIA Tesla V GPUs 100。
+ [亚马逊 EC2 G3 实例](https://aws.amazon.com/ec2/instance-types/g3/)最多有 4 个 NVIDIA Tesla M60 GPUs。
+ [亚马逊 EC2 G4 实例](https://aws.amazon.com/ec2/instance-types/g4/)最多有 4 个 NVIDIA T GPUs 4。
+ [亚马逊 EC2 G5 实例](https://aws.amazon.com/ec2/instance-types/g5/)最多有 8 个 NVIDIA A GPUs 10G。
+ [亚马逊 EC2 G6 实例](https://aws.amazon.com/ec2/instance-types/g6/)最多有 8 个 NVIDIA L GPUs 4。
+ [亚马逊 EC2 G6e 实例](https://aws.amazon.com/ec2/instance-types/g6e/)最多有 8 个 NVIDIA L40S Tensor Core。 GPUs
+ [亚马逊 EC2 G5G 实例](https://aws.amazon.com/ec2/instance-types/g5g/)[具有基于 ARM64 的 Gravit AWS on2 处理器。](https://aws.amazon.com/ec2/graviton/)
DLAMI 实例提供了用于监控和优化 GPU 进程的工具。有关监控 GPU 进程的更多信息，请参阅 [GPU 监控和优化](tutorial-gpu.md)。
有关使用 G5g 实例的特定教程，请参阅 [ARM64 DLAMI](tutorial-arm64.md)。
**后续步骤**
[推荐的 CPU 实例](cpu.md)
# 推荐的 CPU 实例
无论您是在关注预算，了解深度学习，还是只是想运行一项预测服务，您在 CPU 类别中都有许多经济实惠的选项。某些框架利用了 Intel 的 MKL DNN，从而加快了在 C5（并非在所有区域中都可用）CPU 实例类型上的训练和推理速度。有关 CPU 实例类型的信息，请参阅[实例类型](https://aws.amazon.com/ec2/instance-types/)并选择**计算优化**。
**注意**
应将模型大小作为选择实例的一个因素。如果模型超出了实例的可用 RAM，请为应用程序选择其它具有足够内存的实例类型。
+ [Amazon EC2 C5 实例](https://aws.amazon.com/ec2/instance-types/c5/)最多有 72 个 Intel vCPUs. C5 实例擅长科学建模、批处理、分布式分析、高性能计算 (HPC) 以及机器和深度学习推理。
**后续步骤**
[推荐的 Inferentia 实例](inferentia.md)
# 推荐的 Inferentia 实例
AWS Inferentia 实例旨在为深度学习模型推理工作负载提供高性能和成本效益。具体而言，Inf2 实例类型使用AWS Inferentia 芯片和 Ne [AWS uron SDK](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/)，后者与流行的机器学习框架（例如和）集成。 TensorFlow PyTorch
客户使用 Inf2 实例之后，能够以最低的云端成本来运行大规模的机器学习推理应用程序，例如搜索、推荐引擎、计算机视觉、语音识别、自然语言处理、个性化和欺诈检测。
**注意**
应将模型大小作为选择实例的一个因素。如果模型超出了实例的可用 RAM，请为应用程序选择其它具有足够内存的实例类型。
+ [Amazon EC2 Inf2 实例](https://aws.amazon.com/ec2/instance-types/inf2/)最多有 16 个AWS推理芯片和 100 Gbps 的网络吞吐量。
有关开始使用AWS Inferentia 的更多信息 DLAMIs，请参阅。[带有 DLAMI 的 AWS 推理芯片](tutorial-inferentia.md)
**后续步骤**
[推荐的 Trainium 实例](trainium.md)
# 推荐的 Trainium 实例
AWS Trainium 实例旨在为深度学习模型推理工作负载提供高性能和成本效益。具体而言，Trn1 实例类型使用 T AWS rainium 芯片和 Ne [AWS uron SDK](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/)，后者与流行的机器学习框架（例如和）集成。 TensorFlow PyTorch
客户使用 Trn1 实例之后，能够以最低的云端成本来运行大规模的机器学习推理应用程序，例如搜索、推荐引擎、计算机视觉、语音识别、自然语言处理、个性化和欺诈检测。
**注意**
应将模型大小作为选择实例的一个因素。如果模型超出了实例的可用 RAM，请为应用程序选择其它具有足够内存的实例类型。
+ [Amazon EC2 Trn1 实例](https://aws.amazon.com/ec2/instance-types/trn1/)最多有 16 个 T AWS rainium 芯片和 100 Gbps 的网络吞吐量。