本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
选择DLAMI实例类型
更笼统地说,在为选择实例类型时,请考虑以下几点DLAMI。
如果您不熟悉深度学习,那么具有单一的实例GPU可能适合您的需求。
如果您注重预算,则可以使用CPU仅限于预算的实例。
如果您希望优化深度学习模型推断的高性能和成本效益,则可以使用带有 AWS Inferentia 芯片的实例。
如果您正在寻找具有基于 ARM64 CPU 架构的高性能GPU实例,则可以使用 g5G 实例类型。
如果您有兴趣运行预训练模型进行推理和预测,则可以将 Amazon Elastic Inference 附加到您的亚马逊实例。EC2Amazon Elastic Inference 让你只需几分之一即可访问加速器。GPU
-
对于大容量推理服务,具有大量内存的单个CPU实例或此类实例的集群可能是更好的解决方案。
如果您使用的是具有大量数据或较大批处理大小的大型模型,那么您需要具有更多内存的大型实例。您也可以将模型分发到一个集群GPUs。您可能会发现,如果减小批处理大小,则使用内存较少的实例将是更好的选择。这可能会影响您的准确性和训练速度。
如果您有兴趣使用NVIDIA集体通信库 (NCCL) 运行机器学习应用程序,需要大规模进行高水平的节点间通信,则可能需要使用 Elastic Fabric Adapter (EFA)。
有关实例的更多详细信息,请参阅实例类型
以下主题提供有关实例类型注意事项的信息。
重要
深度学习AMIs包括NVIDIA公司开发、拥有或提供的驱动程序、软件或工具包。您同意仅在包含NVIDIA硬件的 Amazon EC2 实例上使用这些NVIDIA驱动程序、软件或工具包。
DLAMI 的定价
中包含的深度学习框架DLAMI是免费的,每个框架都有自己的开源许可证。尽管中包含的软件DLAMI是免费的,但您仍然需要为底层 Amazon EC2 实例硬件付费。
有些 Amazon EC2 实例类型被标记为免费。可以在其中一个免费实例DLAMI上运行。这意味着,当您仅使用该DLAMI实例的容量时,完全可以免费使用。如果您需要一个具有更多CPU内核、更多磁盘空间RAM、更多或一个或多个的更强大的实例GPUs,那么您需要一个不属于免费套餐实例类的实例。
有关实例选择和定价的更多信息,请参阅 Amazon EC2 定价
DLAMI 区域可用性
每个区域支持不同范围的实例类型,而且不同区域的实例类型成本通常稍有不同。DLAMIs并非在每个地区都可用,但可以复制DLAMIs到您选择的区域。有关更多信息,AMI请参阅复制。请注意区域选择列表,并确保您选择一个靠近您或您客户的区域。如果您计划使用多个集群DLAMI并可能创建集群,请务必对集群中的所有节点使用相同的区域。
有关区域的更多信息,请访问 Amazon EC2 服务终端节点。