本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
選擇DLAMI執行個體類型
一般而言,在選擇 的執行個體類型時,請考慮下列事項DLAMI。
如果您是深度學習的新手,則具有單一 的執行個體GPU可能符合您的需求。
如果您重視預算,則可以使用 CPU限定的執行個體。
如果您想要最佳化深度學習模型推論的高效能和成本效益,則可以搭配 AWS Inferentia 晶片使用執行個體。
如果您要尋找具有 Arm64-basedCPU架構的高效能GPU執行個體,則可以使用 G5g 執行個體類型。
如果您有興趣執行預先訓練的模型以進行推論和預測,則可以將 Amazon Elastic Inference 連接至您的 Amazon EC2執行個體。Amazon Elastic Inference 可讓您存取只有一小部分 的加速器GPU。
-
對於大量推論服務,具有大量記憶體的單一CPU執行個體,或這類執行個體的叢集,可能是更好的解決方案。
如果您使用具有大量資料或高批次大小的大型模型,則需要具有更多記憶體的大型執行個體。您也可以將模型分佈到 叢集GPUs。您可能會發現,如果您減少了批次大小,使用具有較少記憶體的執行個體會是更好的解決方案。這可能會影響準確度和訓練速度。
如果您有興趣使用需要大規模高階節點間通訊的 NVIDIA Collective Communications Library (NCCL) 執行機器學習應用程式,建議您使用 Elastic Fabric Adapter (EFA)。
如需執行個體的詳細資訊,請參閱EC2執行個體類型
下列主題提供執行個體類型考量的相關資訊。
重要
深度學習AMIs包括由 NVIDIA Corporation 開發、擁有或提供的驅動程式、軟體或工具組。您同意僅在包含NVIDIA硬體的 Amazon EC2執行個體上使用這些NVIDIA驅動程式、軟體或工具組。
DLAMI 的定價
包含在 中的深度學習架構DLAMI是免費的,而且每個架構都有自己的開放原始碼授權。雖然 中包含的軟體DLAMI是免費的,但您仍然必須支付基礎 Amazon EC2執行個體硬體的費用。
某些 Amazon EC2執行個體類型會標記為免費。您可以在其中一個免費執行個體DLAMI上執行 。這表示當您只使用該執行個體的容量時,使用 DLAMI 完全免費。如果您需要具有更多CPU核心、更多磁碟空間RAM、更多 或一或多個 的更強大執行個體GPUs,則您需要不在自由層執行個體類別中的執行個體。
如需執行個體選擇和定價的詳細資訊,請參閱 Amazon EC2定價
DLAMI 區域可用性
每個區域都支援不同的執行個體類型範圍,而且執行個體類型在不同的區域中的成本通常略有不同。 DLAMIs 並非在每個區域中都可用,但可以複製到您選擇的DLAMIs區域。如需詳細資訊,請參閱複製 AMI。記下區域選擇清單,並確定您挑選一個靠近您或您的客戶的區域。如果您計劃使用多個 DLAMI 並可能建立叢集,請務必針對叢集中的所有節點使用相同的區域。
如需區域的詳細資訊,請造訪 EC2服務端點。