本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
PERF02-BP06 使用最佳化的硬體型運算加速器
使用硬體加速器比CPU以 為基礎的替代方案更有效率地執行某些函數。
常見的反模式:
-
在工作負載中,您尚未基準化分析一般用途執行個體和專用執行個體,而專用執行個體可以改善效能和降低成本。
-
您正在使用硬體型運算加速器執行任務,這些任務可以使用 CPU型替代方案更有效率。
-
您未監控GPU用量。
建立此最佳實務的優點:透過使用硬體型加速器,例如圖形處理單元 (GPUs) 和現場可程式設計閘道陣列 (FPGAs),您可以更有效率地執行某些處理函數。
未建立此最佳實務時的曝險等級:中
實作指引
加速運算執行個體可讓您存取硬體型運算加速器,例如 GPUs和 FPGAs。這些硬體加速器會比CPU以 為基礎的替代方案更有效率地執行圖形處理或資料模式比對等特定功能。許多加速的工作負載 (例如轉譯、轉碼和機器學習) 在資源使用方面變化很大。只在需要時執行此硬體,並在不需要時自動停用它們,以提高整體效能的效率。
實作步驟
-
確定哪些加速運算執行個體可以滿足您的需求。
-
對於機器學習工作負載,請善用工作負載特有的專用硬體,例如 AWS Trainium
、AWS Inferentia 和 Amazon EC2 DL1 。Inf2 執行個體等 AWS Inf2 執行個體比類似的 Amazon EC2執行個體提供高達 50% 的效能/瓦 特。 -
收集加速運算執行個體的用量指標。例如,您可以使用 CloudWatch 代理程式來收集 的指標,例如
utilization_memory
utilization_gpu
和 GPUs,如使用 Amazon 收集NVIDIAGPU指標 CloudWatch中所示。 -
優化硬體加速器的程式碼、網路運作和設定,以確保系統會充分利用基礎硬體。
-
使用最新的高效能程式庫和GPU驅動程式。
-
使用自動化在不使用時釋出GPU執行個體。
資源
相關文件:
相關影片:
相關範例: