Neptune ML 階段的執行個體選擇 - Amazon Neptune

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Neptune ML 階段的執行個體選擇

Neptune ML 處理的不同階段會使用不同的 SageMaker 執行個體。在此,我們討論如何為每個階段選擇正確的執行個體類型。您可以在 Amazon SageMaker 定價中找到 SageMaker 執行個體類型和定價的相關資訊。

選取執行個體進行資料處理

SageMaker 資料處理步驟需要處理執行個體對輸入、中繼和輸出資料具有足夠的記憶體和磁碟儲存體。所需的特定記憶體和磁碟儲存體容量取決於 Neptune ML 圖形的特性及其匯出的特徵。

根據預設,Neptune ML 會選擇其記憶體十倍於磁碟上所匯出圖形資料大小的最小 ml.r5 執行個體。

選取執行個體進行模型訓練和模型轉換

選取正確的執行個體類型進行模型訓練模型轉換,取決於任務類型、圖形大小和您的周轉需求。GPU 執行個體可提供最佳效能。我們通常建議 p3g4dn 序列執行個體。您也可以使用 p2p4d 執行個體。

根據預設,Neptune ML 會選擇其記憶體超過模型訓練和模型轉換所需的最小 GPU 執行個體。您可以在 Amazon S3 資料處理輸出位置的 train_instance_recommendation.json 檔案中找到該選擇的內容。以下是 train_instance_recommendation.json 檔案的內容範例:

{ "instance": "(the recommended instance type for model training and transform)", "cpu_instance": "(the recommended instance type for base processing instance)", "disk_size": "(the estimated disk space required)", "mem_size": "(the estimated memory required)" }

為推論端點選取執行個體

推論端點選取正確的執行個體類型,取決於任務類型、圖形大小和預算。根據預設,Neptune ML 會選擇其記憶體超過推論端點所需的最小ml.m5d執行個體。

注意

如果需要超過 384 GB 的記憶體,Neptune ML 會使用 ml.r5d.24xlarge 執行個體。

您可以在 infer_instance_recommendation.json 檔案中查看 Neptune ML 建議的執行個體類型,此檔案位於您用於模型訓練的 Amazon S3 位置。以下是該檔案的內容範例:

{ "instance" : "(the recommended instance type for an inference endpoint)", "disk_size" : "(the estimated disk space required)", "mem_size" : "(the estimated memory required)" }