本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon 如何處理 SageMaker 訓練輸出
在容器執行演算法時,該演算法所產生的輸出會包含訓練工作、模型與輸出成品的狀態。而演算法應該將這項資訊寫入下列檔案;這些檔案位於容器的 /output
目錄中。Amazon SageMaker 會處理此目錄中包含的資訊,如下所示:
-
/opt/ml/model
– 您的演算法應該將所有最終模型成品寫入此目錄。 SageMaker 會以壓縮 tar 格式將此資料複製為單一物件,並複製到您在CreateTrainingJob
請求中指定的 S3 位置。如果單一訓練任務中的多個容器寫入此目錄,則應該確保名稱不會file/directory
衝突。 SageMaker 會將結果彙總到TAR檔案中,並在訓練任務結束時上傳至 S3。 -
/opt/ml/output/data
– 您的演算法應該將您想要儲存的最終模型以外的成品寫入此目錄。 SageMaker 會以壓縮 tar 格式將此資料複製到您在CreateTrainingJob
請求中指定的 S3 位置。如果單一訓練任務中的多個容器寫入此目錄,他們應該確保沒有file/directory
名稱 clash. SageMaker aggreged 結果在TAR檔案中,並在訓練任務結束時上傳至 S3。 -
/opt/ml/output/failure
– 若訓練失敗,則在所有演算法完成輸出後 (如日誌),您的演算法應該將失敗說明寫入此檔案。在DescribeTrainingJob
回應中, 會從此檔案中 SageMaker 傳回前 1024 個字元為FailureReason
。
您可以指定 S3 一般用途或 S3 目錄儲存貯體來儲存訓練輸出。目錄儲存貯體僅使用 Amazon S3 Express One Zone 儲存類別,該儲存類別專為需要一致單位數毫秒延遲的工作負載或效能關鍵型應用程式而設計。選擇最符合您應用程式和效能需求的儲存貯體類型。如需 S3 目錄儲存貯體的詳細資訊,請參閱 Amazon Simple Storage Service 使用者指南 中的目錄儲存貯體。
注意
您只能使用 Amazon S3 受管金鑰 (SSE-S3) 加密 S3 目錄儲存貯體中的 SageMaker 輸出資料。 Amazon S3 目前不支援使用 AWS KMS 金鑰 (SSE-KMS) 的伺服器端加密,以將 SageMaker 輸出資料儲存在目錄儲存貯體中。