本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
SageMaker AI 环境变量和训练存储位置的默认路径
下表汇总了训练平台管理的训练数据集、检查点、模型工件和输出的输入和输出路径。 SageMaker
SageMaker 训练实例中的本地路径 | SageMaker AI 环境变量 | 用途 | 在启动期间从 S3 读取 | 在竞价型重启期间从 S3 读取 | 训练期间写入 S3 | 作业终止时写入 S3 |
---|---|---|---|---|---|---|
|
SM_channel_ |
从 SageMaker AI Python SDK 估算器类或 CreateTrainingJob |
支持 | 是 | 否 | 否 |
|
SM_OUTPUT_DIR |
保存输出,例如损耗、精度、中间层、权重、梯度、偏差和兼容 TensorBoard输出。您也可以使用此路径保存所有您想要的任意输出。请注意,这与存储最终模型构件的路径 |
否 | 否 | 否 | 是 |
|
SM_MODEL_DIR |
存储最终的模型构件。这也是从 SageMaker AI Hosting 中部署模型工件以进行实时推理的路径。 |
否 | 否 | 否 | 是 |
|
- |
保存模型检查点(模型状态)以便从某个点恢复训练,并且能够从意外或托管竞价型训练中断中恢复。 |
支持 | 是 | 是 | 否 |
|
SAGEMAKER_SUBMIT_DIRECTORY |
复制训练脚本、其他库和依赖项。 |
支持 | 是 | 否 | 否 |
|
- |
读取或写入 |
否 | 否 | 否 | 否 |
1 channel_name
是为训练数据输入指定用户定义通道名称的地方。每个训练作业可以包含多个数据输入通道。您最多可以为每个训练作业指定 20 个训练输入通道。请注意,从数据通道下载数据的时间计入计费时间。有关数据输入路径的更多信息,请参阅 Amazon SageMaker AI 如何提供训练信息。此外, SageMaker AI 还支持三种类型的数据输入模式:文件模式 FastFile、管道模式和管道模式。要详细了解用于 SageMaker AI 训练的数据输入模式,请参阅访问训练数据。
2 SageMaker AI 压缩训练工件并将其写入 TAR 文件 (tar.gz
)。压缩和上传的时间计入计费时间。有关更多信息,请参阅 Amazon A SageMaker I 如何处理训练输出。
3 SageMaker AI 压缩并写入最终的模型工件到 TAR 文件 (tar.gz
)。压缩和上传的时间计入计费时间。有关更多信息,请参阅 Amazon A SageMaker I 如何处理训练输出。
4 在训练期间与 Amazon S3 同步。按原样写入,而不压缩为 TAR 文件。有关更多信息,请参阅在 Amazon A SageMaker I 中使用检查点。