Amazon SageMaker 管理的训练存储路径映射 - Amazon SageMaker

Amazon SageMaker 管理的训练存储路径映射

本页简要概述了 SageMaker 训练平台如何管理训练数据集、模型构件、检查点以及 SageMaker 中 AWS 云存储与训练作业之间输出的存储路径。在本指南中,您将学习如何识别 SageMaker 平台设置的默认路径,以及如何使用 Amazon Simple Storage Service (Amazon S3)、适用于 Lustre 的 FSx 和 Amazon EFS 中的数据来源简化数据通道。有关各种数据通道的输入模式和存储选项的更多信息,请参阅设置访问数据集的训练作业

SageMaker 如何映射存储路径概览

下图举例说明了使用 SageMaker Python SDK 估算器类运行训练作业时,SageMaker 如何映射输入和输出路径。

使用 SageMaker Python SDK 估算器类及其拟合方法运行训练作业时,SageMaker 如何在训练作业容器和存储之间映射路径的示例。

SageMaker 根据通过 SageMaker 估算器对象指定的路径和输入模式,在存储空间(如 Amazon S3、Amazon FSx 和 Amazon EFS)和 SageMaker 训练容器之间映射存储路径。有关 SageMaker 如何读取或写入路径以及路径用途的更多信息,请参阅 SageMaker 环境变量和训练存储位置的默认路径

您可以在 CreateTrainingJob 中使用 OutputDataConfig API 将模型训练结果保存到 S3 存储桶中。使用 ModelArtifacts API 查找包含模型构件的 S3 存储桶。有关输出路径以及如何在 API 调用中使用输出路径的示例,请参阅 abalone_build_train_deploy 笔记本。

有关 SageMaker 如何管理 SageMaker 训练实例中的数据来源、输入模式和本地路径的更多信息和示例,请参阅访问训练数据