本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用算法运行训练作业
您可以使用亚马逊 SageMaker 控制台、低级亚马逊 SageMaker API 或 Amazon SageMaker Python 软件开发工具包
使用算法运行训练作业(控制台)
使用算法运行训练作业(控制台)
-
打开 SageMaker 控制台,网址为 https://console.aws.amazon.com/sagemaker/
。 -
选择 Algorithms (算法)。
-
从我的算法选项卡上的列表中选择您已创建的算法,或者在 AWS Marketplace 订阅选项卡上选择已订阅的算法。
-
选择 Create training job (创建训练作业)。
将自动选择您选定的算法。
-
在 Create training job (创建训练作业) 页面上,提供以下信息:
-
对于 Job name (作业名称),请为训练作业键入名称。
-
对于 IAM 角色,请选择具有运行训练任务所需权限的 IAM 角色 SageMaker,或者选择创建新角色 SageMaker 以允许创建附加了
AmazonSageMakerFullAccess
托管策略的角色。有关信息,请参阅 如何使用 SageMaker 执行角色。 -
对于 Resource configuration (资源配置),提供以下信息:
-
对于 Instance type (实例类型),选择要用于训练的实例类型。
-
对于 Instance count (实例计数),键入要用于训练作业的 ML 实例的数目。
-
对于 Additional volume per instance (GB) (每个实例的附加卷 (GB)),键入要预配置的 ML 存储卷的大小。ML 存储卷存储模型构件和增量状态。
-
对于加密密钥,如果您希望 Amazon SageMaker 使用 AWS 密钥管理服务密钥来加密附加到训练实例的 ML 存储卷中的数据,请指定密钥。
-
对于 Stopping condition (停止条件),请指定希望训练作业运行的最长时间(以秒、分钟、小时或天为单位)。
-
-
对于 VPC,选择您希望允许训练容器访问的 Amazon VPC。有关更多信息,请参阅 让 SageMaker 训练作业访问您的 Amazon VPC 中的资源。
-
对于 Hyperparameters (超参数),请指定要用于训练作业的超参数的值。
-
对于 Input data configuration (输入数据配置),请指定要用于训练作业的每个输入数据通道的以下值。在算法的算法摘要页面中,您可在通道规范部分下查看用于训练的算法支持哪些通道,以及每个通道的内容类型、支持的压缩类型和支持的输入模式。
-
对于 Channel name (通道名称),键入输入通道的名称。
-
对于 Content type (内容类型),键入算法预期用于通道的数据的内容类型。
-
对于 Compression type (压缩类型),选择要使用的数据压缩类型(如果有)。
-
对于 Record wrapper (记录包装程序),如果算法需要
RecordIO
格式的数据,则选择RecordIO
。 -
对于 S3 data type (S3 数据类型)、S3 data distribution type (S3 数据分布类型) 和 S3 location (S3 位置),请指定适当的值。有关这些值的含义的信息,请参阅
S3DataSource
。 -
对于 Input mode (输入模式),选择 File (文件) 以将数据下载到预配置的 ML 存储卷,并将目录挂载到 Docker 卷。选择 Pipe (管道) 以直接从 Amazon S3 将数据流式传输到容器。
-
要添加另一个输入通道,请选择 Add channel (添加通道)。如果已添加完输入通道,请选择 Done (完成)。
-
-
对于 Output (输出) 位置,请指定以下值:
-
对于 S3 output path (S3 输出路径),请选择训练作业将输出(例如模型构件)存储到的 S3 位置。
注意
您可以使用存储在此位置的模型构件来从该训练作业创建模型或模型包。
-
对于加密密钥,如果您 SageMaker 想使用 AWS KMS 密钥对 S3 位置中的静态输出数据进行加密。
-
-
对于 Tags (标签),请指定一个或多个标签来管理训练作业。每个标签都由一个键和一个可选值组成。每个资源的标签键必须是唯一的。
-
选择 Create training job (创建训练作业) 以运行训练作业。
-
使用算法运行训练作业 (API)
要使用算法通过 SageMaker API 运行训练作业,请指定名称或 Amazon 资源名称 (ARN) 作为您传递给的AlgorithmSpecification
对象的AlgorithmName
字段。CreateTrainingJob
有关在中训练模型的信息 SageMaker,请参见使用 Amazon 训练模型 SageMaker。
使用算法运行训练作业(亚马逊 SageMaker Python 软件开发工具包 )
使用您创建或订阅的算法创建训练作业,创建AlgorithmEstimator
对象并指定 Amazon 资源名称 (ARN) 或算法名称作为参数的algorithm_arn
值。 AWS Marketplace 然后,调用评估程序的 fit
方法。例如:
from sagemaker import AlgorithmEstimator data_path = os.path.join(DATA_DIR, 'marketplace', 'training') algo = AlgorithmEstimator( algorithm_arn='arn:aws:sagemaker:us-east-2:012345678901:algorithm/my-algorithm', role='SageMakerRole', instance_count=1, instance_type='ml.c4.xlarge', sagemaker_session=sagemaker_session, base_job_name='test-marketplace') train_input = algo.sagemaker_session.upload_data( path=data_path, key_prefix='integ-test-data/marketplace/train') algo.fit({'training': train_input})