使用 Amazon 训练机器学习模型 SageMaker

此示例项目演示了如何使用 SageMaker 和 AWS Step Functions 训练机器学习模型以及如何批量转换测试数据集。

在此项目中，Step Functions 使用 Lambda 函数通过测试数据集为 Amazon S3 存储桶添加种子。然后，它使用SageMaker 服务集成训练机器学习模型并执行批量转换。

有关 SageMaker 和 Step Functions 服务集成的更多信息，请参阅以下内容：

注意

此示例项目可能会产生费用。

对于新品 AWS 用户，可免费使用套餐。在此套餐中，低于某种使用水平的服务是免费的。有关 AWS 费用和免费套餐，请参阅SageMaker 定价。

第 1 步：创建状态机

打开 Step Functions 控制台，然后选择创建状态机。
在搜索框中键入 Train a machine learning model，然后从返回的搜索结果中选择训练机器学习模型。
选择下一步以继续。
选择 “运行演示” 以创建只读和 ready-to-deploy 工作流程，或者选择 “在其上构建” 以创建可编辑的状态机定义，您可以在此基础上构建并稍后部署。

该示例项目部署了以下资源：
- 网络 ACL 和安全组都允许 (因此可到达您的实例) 的发起 ping 的 AWS Lambda 函数
- 一个 Amazon Simple Storage Service (Amazon S3) 存储桶
- 网络 ACL 和安全组都允许 (因此可到达您的实例) 的发起 ping 的 AWS Step Functions 状态机
- 相关 AWS Identity and Access Management (IAM) 角色
下图显示了训练机器学习模型示例项目的工作流图：
选择使用模板继续进行选择。

后续步骤取决于您之前的选择：

运行演示 — 您可以先查看状态机，然后再使用部署的资源创建只读项目 AWS CloudFormation 给你的 AWS 账户.

您可以查看状态机定义，准备就绪后，选择 “部署并运行” 来部署项目并创建资源。

部署最多可能需要 10 分钟才能创建资源和权限。您可以使用堆栈 ID 链接来监控进度 AWS CloudFormation.

部署完成后，您应该会在控制台中看到您的新状态机。
在此基础上再接再厉 — 您可以查看和编辑工作流程定义。在尝试运行自定义工作流程之前，您可能需要为示例项目中的占位符设置值。

注意

部署到您的账户的服务可能会收取标准费用。

第 2 步：运行状态机

在状态机页面上，选择您的示例项目。
在示例项目页面上，选择启动执行。
在启动执行对话框中，执行以下操作：
1. （可选）输入自定义执行名称以覆盖生成的默认执行名称。
  
  非ASCII姓名和日志
  Step Functions 接受状态机、执行、活动和包含非ASCII字符的标签的名称。由于此类字符不适用于亚马逊 CloudWatch，因此我们建议您仅使用ASCII字符，以便您可以跟踪中的指标 CloudWatch。
2. （可选）在 “输入” 框中，将输入值输入为JSON。如果您正在运行演示，则可以跳过此步骤。
3. 选择启动执行。
Step Functions 控制台将引导您进入执行详情页面，您可以在图表视图中选择状态以浏览步骤详细信息窗格中的相关信息。

示例状态机代码

此示例项目中的状态机与 SageMaker 和集成 AWS Lambda 通过将参数直接传递给这些资源，并使用 Amazon S3 存储桶作为训练数据源和输出。

浏览此示例状态机，了解 Step Functions 如何控制 Lambda 和。 SageMaker

有关如何操作的更多信息 AWS Step Functions 可以控制其他 AWS 服务，请参阅将服务与 Step Functions 集成。


{
  "StartAt": "Generate dataset",
  "States": {
    "Generate dataset": {
      "Resource": "arn:aws:lambda:us-west-2:123456789012:function:TrainAndBatchTransform-SeedingFunction-17RNSOTG97HPV",
      "Type": "Task",
      "Next": "Train model (XGBoost)"
    },
    "Train model (XGBoost)": {
      "Resource": "arn:aws:states:::sagemaker:createTrainingJob.sync",
      "Parameters": {
        "AlgorithmSpecification": {
          "TrainingImage": "433757028032.dkr.ecr.us-west-2.amazonaws.com/xgboost:latest",
          "TrainingInputMode": "File"
        },
        "OutputDataConfig": {
          "S3OutputPath": "s3://amzn-s3-demo-source-bucket/models"
        },
        "StoppingCondition": {
          "MaxRuntimeInSeconds": 86400
        },
        "ResourceConfig": {
          "InstanceCount": 1,
          "InstanceType": "ml.m4.xlarge",
          "VolumeSizeInGB": 30
        },
        "RoleArn": "arn:aws:iam::123456789012:role/TrainAndBatchTransform-SageMakerAPIExecutionRole-Y9IX3DLF6EUO",
        "InputDataConfig": [
          {
            "DataSource": {
              "S3DataSource": {
                "S3DataDistributionType": "ShardedByS3Key",
                "S3DataType": "S3Prefix",
                "S3Uri": "s3://amzn-s3-demo-source-bucket/csv/train.csv"
              }
            },
            "ChannelName": "train",
            "ContentType": "text/csv"
          }
        ],
        "HyperParameters": {
          "objective": "reg:logistic",
          "eval_metric": "rmse",
          "num_round": "5"
        },
        "TrainingJobName.$": "$$.Execution.Name"
      },
      "Type": "Task",
      "Next": "Save Model"
    },
    "Save Model": {
      "Parameters": {
        "PrimaryContainer": {
          "Image": "433757028032.dkr.ecr.us-west-2.amazonaws.com/xgboost:latest",
          "Environment": {},
          "ModelDataUrl.$": "$.ModelArtifacts.S3ModelArtifacts"
        },
        "ExecutionRoleArn": "arn:aws:iam::123456789012:role/TrainAndBatchTransform-SageMakerAPIExecutionRole-Y9IX3DLF6EUO",
        "ModelName.$": "$.TrainingJobName"
      },
      "Resource": "arn:aws:states:::sagemaker:createModel",
      "Type": "Task",
      "Next": "Batch transform"
    },
    "Batch transform": {
      "Type": "Task",
      "Resource": "arn:aws:states:::sagemaker:createTransformJob.sync",
      "Parameters": {
        "ModelName.$": "$$.Execution.Name",
        "TransformInput": {
          "CompressionType": "None",
          "ContentType": "text/csv",
          "DataSource": {
            "S3DataSource": {
              "S3DataType": "S3Prefix",
              "S3Uri": "s3://amzn-s3-demo-source-bucket/csv/test.csv"
            }
          }
        },
        "TransformOutput": {
          "S3OutputPath": "s3://amzn-s3-demo-source-bucket/output"
        },
        "TransformResources": {
          "InstanceCount": 1,
          "InstanceType": "ml.m4.xlarge"
        },
        "TransformJobName.$": "$$.Execution.Name"
      },
      "End": true
    }
  }
}

有关在将 Step Functions 与其他功能一起使用IAM时如何进行配置的信息 AWS 服务，请参阅Step Functions 如何为集成服务生成IAM策略。

IAM示例

这些例子 AWS Identity and Access Management (IAM) 示例项目生成的策略包括执行状态机和相关资源所需的最低权限。我们建议您在IAM策略中仅包含必要的权限。


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "cloudwatch:PutMetricData",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
                "logs:CreateLogGroup",
                "logs:DescribeLogStreams",
                "s3:GetObject",
                "s3:PutObject",
                "s3:ListBucket",
                "ecr:GetAuthorizationToken",
                "ecr:BatchCheckLayerAvailability",
                "ecr:GetDownloadUrlForLayer",
                "ecr:BatchGetImage"
            ],
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

以下策略允许 Lambda 函数使用示例数据为 Amazon S3 存储桶添加种子。


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:PutObject"
            ],
            "Resource": "arn:aws:s3:::amzn-s3-demo-source-bucket/*",
            "Effect": "Allow"
        }
    ]
}

有关在将 Step Functions 与其他功能一起使用IAM时如何进行配置的信息 AWS 服务，请参阅Step Functions 如何为集成服务生成IAM策略。

Javascript 在您的浏览器中被禁用或不可用。

要使用 Amazon Web Services 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

文档惯例

用于处理 S3 中文件的分布式地图

调整机器学习模型

使用 Amazon 训练机器学习模型 SageMaker

注意

第 1 步：创建状态机

注意

第 2 步：运行状态机

非ASCII姓名和日志

示例状态机代码

IAM示例