ステップ 1: ステートマシンを作成するステップ 2: ステートマシンを実行するステートマシンのコード例 IAM 例

Amazon でデータを前処理し、機械学習モデルをトレーニングする SageMaker

このサンプルプロジェクトでは、 SageMaker との使用方法を示します。 AWS Step Functions は、データを前処理し、機械学習モデルをトレーニングします。

このプロジェクトでは、Step Functions は Lambda 関数を使用して Amazon S3 バケットにテストデータセットとデータ処理用の Python スクリプトをシードします。次に、サービスSageMaker 統合を使用して機械学習モデルをトレーニングし、バッチ変換を実行します。

SageMaker と Step Functions のサービス統合の詳細については、以下を参照してください。

注記

このサンプルプロジェクトでは、料金が発生する場合があります。

新しいの場合 AWS ユーザーには、無料利用枠があります。この枠では、サービスを利用しても一定のレベル以下であれば無料です。の詳細については、「」を参照してください。 AWS のコストと無料利用枠については、「のSageMaker 料金」を参照してください。

ステップ 1: ステートマシンを作成する

Step Functions コンソールを開き、[ステートマシンの作成] を選択します。
検索ボックスに Preprocess data and train a machine learning model と入力し、返された検索結果から [データを事前処理し、機械学習モデルをトレーニングする] を選択します。
[次へ] を選択して続行します。
デモを実行して読み取り専用と ready-to-deploy ワークフローを作成するか、ビルドを選択して編集可能なステートマシン定義を作成し、後でデプロイできます。

このサンプルプロジェクトは、以下のリソースをデプロイします。
- An AWS Lambda 関数
- Amazon S3 バケット
- An AWS Step Functions ステートマシン
- 関連 AWS Identity and Access Management （IAM) ロール
以下のイメージは、[データを事前処理して機械学習モデルをトレーニングする] サンプルプロジェクトのワークフローグラフを示しています。
[テンプレートの使用] を選択して選択を続行します。

次のステップは、前の選択肢によって異なります。

デモの実行 – によってデプロイされたリソースを使用して読み取り専用プロジェクトを作成する前に、ステートマシンを確認できます。 AWS CloudFormation をに AWS アカウント.

ステートマシンの定義を表示でき、準備ができたら、デプロイと実行を選択してプロジェクトをデプロイし、リソースを作成します。

デプロイでは、リソースとアクセス許可の作成に最大 10 分かかる場合があります。スタック ID リンクを使用して、の進行状況をモニタリングできます。 AWS CloudFormation.

デプロイが完了すると、コンソールに新しいステートマシンが表示されます。
構築 – ワークフロー定義を確認して編集できます。カスタムワークフローの実行を試みる前に、サンプルプロジェクトのプレースホルダーの値を設定する必要がある場合があります。

注記

アカウントにデプロイされたサービスには、標準料金が適用される場合があります。

ステップ 2: ステートマシンを実行する

[ステートマシン] ページで、サンプルプロジェクトを選択します。
サンプルプロジェクトページで、[実行を開始] を選択します。
[実行を開始] ダイアログボックスで、以下の操作を行います。
1. （オプション) 生成されたデフォルトを上書きするカスタム実行名を入力します。
  
  非ASCII名前とログ記録
  Step Functions は、以外のASCII文字を含むステートマシン、実行、アクティビティ、およびラベルの名前を受け入れます。このような文字は Amazon では機能しないため CloudWatch、でメトリクスを追跡できるようにASCII、文字のみを使用することをお勧めします CloudWatch。
2. （オプション) 入力ボックスに、入力値をと入力しますJSON。デモを実行している場合は、このステップをスキップできます。
3. [実行のスタート] を選択します。
Step Functions コンソールで実行の詳細ページに移動し、グラフビューで状態を選択してペインの関連情報を確認できますステップの詳細。

ステートマシンのコード例

このサンプルプロジェクトのステートマシンは、 SageMaker およびと統合されます。 AWS Lambda パラメータをこれらのリソースに直接渡すことで、はトレーニングデータソースと出力に Amazon S3 バケットを使用します。

このステートマシンの例を参照して、Step Functions が Lambda とを制御する方法を確認してください SageMaker。

方法の詳細については、 AWS Step Functions は他のを制御できます AWS サービスについては、「」を参照してくださいサービスと Step Functions の統合。


{
  "StartAt": "Generate dataset",
  "States": {
    "Generate dataset": {
      "Resource": "arn:aws:lambda:sa-east-1:1234567890:function:FeatureTransform-LambaForDataGeneration-17M8LX7IO9LUW",
      "Type": "Task",
      "Next": "Standardization: x' = (x - x̄) / σ"
    },
    "Standardization: x' = (x - x̄) / σ": {
      "Resource": "arn:aws:states:::sagemaker:createProcessingJob.sync",
      "Parameters": {
        "ProcessingResources": {
          "ClusterConfig": {
            "InstanceCount": 1,
            "InstanceType": "ml.m5.xlarge",
            "VolumeSizeInGB": 10
          }
        },
        "ProcessingInputs": [
            {
                "InputName": "input-1",
                "S3Input": {
                    "S3Uri": "s3://amzn-s3-demo-bucket/input/raw.csv",
                    "LocalPath": "/opt/ml/processing/input",
                    "S3DataType": "S3Prefix",
                    "S3InputMode": "File",
                    "S3DataDistributionType": "FullyReplicated",
                    "S3CompressionType": "None"
                }
            },
            {
                "InputName": "code",
                "S3Input": {
                    "S3Uri": "s3://amzn-s3-demo-bucket/code/transform.py",
                    "LocalPath": "/opt/ml/processing/input/code",
                    "S3DataType": "S3Prefix",
                    "S3InputMode": "File",
                    "S3DataDistributionType": "FullyReplicated",
                    "S3CompressionType": "None"
                }
            }
        ],
        "ProcessingOutputConfig": {
            "Outputs": [
                {
                    "OutputName": "train_data",
                    "S3Output": {
                        "S3Uri": "s3://amzn-s3-demo-bucket/train",
                        "LocalPath": "/opt/ml/processing/output/train",
                        "S3UploadMode": "EndOfJob"
                    }
                }
            ]
        },
        "AppSpecification": {
            "ImageUri": "737474898029.dkr.ecr.sa-east-1.amazonaws.com/sagemaker-scikit-learn:0.20.0-cpu-py3",
            "ContainerEntrypoint": [
                "python3",
                "/opt/ml/processing/input/code/transform.py"
            ]
        },
        "StoppingCondition": {
            "MaxRuntimeInSeconds": 300
        },
        "RoleArn": "arn:aws:iam::1234567890:role/SageMakerAPIExecutionRole-AIDACKCEVSQ6C2EXAMPLE",
        "ProcessingJobName.$": "$$.Execution.Name"
      },
      "Type": "Task",
      "Next": "Train model (XGBoost)"
    },
    "Train model (XGBoost)": {
      "Resource": "arn:aws:states:::sagemaker:createTrainingJob.sync",
      "Parameters": {
        "AlgorithmSpecification": {
          "TrainingImage": "855470959533.dkr.ecr.sa-east-1.amazonaws.com/xgboost:latest",
          "TrainingInputMode": "File"
        },
        "OutputDataConfig": {
          "S3OutputPath": "s3://amzn-s3-demo-bucket/models"
        },
        "StoppingCondition": {
          "MaxRuntimeInSeconds": 86400
        },
        "ResourceConfig": {
          "InstanceCount": 1,
          "InstanceType": "ml.m5.xlarge",
          "VolumeSizeInGB": 30
        },
        "RoleArn": "arn:aws:iam::1234567890:role/SageMakerAPIExecutionRole-AIDACKCEVSQ6C2EXAMPLE",
        "InputDataConfig": [
          {
            "DataSource": {
              "S3DataSource": {
                "S3DataDistributionType": "ShardedByS3Key",
                "S3DataType": "S3Prefix",
                "S3Uri": "s3://amzn-s3-demo-bucket"
              }
            },
            "ChannelName": "train",
            "ContentType": "text/csv"
          }
        ],
        "HyperParameters": {
          "objective": "reg:logistic",
          "eval_metric": "rmse",
          "num_round": "5"
        },
        "TrainingJobName.$": "$$.Execution.Name"
      },
      "Type": "Task",
      "End": true
    }
  }
}

他ので Step Functions を使用するIAMときにを設定する方法の詳細については、「」を参照してください。 AWS サービスについては、「」を参照してくださいStep Functions が統合サービスのIAMポリシーを生成する方法。

IAM 例

この例では、 AWS Identity and Access Management サンプルプロジェクトによって生成された (IAM) ポリシーには、ステートマシンおよび関連リソースの実行に必要な最小特権が含まれています。IAM ポリシーに必要なアクセス許可のみを含めることをお勧めします。


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "cloudwatch:PutMetricData",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
                "logs:CreateLogGroup",
                "logs:DescribeLogStreams",
                "s3:GetObject",
                "s3:PutObject",
                "s3:ListBucket",
                "ecr:GetAuthorizationToken",
                "ecr:BatchCheckLayerAvailability",
                "ecr:GetDownloadUrlForLayer",
                "ecr:BatchGetImage"
            ],
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

次のポリシーでは、Amazon S3 バケットにサンプルデータをシードすることを Lambda 関数に許可します。


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:PutObject"
            ],
            "Resource": "arn:aws:s3:::amzn-s3-demo-bucket/*",
            "Effect": "Allow"
        }
    ]
}

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

CodeBuild ビルドを開始する

Lambda 関数をオーケストレーションする

Amazon でデータを前処理し、機械学習モデルをトレーニングする SageMaker

注記

ステップ 1: ステートマシンを作成する

注記

ステップ 2: ステートマシンを実行する

非ASCII名前とログ記録

ステートマシンのコード例

IAM 例