本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
使用 Amazon 預先處理資料並訓練機器學習模型 SageMaker
此示例項目演示了如何使用 SageMaker 和 AWS Step Functions 預先處理資料並訓練機器學習模型。
在此專案中，Step Functions 數使用 Lambda 函數來植入具有測試資料集和 Python 指令碼的 Amazon S3 儲存貯體以進行資料處理。然後，它會訓練機器學習模型，並使用SageMaker 服務整合執行批次轉換。
如需有關 SageMaker 和 Step Functions 服務整合的詳細資訊，請參閱下列內容：
注意
此範例專案可能需要付費。
對於新 AWS 使用者，有免費用量方案可供使用。在此方案中，特定用量層級以下的服務皆為免費。如需關於 AWS 成本和免費方案，請參閱SageMaker 定價
步驟 1：建立狀態機
-
開啟 Step Functions 主控台
，然後選擇建立狀態機器。 -
Preprocess data and train a machine learning model在搜尋方塊中輸入，然後選擇「預處理資料」，並從傳回的搜尋結果中訓練機器學習模型。 -
選擇 Next (下一步) 繼續。
-
選擇 [執行示範] 以建立唯讀和 ready-to-deploy 工作流程，或選擇 [在其上建置] 建立可編輯的狀態機定義，您可以在其上建置並稍後進行部署。
此範例專案會部署下列資源：
-
同時 AWS Lambda 函數
-
Amazon S3 儲存貯體
-
同時 AWS Step Functions 狀態機器
-
相關 AWS Identity and Access Management (IAM) 角色
下圖顯示了「預處理」資料的工作流程圖形，並訓練機器學習模型範例專案：
-
-
選擇「使用範本」繼續進行選取。
接下來的步驟取決於您之前的選擇：
-
執行示範 — 您可以先檢閱狀態機器，然後再建立唯讀專案，其中包含部署的資源 AWS CloudFormation 到您的 AWS 帳戶.
您可以檢視狀態機器定義，當您準備就緒時，請選擇 [部署並執行] 以部署專案並建立資源。
部署最多可能需要 10 分鐘的時間來建立資源和權限。您可以使用「堆疊 ID」連結來監控進度 AWS CloudFormation.
部署完成後，您應該會在控制台中看到新的狀態機器。
-
建立在其上 — 您可以檢閱和編輯工作流程定義。您可能需要在範例專案中設定預留位置的值，然後才能嘗試執行自訂工作流程。
注意
部署到您帳戶的服務可能需要支付標準費用。
步驟 2：運行狀態機
-
在 [狀態電腦] 頁面上，選擇您的範例專案。
-
在範例專案頁面上，選擇 [開始執行]。
-
在 [開始執行] 對話方塊中，執行下列動作：
-
(選擇性) 輸入自訂執行名稱，以覆寫產生的預設值。
非ASCII名稱和記錄
Step Functions 接受包含非ASCII字元的狀態機器、執行項目、活動和標籤的名稱。由於此類字元不適用於 Amazon CloudWatch，因此我們建議您僅使用ASCII字元，以便在中追蹤指標 CloudWatch。
-
(選擇性) 在「輸入」方塊中，將輸入值輸入為JSON。如果您正在運行演示，則可以跳過此步驟。
-
選擇 Start execution (開始執行)。
「Step Functions」主控台會將您導向「執行詳細資訊」頁面，您可以在其中選擇「圖形」檢視中的狀態，以瀏覽步驟詳情窗格中的相關資訊。
-
範例狀態機器程式碼
此示例項目中的狀態機與 SageMaker 和集成 AWS Lambda 將參數直接傳遞給這些資源，並使用 Amazon S3 儲存貯體來進行訓練資料來源和輸出。
瀏覽此範例狀態機器，以瞭解 Step Functions 如何控制 Lambda 和 SageMaker.
有關如何進一步了解 AWS Step Functions 可以控制其他 AWS 服務，請參閱整合服務與 Step Functions。
{
"StartAt": "Generate dataset",
"States": {
"Generate dataset": {
"Resource": "arn:aws:lambda:sa-east-1:1234567890:function:FeatureTransform-LambaForDataGeneration-17M8LX7IO9LUW",
"Type": "Task",
"Next": "Standardization: x' = (x - x̄) / σ"
},
"Standardization: x' = (x - x̄) / σ": {
"Resource": "arn:aws:states:::sagemaker:createProcessingJob.sync",
"Parameters": {
"ProcessingResources": {
"ClusterConfig": {
"InstanceCount": 1,
"InstanceType": "ml.m5.xlarge",
"VolumeSizeInGB": 10
}
},
"ProcessingInputs": [
{
"InputName": "input-1",
"S3Input": {
"S3Uri": "s3://amzn-s3-demo-bucket/input/raw.csv",
"LocalPath": "/opt/ml/processing/input",
"S3DataType": "S3Prefix",
"S3InputMode": "File",
"S3DataDistributionType": "FullyReplicated",
"S3CompressionType": "None"
}
},
{
"InputName": "code",
"S3Input": {
"S3Uri": "s3://amzn-s3-demo-bucket/code/transform.py",
"LocalPath": "/opt/ml/processing/input/code",
"S3DataType": "S3Prefix",
"S3InputMode": "File",
"S3DataDistributionType": "FullyReplicated",
"S3CompressionType": "None"
}
}
],
"ProcessingOutputConfig": {
"Outputs": [
{
"OutputName": "train_data",
"S3Output": {
"S3Uri": "s3://amzn-s3-demo-bucket/train",
"LocalPath": "/opt/ml/processing/output/train",
"S3UploadMode": "EndOfJob"
}
}
]
},
"AppSpecification": {
"ImageUri": "737474898029.dkr.ecr.sa-east-1.amazonaws.com/sagemaker-scikit-learn:0.20.0-cpu-py3",
"ContainerEntrypoint": [
"python3",
"/opt/ml/processing/input/code/transform.py"
]
},
"StoppingCondition": {
"MaxRuntimeInSeconds": 300
},
"RoleArn": "arn:aws:iam::1234567890:role/SageMakerAPIExecutionRole-AIDACKCEVSQ6C2EXAMPLE",
"ProcessingJobName.$": "$$.Execution.Name"
},
"Type": "Task",
"Next": "Train model (XGBoost)"
},
"Train model (XGBoost)": {
"Resource": "arn:aws:states:::sagemaker:createTrainingJob.sync",
"Parameters": {
"AlgorithmSpecification": {
"TrainingImage": "855470959533.dkr.ecr.sa-east-1.amazonaws.com/xgboost:latest",
"TrainingInputMode": "File"
},
"OutputDataConfig": {
"S3OutputPath": "s3://amzn-s3-demo-bucket/models"
},
"StoppingCondition": {
"MaxRuntimeInSeconds": 86400
},
"ResourceConfig": {
"InstanceCount": 1,
"InstanceType": "ml.m5.xlarge",
"VolumeSizeInGB": 30
},
"RoleArn": "arn:aws:iam::1234567890:role/SageMakerAPIExecutionRole-AIDACKCEVSQ6C2EXAMPLE",
"InputDataConfig": [
{
"DataSource": {
"S3DataSource": {
"S3DataDistributionType": "ShardedByS3Key",
"S3DataType": "S3Prefix",
"S3Uri": "s3://amzn-s3-demo-bucket"
}
},
"ChannelName": "train",
"ContentType": "text/csv"
}
],
"HyperParameters": {
"objective": "reg:logistic",
"eval_metric": "rmse",
"num_round": "5"
},
"TrainingJobName.$": "$$.Execution.Name"
},
"Type": "Task",
"End": true
}
}
}有關如何在使用步驟函數與其他功能IAM時進行配置的資訊 AWS 服務，請參閱Step Functions 式如何為整合式服務產生IAM原則。
IAM範例
這些例子 AWS Identity and Access Management (IAM) 範例專案所產生的原則包含執行狀態機器及相關資源所需的最低權限。我們建議您僅在IAM原則中加入必要的權限。
{
"Version": "2012-10-17",
"Statement": [
{
"Action": [
"cloudwatch:PutMetricData",
"logs:CreateLogStream",
"logs:PutLogEvents",
"logs:CreateLogGroup",
"logs:DescribeLogStreams",
"s3:GetObject",
"s3:PutObject",
"s3:ListBucket",
"ecr:GetAuthorizationToken",
"ecr:BatchCheckLayerAvailability",
"ecr:GetDownloadUrlForLayer",
"ecr:BatchGetImage"
],
"Resource": "*",
"Effect": "Allow"
}
]
}下列政策允許 Lambda 函數使用範例資料植入 Amazon S3 儲存貯體。
{
"Version": "2012-10-17",
"Statement": [
{
"Action": [
"s3:PutObject"
],
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket/*",
"Effect": "Allow"
}
]
}有關如何在使用步驟函數與其他功能IAM時進行配置的資訊 AWS 服務，請參閱Step Functions 式如何為整合式服務產生IAM原則。
