Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Preelabora i dati e addestra un modello di machine learning con Amazon SageMaker
Questo progetto di esempio dimostra come utilizzare SageMaker e preelaborare i dati e AWS Step Functions addestrare un modello di apprendimento automatico.
In questo progetto, Step Functions utilizza una funzione Lambda per seminare un bucket Amazon S3 con un set di dati di test e uno script Python per l'elaborazione dei dati. Quindi addestra un modello di apprendimento automatico ed esegue una trasformazione in batch, utilizzando l'integrazione del servizio. SageMaker
Per ulteriori informazioni sulle SageMaker integrazioni dei servizi Step Functions, consulta quanto segue:
Nota
Questo progetto di esempio potrebbe comportare costi.
Per i nuovi AWS utenti, è disponibile un livello di utilizzo gratuito. In questo piano, i servizi sono gratuiti al di sotto di un determinato livello di utilizzo. Per ulteriori informazioni sui AWS costi e sul piano gratuito, consulta la sezione SageMaker Prezzi
Fase 1: Creazione della macchina a stati e fornitura delle risorse
-
Apri la console Step Functions
e scegli Crea macchina a stati. -
Digita
Preprocess data and train a machine learning model
nella casella di ricerca, quindi scegli Preelabora i dati e addestra un modello di apprendimento automatico dai risultati della ricerca restituiti. -
Seleziona Successivo per continuare.
-
Step Functions elenca quelli AWS servizi utilizzati nel progetto di esempio selezionato. Mostra anche un grafico del flusso di lavoro per il progetto di esempio. Implementa questo progetto sul tuo Account AWS o usalo come punto di partenza per creare i tuoi progetti. In base a come vuoi procedere, scegli Esegui una demo o Sviluppa su di essa.
Questo progetto di esempio utilizza le seguenti risorse:
-
Una funzione AWS Lambda
-
Un bucket Amazon S3
-
Una macchina AWS Step Functions statale
-
Ruoli correlati AWS Identity and Access Management (IAM)
L'immagine seguente mostra il grafico del flusso di lavoro per i dati di preelaborazione e addestra un progetto di esempio di modello di apprendimento automatico:
-
-
Scegliete Usa modello per continuare con la selezione.
-
Esegui una di queste operazioni:
-
Se hai selezionato Costruisci su di esso, Step Functions crea il prototipo del flusso di lavoro, ma non distribuisce le risorse nella definizione del flusso di lavoro, quindi puoi continuare a creare il tuo prototipo di flusso di lavoro.
In Workflow Studiomodalità di progettazione, puoi aggiungere stati al tuo prototipo di flusso di lavoro. In alternativa, puoi passare Modalità codice a utilizzare l'editor di codice integrato per modificare la definizione Amazon States Language (ASL) della tua macchina a stati dalla console Step Functions.
Importante
Potrebbe essere necessario aggiornare il segnaposto Amazon Resource Name (ARN) per le risorse utilizzate nel progetto di esempio prima di poter eseguire il flusso di lavoro.
-
Se hai selezionato Esegui una demo, Step Functions crea un progetto di sola lettura che utilizza un AWS CloudFormation modello per distribuire le AWS risorse di quel modello sul tuo. Account AWSÈ possibile visualizzare la definizione della macchina a stati scegliendo la modalità Codice.
Scegli Distribuisci ed esegui per distribuire il progetto e creare le risorse.
Tieni presente che la creazione di risorse e IAM autorizzazioni può richiedere fino a 10 minuti per la distribuzione. Durante la distribuzione delle risorse, puoi aprire il link AWS CloudFormation Stack ID per vedere quali risorse vengono fornite.
Dopo aver creato tutte le risorse, dovresti vedere il progetto nella pagina State machines della console.
Importante
Potrebbero essere applicate tariffe standard per ogni servizio utilizzato nel CloudFormation modello.
-
Fase 2: Eseguire la macchina a stati
-
Nella pagina Macchine a stati, scegli il tuo progetto di esempio.
-
Nella pagina del progetto di esempio, scegli Avvia esecuzione.
-
Nella finestra di dialogo Avvia esecuzione, effettuate le seguenti operazioni:
-
(Facoltativo) Per identificare l'esecuzione, è possibile specificare un nome o utilizzare il nome di esecuzione generato di default.
Nota
Step Functions accetta nomi per macchine a stati, esecuzioni, attività ed etichette che contengono non ASCII caratteri. Poiché i nomi senza ASCII caratteri non funzionano con Amazon CloudWatch, ti consigliamo di utilizzare solo ASCII caratteri per tenere traccia delle metriche. CloudWatch
-
(Facoltativo) Nella casella Input, inserisci i valori di input nel JSON formato per eseguire il flusso di lavoro.
Se avete scelto di eseguire una demo, non è necessario fornire alcun input di esecuzione.
Nota
Se il progetto demo che hai distribuito contiene dati di input di esecuzione precompilati, usa quell'input per eseguire la macchina a stati.
-
Selezionare Start execution (Avvia esecuzione).
-
La console Step Functions ti indirizza a una pagina intitolata con il tuo ID di esecuzione. Questa pagina è nota come pagina dei dettagli di esecuzione. In questa pagina è possibile esaminare i risultati dell'esecuzione man mano che l'esecuzione procede o dopo il suo completamento.
Per esaminare i risultati dell'esecuzione, scegliete i singoli stati nella vista Grafico, quindi scegliete le singole schede Dettagli del passaggio nel riquadro per visualizzare i dettagli di ogni stato, inclusi rispettivamente input, output e definizione. Per i dettagli sulle informazioni sull'esecuzione che è possibile visualizzare nella pagina Dettagli di esecuzione, vederePagina dei dettagli di esecuzione: panoramica dell'interfaccia.
-
Esempio di codice della macchina a stati
La macchina a stati di questo progetto di esempio si integra con SageMaker e AWS Lambda passando i parametri direttamente a tali risorse e utilizza un bucket Amazon S3 per l'origine e l'output dei dati di addestramento.
Sfoglia questo esempio di macchina a stati per vedere come Step Functions controlla Lambda e. SageMaker
Per ulteriori informazioni su come AWS Step Functions controllare altri AWS servizi, consultaIntegrazione di altri servizi con Step Functions.
{
"StartAt": "Generate dataset",
"States": {
"Generate dataset": {
"Resource": "arn:aws:lambda:sa-east-1:1234567890:function:FeatureTransform-LambaForDataGeneration-17M8LX7IO9LUW",
"Type": "Task",
"Next": "Standardization: x' = (x - x̄) / σ"
},
"Standardization: x' = (x - x̄) / σ": {
"Resource": "arn:aws:states:::sagemaker:createProcessingJob.sync",
"Parameters": {
"ProcessingResources": {
"ClusterConfig": {
"InstanceCount": 1,
"InstanceType": "ml.m5.xlarge",
"VolumeSizeInGB": 10
}
},
"ProcessingInputs": [
{
"InputName": "input-1",
"S3Input": {
"S3Uri": "s3://featuretransform-bucketforcodeanddata-1jn1le6gadwfz/input/raw.csv",
"LocalPath": "/opt/ml/processing/input",
"S3DataType": "S3Prefix",
"S3InputMode": "File",
"S3DataDistributionType": "FullyReplicated",
"S3CompressionType": "None"
}
},
{
"InputName": "code",
"S3Input": {
"S3Uri": "s3://featuretransform-bucketforcodeanddata-1jn1le6gadwfz/code/transform.py",
"LocalPath": "/opt/ml/processing/input/code",
"S3DataType": "S3Prefix",
"S3InputMode": "File",
"S3DataDistributionType": "FullyReplicated",
"S3CompressionType": "None"
}
}
],
"ProcessingOutputConfig": {
"Outputs": [
{
"OutputName": "train_data",
"S3Output": {
"S3Uri": "s3://featuretransform-bucketforcodeanddata-1jn1le6gadwfz/train",
"LocalPath": "/opt/ml/processing/output/train",
"S3UploadMode": "EndOfJob"
}
}
]
},
"AppSpecification": {
"ImageUri": "737474898029.dkr.ecr.sa-east-1.amazonaws.com/sagemaker-scikit-learn:0.20.0-cpu-py3",
"ContainerEntrypoint": [
"python3",
"/opt/ml/processing/input/code/transform.py"
]
},
"StoppingCondition": {
"MaxRuntimeInSeconds": 300
},
"RoleArn": "arn:aws:iam::1234567890:role/SageMakerAPIExecutionRole-AIDACKCEVSQ6C2EXAMPLE",
"ProcessingJobName.$": "$$.Execution.Name"
},
"Type": "Task",
"Next": "Train model (XGBoost)"
},
"Train model (XGBoost)": {
"Resource": "arn:aws:states:::sagemaker:createTrainingJob.sync",
"Parameters": {
"AlgorithmSpecification": {
"TrainingImage": "855470959533.dkr.ecr.sa-east-1.amazonaws.com/xgboost:latest",
"TrainingInputMode": "File"
},
"OutputDataConfig": {
"S3OutputPath": "s3://featuretransform-bucketforcodeanddata-1jn1le6gadwfz/models"
},
"StoppingCondition": {
"MaxRuntimeInSeconds": 86400
},
"ResourceConfig": {
"InstanceCount": 1,
"InstanceType": "ml.m5.xlarge",
"VolumeSizeInGB": 30
},
"RoleArn": "arn:aws:iam::1234567890:role/SageMakerAPIExecutionRole-AIDACKCEVSQ6C2EXAMPLE",
"InputDataConfig": [
{
"DataSource": {
"S3DataSource": {
"S3DataDistributionType": "ShardedByS3Key",
"S3DataType": "S3Prefix",
"S3Uri": "s3://featuretransform-bucketforcodeanddata-1jn1le6gadwfz"
}
},
"ChannelName": "train",
"ContentType": "text/csv"
}
],
"HyperParameters": {
"objective": "reg:logistic",
"eval_metric": "rmse",
"num_round": "5"
},
"TrainingJobName.$": "$$.Execution.Name"
},
"Type": "Task",
"End": true
}
}
}
Per informazioni su come configurare l'IAMutilizzo di Step Functions con altri AWS servizi, vedereIn che modo Step Functions genera IAM politiche per servizi integrati.
IAMEsempio
Queste politiche di esempio AWS Identity and Access Management (IAM) generate dal progetto di esempio includono il minimo privilegio necessario per eseguire la macchina a stati e le risorse correlate. Ti consigliamo di includere solo le autorizzazioni necessarie nelle tue IAM politiche.
{
"Version": "2012-10-17",
"Statement": [
{
"Action": [
"cloudwatch:PutMetricData",
"logs:CreateLogStream",
"logs:PutLogEvents",
"logs:CreateLogGroup",
"logs:DescribeLogStreams",
"s3:GetObject",
"s3:PutObject",
"s3:ListBucket",
"ecr:GetAuthorizationToken",
"ecr:BatchCheckLayerAvailability",
"ecr:GetDownloadUrlForLayer",
"ecr:BatchGetImage"
],
"Resource": "*",
"Effect": "Allow"
}
]
}
La seguente policy consente alla funzione Lambda di seminare il bucket Amazon S3 con dati di esempio.
{
"Version": "2012-10-17",
"Statement": [
{
"Action": [
"s3:PutObject"
],
"Resource": "arn:aws:s3:::featuretransform-bucketforcodeanddata-1jn1le6gadwfz/*",
"Effect": "Allow"
}
]
}
Per informazioni su come configurare l'IAMutilizzo di Step Functions con altri AWS servizi, vedereIn che modo Step Functions genera IAM politiche per servizi integrati.