Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Formez un modèle de machine learning à l'aide d'Amazon SageMaker
Cet exemple de projet montre comment utiliser SageMaker et AWS Step Functions entraîner un modèle d'apprentissage automatique et comment transformer par lots un ensemble de données de test.
Dans ce projet, Step Functions utilise une fonction Lambda pour ajouter un ensemble de données de test à un bucket Amazon S3. Il entraîne ensuite un modèle d'apprentissage automatique et effectue une transformation par lots en utilisant l'intégration SageMaker de services.
Pour plus d'informations sur les intégrations de services Step Functions SageMaker et sur celles-ci, consultez les rubriques suivantes :
Note
Cet exemple de projet peut entraîner des frais.
Pour AWS les nouveaux utilisateurs, un niveau d'utilisation gratuit est disponible. Dans cette offre, les services sont gratuits en-dessous d'un certain niveau d'utilisation. Pour plus d'informations sur AWS les coûts et le niveau gratuit, consultez la section SageMaker Tarification
Étape 1 : créer la machine à états et provisionner les ressources
-
Ouvrez la console Step Functions
et choisissez Create state machine. -
Tapez
Train a machine learning model
dans le champ de recherche, puis choisissez Entraîner un modèle d'apprentissage automatique à partir des résultats de recherche renvoyés. -
Choisissez Next (Suivant) pour continuer.
-
Step Functions répertorie les AWS services éléments utilisés dans l'exemple de projet que vous avez sélectionné. Il montre également un graphique de flux de travail pour l'exemple de projet. Déployez ce projet sur votre site Compte AWS ou utilisez-le comme point de départ pour créer vos propres projets. Selon la façon dont vous souhaitez procéder, choisissez Exécuter une démo ou Construire à partir de celle-ci.
Cet exemple de projet déploie les ressources suivantes :
-
Une AWS Lambda fonction
-
Un compartiment Amazon Simple Storage Service (Amazon S3)
-
Une machine AWS Step Functions étatique
-
Rôles associés AWS Identity and Access Management (IAM)
L'image suivante montre le graphique du flux de travail de l'exemple de projet Train a machine learning model :
-
-
Choisissez Utiliser le modèle pour poursuivre votre sélection.
-
Effectuez l’une des actions suivantes :
-
Si vous avez sélectionné Build on it, Step Functions crée le prototype de flux de travail, mais ne déploie pas les ressources contenues dans la définition du flux de travail. Vous pouvez donc continuer à développer votre prototype de flux de travail.
Dans Workflow StudioMode de conception, vous pouvez ajouter des états à votre prototype de flux de travail. Vous pouvez également passer Mode code à l'éditeur de code intégré pour modifier la définition Amazon States Language (ASL) de votre machine à états depuis la console Step Functions.
Important
Vous devrez peut-être mettre à jour l'espace réservé Amazon Resource Name (ARN) pour les ressources utilisées dans l'exemple de projet avant de pouvoir exécuter votre flux de travail.
-
Si vous avez sélectionné Run a demo, Step Functions crée un projet en lecture seule qui utilise un AWS CloudFormation modèle pour déployer les AWS ressources de ce modèle sur votre. Compte AWS Vous pouvez consulter la définition de la machine à états en choisissant le mode Code.
Choisissez Déployer et exécuter pour déployer le projet et créer les ressources.
Notez que le déploiement peut prendre jusqu'à 10 minutes pour créer des ressources et IAM des autorisations. Pendant le déploiement de vos ressources, vous pouvez ouvrir le lien AWS CloudFormation Stack ID pour voir quelles ressources sont mises en service.
Une fois que toutes les ressources ont été créées, vous devriez voir le projet sur la page State machines de la console.
Important
Des frais standard peuvent s'appliquer pour chaque service utilisé dans le CloudFormation modèle.
-
Étape 2 : Exécuter la machine à états
-
Sur la page State machines, choisissez votre exemple de projet.
-
Sur la page d'exemple de projet, choisissez Démarrer l'exécution.
-
Dans la boîte de dialogue Démarrer l'exécution, procédez comme suit :
-
(Facultatif) Pour identifier votre exécution, vous pouvez spécifier un nom ou utiliser le nom d'exécution généré par défaut.
Note
Step Functions accepte les noms des machines d'état, des exécutions, des activités et des étiquettes contenant des caractères autres que des ASCII caractères. Étant donné que les noms ne contenant pas de ASCII caractères ne fonctionneront pas avec Amazon CloudWatch, nous vous recommandons de n'utiliser que ASCII des caractères afin de pouvoir suivre les statistiques. CloudWatch
-
(Facultatif) Dans la zone de saisie, entrez les valeurs d'entrée au JSON format permettant d'exécuter votre flux de travail.
Si vous avez choisi d'exécuter une démo, vous n'avez pas besoin de fournir d'entrée d'exécution.
Note
Si le projet de démonstration que vous avez déployé contient des données d'entrée d'exécution préremplies, utilisez ces entrées pour exécuter la machine à états.
-
Choisissez Start execution (Démarrer l'exécution).
-
La console Step Functions vous dirige vers une page intitulée avec votre ID d'exécution. Cette page est connue sous le nom de page Détails de l'exécution. Sur cette page, vous pouvez consulter les résultats de l'exécution au fur et à mesure que l'exécution progresse ou une fois celle-ci terminée.
Pour consulter les résultats de l'exécution, choisissez des états individuels dans la vue graphique, puis choisissez les onglets individuels du Détails de l'étape volet pour afficher les détails de chaque état, y compris les entrées, les sorties et la définition respectivement. Pour plus de détails sur les informations d'exécution que vous pouvez consulter sur la page Détails de l'exécution, voirPage de détails d'exécution — Vue d'ensemble de l'interface.
-
Exemple de code de machine d'état
Dans cet exemple de projet, la machine à états s'intègre à ces ressources SageMaker et AWS Lambda leur transmet des paramètres directement, et utilise un compartiment Amazon S3 pour la source et la sortie des données d'entraînement.
Parcourez cet exemple de machine à états pour découvrir comment Step Functions contrôle Lambda et. SageMaker
Pour plus d'informations sur la manière de AWS Step Functions contrôler d'autres AWS services, consultezIntégration d'autres services avec Step Functions.
{
"StartAt": "Generate dataset",
"States": {
"Generate dataset": {
"Resource": "arn:aws:lambda:us-west-2:123456789012:function:TrainAndBatchTransform-SeedingFunction-17RNSOTG97HPV",
"Type": "Task",
"Next": "Train model (XGBoost)"
},
"Train model (XGBoost)": {
"Resource": "arn:aws:states:::sagemaker:createTrainingJob.sync",
"Parameters": {
"AlgorithmSpecification": {
"TrainingImage": "433757028032.dkr.ecr.us-west-2.amazonaws.com/xgboost:latest",
"TrainingInputMode": "File"
},
"OutputDataConfig": {
"S3OutputPath": "s3://trainandbatchtransform-s3bucket-1jn1le6gadwfz/models"
},
"StoppingCondition": {
"MaxRuntimeInSeconds": 86400
},
"ResourceConfig": {
"InstanceCount": 1,
"InstanceType": "ml.m4.xlarge",
"VolumeSizeInGB": 30
},
"RoleArn": "arn:aws:iam::123456789012:role/TrainAndBatchTransform-SageMakerAPIExecutionRole-Y9IX3DLF6EUO",
"InputDataConfig": [
{
"DataSource": {
"S3DataSource": {
"S3DataDistributionType": "ShardedByS3Key",
"S3DataType": "S3Prefix",
"S3Uri": "s3://trainandbatchtransform-s3bucket-1jn1le6gadwfz/csv/train.csv"
}
},
"ChannelName": "train",
"ContentType": "text/csv"
}
],
"HyperParameters": {
"objective": "reg:logistic",
"eval_metric": "rmse",
"num_round": "5"
},
"TrainingJobName.$": "$$.Execution.Name"
},
"Type": "Task",
"Next": "Save Model"
},
"Save Model": {
"Parameters": {
"PrimaryContainer": {
"Image": "433757028032.dkr.ecr.us-west-2.amazonaws.com/xgboost:latest",
"Environment": {},
"ModelDataUrl.$": "$.ModelArtifacts.S3ModelArtifacts"
},
"ExecutionRoleArn": "arn:aws:iam::123456789012:role/TrainAndBatchTransform-SageMakerAPIExecutionRole-Y9IX3DLF6EUO",
"ModelName.$": "$.TrainingJobName"
},
"Resource": "arn:aws:states:::sagemaker:createModel",
"Type": "Task",
"Next": "Batch transform"
},
"Batch transform": {
"Type": "Task",
"Resource": "arn:aws:states:::sagemaker:createTransformJob.sync",
"Parameters": {
"ModelName.$": "$$.Execution.Name",
"TransformInput": {
"CompressionType": "None",
"ContentType": "text/csv",
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3://trainandbatchtransform-s3bucket-1jn1le6gadwfz/csv/test.csv"
}
}
},
"TransformOutput": {
"S3OutputPath": "s3://trainandbatchtransform-s3bucket-1jn1le6gadwfz/output"
},
"TransformResources": {
"InstanceCount": 1,
"InstanceType": "ml.m4.xlarge"
},
"TransformJobName.$": "$$.Execution.Name"
},
"End": true
}
}
}
Pour plus d'informations sur la configuration IAM lors de l'utilisation de Step Functions avec d'autres AWS services, consultezComment Step Functions génère IAM des politiques pour les services intégrés.
IAMExemple
Ces politiques d'exemple AWS Identity and Access Management (IAM) générées par l'exemple de projet incluent le moindre privilège nécessaire pour exécuter la machine à états et les ressources associées. Nous vous recommandons de n'inclure que les autorisations nécessaires dans vos IAM politiques.
{
"Version": "2012-10-17",
"Statement": [
{
"Action": [
"cloudwatch:PutMetricData",
"logs:CreateLogStream",
"logs:PutLogEvents",
"logs:CreateLogGroup",
"logs:DescribeLogStreams",
"s3:GetObject",
"s3:PutObject",
"s3:ListBucket",
"ecr:GetAuthorizationToken",
"ecr:BatchCheckLayerAvailability",
"ecr:GetDownloadUrlForLayer",
"ecr:BatchGetImage"
],
"Resource": "*",
"Effect": "Allow"
}
]
}
La politique suivante permet à la fonction Lambda d'ensemencer le compartiment Amazon S3 avec des exemples de données.
{
"Version": "2012-10-17",
"Statement": [
{
"Action": [
"s3:PutObject"
],
"Resource": "arn:aws:s3:::trainandbatchtransform-s3bucket-1jn1le6gadwfz/*",
"Effect": "Allow"
}
]
}
Pour plus d'informations sur la configuration IAM lors de l'utilisation de Step Functions avec d'autres AWS services, consultezComment Step Functions génère IAM des politiques pour les services intégrés.