Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Lancer une requête Athena et envoyer une notification de résultats
Cet exemple de projet montre comment utiliser Step Functions et Amazon Athena pour démarrer une requête Athena et envoyer une notification avec les résultats de la requête à l'aide de flux de travail standard.
Dans ce projet, Step Functions utilise des fonctions Lambda et un AWS Glue robot d'exploration pour générer un ensemble d'exemples de données. Il exécute ensuite une requête à l'aide de l'intégration du service Athena et renvoie les résultats à l'aide d'un SNS sujet.
Pour plus d'informations sur les intégrations des services Athena et Step Functions, consultez les rubriques suivantes :
Note
Cet exemple de projet peut entraîner des frais.
Pour AWS les nouveaux utilisateurs, un niveau d'utilisation gratuit est disponible. Dans cette offre, les services sont gratuits en-dessous d'un certain niveau d'utilisation. Pour plus d'informations sur AWS les coûts et le niveau gratuit, consultez la section Tarification d'Athena
Étape 1 : créer la machine à états et provisionner les ressources
-
Ouvrez la console Step Functions
et choisissez Create state machine. -
Tapez
Start an Athena querydans la zone de recherche, puis choisissez Lancer une Athena requête à partir des résultats de recherche renvoyés. -
Choisissez Next (Suivant) pour continuer.
-
Step Functions répertorie les AWS services éléments utilisés dans l'exemple de projet que vous avez sélectionné. Il montre également un graphique de flux de travail pour l'exemple de projet. Déployez ce projet sur votre site Compte AWS ou utilisez-le comme point de départ pour créer vos propres projets. Selon la façon dont vous souhaitez procéder, choisissez Exécuter une démo ou Construire à partir de celle-ci.
Cet exemple de projet déploie les ressources suivantes :
-
Une Amazon Athena requête
-
Un AWS Glue crawler
-
Une rubrique Amazon SNS
-
Machine d'état AWS Step Functions
-
Rôles AWS Identity and Access Management (IAM) connexes
L'image suivante montre le graphique du flux de travail de l'exemple de projet Démarrer une Athena requête :
-
-
Choisissez Utiliser le modèle pour poursuivre votre sélection.
-
Effectuez l’une des actions suivantes :
-
Si vous avez sélectionné Build on it, Step Functions crée le prototype de flux de travail, mais ne déploie pas les ressources contenues dans la définition du flux de travail. Vous pouvez donc continuer à développer votre prototype de flux de travail.
Dans Workflow StudioMode de conception, vous pouvez ajouter des états à votre prototype de flux de travail. Vous pouvez également passer Mode code à l'éditeur de code intégré pour modifier la définition Amazon States Language (ASL) de votre machine à états depuis la console Step Functions.
Important
Vous devrez peut-être mettre à jour l'espace réservé Amazon Resource Name (ARN) pour les ressources utilisées dans l'exemple de projet avant de pouvoir exécuter votre flux de travail.
-
Si vous avez sélectionné Run a demo, Step Functions crée un projet en lecture seule qui utilise un AWS CloudFormation modèle pour déployer les AWS ressources de ce modèle sur votre. Compte AWS Vous pouvez consulter la définition de la machine à états en choisissant le mode Code.
Choisissez Déployer et exécuter pour déployer le projet et créer les ressources.
Notez que le déploiement peut prendre jusqu'à 10 minutes pour créer des ressources et IAM des autorisations. Pendant le déploiement de vos ressources, vous pouvez ouvrir le lien AWS CloudFormation Stack ID pour voir quelles ressources sont mises en service.
Une fois que toutes les ressources ont été créées, vous devriez voir le projet sur la page State machines de la console.
Important
Des frais standard peuvent s'appliquer pour chaque service utilisé dans le CloudFormation modèle.
-
Étape 2 : Exécuter la machine à états
-
Sur la page State machines, choisissez votre exemple de projet.
-
Sur la page d'exemple de projet, choisissez Démarrer l'exécution.
-
Dans la boîte de dialogue Démarrer l'exécution, procédez comme suit :
-
(Facultatif) Pour identifier votre exécution, vous pouvez spécifier un nom ou utiliser le nom d'exécution généré par défaut.
Note
Step Functions accepte les noms des machines d'état, des exécutions, des activités et des étiquettes contenant des caractères autres que des ASCII caractères. Étant donné que les noms ne contenant pas de ASCII caractères ne fonctionneront pas avec Amazon CloudWatch, nous vous recommandons de n'utiliser que ASCII des caractères afin de pouvoir suivre les statistiques. CloudWatch
-
(Facultatif) Dans la zone de saisie, entrez les valeurs d'entrée au JSON format permettant d'exécuter votre flux de travail.
Si vous avez choisi d'exécuter une démo, vous n'avez pas besoin de fournir d'entrée d'exécution.
Note
Si le projet de démonstration que vous avez déployé contient des données d'entrée d'exécution préremplies, utilisez ces entrées pour exécuter la machine à états.
-
Choisissez Start execution (Démarrer l'exécution).
-
La console Step Functions vous dirige vers une page intitulée avec votre ID d'exécution. Cette page est connue sous le nom de page Détails de l'exécution. Sur cette page, vous pouvez consulter les résultats de l'exécution au fur et à mesure que l'exécution progresse ou une fois celle-ci terminée.
Pour consulter les résultats de l'exécution, choisissez des états individuels dans la vue graphique, puis choisissez les onglets individuels du Détails de l'étape volet pour afficher les détails de chaque état, y compris les entrées, les sorties et la définition respectivement. Pour plus de détails sur les informations d'exécution que vous pouvez consulter sur la page Détails de l'exécution, voirPage de détails d'exécution — Vue d'ensemble de l'interface.
-
Exemple de code de machine d'état
Dans cet exemple de projet, la machine à états s'intègre à Athena AWS Lambda en transmettant des paramètres directement à ces ressources, et utilise un SNS sujet pour renvoyer les résultats de la requête.
Parcourez cet exemple de machine à états pour découvrir comment Step Functions contrôle Lambda et Athena.
Pour plus d'informations sur la manière de AWS Step Functions contrôler d'autres AWS services, consultezIntégration d'autres services avec Step Functions.
{
"StartAt": "Generate example log",
"States": {
"Generate example log": {
"Resource": "arn:aws:lambda:us-east-1:111122223333:function:StepFunctionsSample-Athena-LambdaForDataGeneration-AKIAIOSFODNN7EXAMPLE",
"Type": "Task",
"Next": "Run Glue crawler"
},
"Run Glue crawler": {
"Resource": "arn:aws:lambda:us-east-1:111122223333:function:StepFunctionsSample-Athen-LambdaForInvokingCrawler-AKIAI44QH8DHBEXAMPLE",
"Type": "Task",
"Next": "Start an Athena query"
},
"Start an Athena query": {
"Resource": "arn:aws:states:::athena:startQueryExecution.sync",
"Parameters": {
"QueryString": "SELECT * FROM \"athena-sample-project-db-wJalrXUtnFEMI\".\"log\" limit 1",
"WorkGroup": "stepfunctions-athena-sample-project-workgroup-wJalrXUtnFEMI"
},
"Type": "Task",
"Next": "Get query results"
},
"Get query results": {
"Resource": "arn:aws:states:::athena:getQueryResults",
"Parameters": {
"QueryExecutionId.$": "$.QueryExecution.QueryExecutionId"
},
"Type": "Task",
"Next": "Send query results"
},
"Send query results": {
"Resource": "arn:aws:states:::sns:publish",
"Parameters": {
"TopicArn": "arn:aws:sns:us-east-1:111122223333:StepFunctionsSample-AthenaDataQueryd1111-2222-3333-777788889999-SNSTopic-ANPAJ2UCCR6DPCEXAMPLE",
"Message": {
"Input.$": "$.ResultSet.Rows"
}
},
"Type": "Task",
"End": true
}
}
}Pour plus d'informations sur la configuration IAM lors de l'utilisation de Step Functions avec d'autres AWS services, consultezComment Step Functions génère IAM des politiques pour les services intégrés.
IAMExemple
Ces politiques d'exemple AWS Identity and Access Management (IAM) générées par l'exemple de projet incluent le moindre privilège nécessaire pour exécuter la machine à états et les ressources associées. Nous vous recommandons de n'inclure que les autorisations nécessaires dans vos IAM politiques.
{
"Version": "2012-10-17",
"Statement": [
{
"Action": [
"lambda:InvokeFunction"
],
"Resource": [
"arn:aws:lambda:us-east-1:111122223333:function:StepFunctionsSample-Athena-LambdaForDataGeneration-AKIAIOSFODNN7EXAMPLE",
"arn:aws:lambda:us-east-1:111122223333:function:StepFunctionsSample-Athen-LambdaForInvokingCrawler-AKIAI44QH8DHBEXAMPLE"
],
"Effect": "Allow"
},
{
"Action": [
"sns:Publish"
],
"Resource": [
"arn:aws:sns:us-east-1:111122223333:StepFunctionsSample-AthenaDataQueryd1111-2222-3333-777788889999-SNSTopic-ANPAJ2UCCR6DPCEXAMPLE"
],
"Effect": "Allow"
},
{
"Action": [
"athena:getQueryResults",
"athena:startQueryExecution",
"athena:stopQueryExecution",
"athena:getQueryExecution",
"athena:getDataCatalog"
],
"Resource": [
"arn:aws:athena:us-east-1:111122223333:workgroup/stepfunctions-athena-sample-project-workgroup-wJalrXUtnFEMI",
"arn:aws:athena:us-east-1:111122223333:datacatalog/*"
],
"Effect": "Allow"
},
{
"Action": [
"s3:GetBucketLocation",
"s3:GetObject",
"s3:ListBucket",
"s3:ListBucketMultipartUploads",
"s3:ListMultipartUploadParts",
"s3:AbortMultipartUpload",
"s3:CreateBucket",
"s3:PutObject"
],
"Resource": "arn:aws:s3:::*",
"Effect": "Allow"
},
{
"Action": [
"glue:CreateDatabase",
"glue:GetDatabase",
"glue:GetDatabases",
"glue:UpdateDatabase",
"glue:DeleteDatabase",
"glue:CreateTable",
"glue:UpdateTable",
"glue:GetTable",
"glue:GetTables",
"glue:DeleteTable",
"glue:BatchDeleteTable",
"glue:BatchCreatePartition",
"glue:CreatePartition",
"glue:UpdatePartition",
"glue:GetPartition",
"glue:GetPartitions",
"glue:BatchGetPartition",
"glue:DeletePartition",
"glue:BatchDeletePartition"
],
"Resource": [
"arn:aws:glue:us-east-1:111122223333:database/*",
"arn:aws:glue:us-east-1:111122223333:table/*",
"arn:aws:glue:us-east-1:111122223333:catalog"
],
"Effect": "Allow"
}
]
}Pour plus d'informations sur la configuration IAM lors de l'utilisation de Step Functions avec d'autres AWS services, consultezComment Step Functions génère IAM des politiques pour les services intégrés.
