Exécutez un ELT flux de travailETL/à l'aide de Step Functions et d'Amazon Redshift API - AWS Step Functions
Étape 1 : Création de la machine à étatsÉtape 2 : Exécuter la machine à états

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Exécutez un ELT flux de travailETL/à l'aide de Step Functions et d'Amazon Redshift API

Cet exemple de projet montre comment utiliser Step Functions et Amazon Redshift Data API pour exécuter un ELT flux de travailETL/qui charge des données dans l'entrepôt de données Amazon Redshift.

Dans ce projet, Step Functions utilise une AWS Lambda fonction et les données Amazon Redshift API pour créer les objets de base de données requis et générer un ensemble de données d'exemple, puis exécute deux tâches en parallèle qui consistent à charger des tables de dimensions, suivies d'une table de faits. Une fois que les deux tâches de chargement des dimensions sont terminées avec succès, Step Functions exécute la tâche de chargement pour la table d'information, exécute la tâche de validation, puis met en pause le cluster Amazon Redshift.

Note

Vous pouvez modifier la ETL logique pour recevoir des données provenant d'autres sources telles qu'Amazon S3, qui peut utiliser la COPYcommande pour copier des données d'Amazon S3 vers une table Amazon Redshift.

Pour plus d'informations sur les intégrations des services Amazon Redshift et Step Functions, consultez les guides suivants :

Pour plus d'informations sur IAM les politiques relatives à Lambda et Amazon Redshift, consultez les guides suivants :

Note

Cet exemple de projet peut entraîner des frais.

Pour AWS les nouveaux utilisateurs, un niveau d'utilisation gratuit est disponible. Dans cette offre, les services sont gratuits en-dessous d'un certain niveau d'utilisation. Pour plus d'informations sur AWS les coûts et le niveau gratuit, consultez AWS Step Functions les tarifs.

Étape 1 : Création de la machine à états

  1. Ouvrez la console Step Functions et choisissez Create state machine.

  2. Recherchez et choisissez le modèle de démarrage avec lequel vous souhaitez travailler. Choisissez Next (Suivant) pour continuer.

  3. Choisissez Exécuter une démo pour créer un ready-to-deploy flux de travail en lecture seule ou choisissez Construire dessus pour créer une définition de machine à états modifiable sur laquelle vous pourrez vous appuyer pour la déployer ultérieurement.

  4. Choisissez Utiliser le modèle pour poursuivre votre sélection.

Les prochaines étapes dépendent de votre choix précédent :

  1. Exécuter une démonstration : vous pouvez consulter la machine à états avant de créer un projet en lecture seule avec des ressources déployées par AWS CloudFormation votre. Compte AWS

    Vous pouvez consulter la définition de la machine d'état et, lorsque vous êtes prêt, choisissez Déployer et exécuter pour déployer le projet et créer les ressources.

    Le déploiement peut prendre jusqu'à 10 minutes pour créer des ressources et des autorisations. Vous pouvez utiliser le lien Stack ID pour suivre la progression dans AWS CloudFormation.

    Une fois le déploiement terminé, vous devriez voir votre nouvelle machine d'état dans la console.

  2. Tirez parti de cette information : vous pouvez revoir et modifier la définition du flux de travail. Vous devrez peut-être définir des valeurs pour les espaces réservés dans l'exemple de projet avant de tenter d'exécuter votre flux de travail personnalisé.

Note

Des frais standard peuvent s'appliquer pour les services déployés sur votre compte.

Étape 2 : Exécuter la machine à états

  1. Sur la page State machines, choisissez votre exemple de projet.

  2. Sur la page d'exemple de projet, choisissez Démarrer l'exécution.

  3. Dans la boîte de dialogue Démarrer l'exécution, procédez comme suit :

    1. (Facultatif) Entrez un nom d'exécution personnalisé pour remplacer le nom par défaut généré.

      ASCIINon-noms et journalisation

      Step Functions accepte les noms des machines d'état, des exécutions, des activités et des étiquettes contenant des caractères autres que des ASCII caractères. Comme ces caractères ne fonctionneront pas avec Amazon CloudWatch, nous vous recommandons de n'utiliser que des ASCII caractères afin de pouvoir suivre les statistiques CloudWatch.

    2. (Facultatif) Dans la zone de saisie, entrez les valeurs d'entrée sous la formeJSON. Vous pouvez ignorer cette étape si vous lancez une démonstration.

    3. Choisissez Start execution (Démarrer l'exécution).

    La console Step Functions vous dirige vers une page de détails d'exécution où vous pouvez choisir les états dans la vue graphique pour explorer les informations associées dans le Détails de l'étape volet.

Félicitations !

Vous devriez maintenant disposer d'une démo en cours d'exécution ou d'une définition de machine à états que vous pouvez personnaliser.