View a markdown version of this page

Création et utilisation AWS Glue DataBrew projects - AWS Glue DataBrew Guide du développeur
Création d’un projet

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création et utilisation AWS Glue DataBrew projects

En AWS Glue DataBrew, un projet est la pièce maîtresse de vos efforts d'analyse et de transformation des données.

Lorsque vous créez un projet, vous réunissez deux éléments fondamentaux :

La DataBrew console présente votre projet dans une interface utilisateur intuitive et hautement interactive. Il vous encourage à expérimenter des centaines de transformations de données, afin que vous puissiez découvrir comment elles fonctionnent et quel effet elles ont sur vos données.

Les données que vous voyez dans la vue du projet sont un échantillon de votre ensemble de données. Les ensembles de données pouvant être très volumineux, avec des milliers, voire des millions de lignes, l'utilisation d'un échantillon permet de garantir que la DataBrew console reste réactive lorsque vous transformez les exemples de données de différentes manières. Par défaut, l'échantillon comprend les 500 premières lignes de données de l'ensemble de données. Vous pouvez choisir différents paramètres pour la taille de l'échantillon et les lignes choisies.

Au fur et à mesure que vous transformez les exemples de données, DataBrew cela vous aide à créer et à affiner la recette du projet, à savoir une série étape par étape des transformations que vous avez appliquées jusqu'à présent. Votre recette en cours est automatiquement enregistrée, ce qui vous permet de quitter la vue du projet à tout moment, d'y revenir plus tard et de reprendre là où vous vous êtes arrêté.

Lorsque votre recette est prête à être utilisée, vous pouvez la publier. La publication d'une recette la met à la disposition du sous-système des DataBrew tâches, où vous pouvez appliquer la recette à l'ensemble de votre jeu de données ou créer un profil de données complet qui vous permet de comprendre la structure, le contenu et les caractéristiques statistiques de vos données.

Rubriques

Création d’un projet

Pour créer un projet, procédez comme suit.

Pour créer un projet

  1. Connectez-vous à la DataBrew console AWS Management Console et ouvrez-la.

  2. Dans le volet de navigation, sélectionnez PROJECTS. Choisissez ensuite Créer un projet.

  3. Tapez un nom pour votre projet. Choisissez ensuite une recette à joindre à votre projet :

    • Choisissez Créer une nouvelle recette si vous recommencez depuis le début. Cela crée une nouvelle recette vide et l'associe à votre projet.

    • Choisissez Modifier la recette existante si vous avez déjà publié une recette que vous souhaitez utiliser pour ce projet. Si la recette est actuellement attachée à un autre projet ou si des tâches sont définies pour celle-ci, vous ne pouvez pas l'utiliser dans votre nouveau projet. Choisissez Parcourir les recettes pour voir quelles recettes sont disponibles.

    • Choisissez Importer les étapes depuis la recette si vous avez une recette existante qui a déjà été publiée et que vous souhaitez importer ses étapes, puis procédez comme suit :

      1. Choisissez Parcourir les recettes pour voir quelles recettes sont disponibles.

      2. Choisissez la version publiée de la recette que vous souhaitez utiliser. Une recette peut avoir plusieurs versions, selon la fréquence à laquelle vous l'avez publiée en mode projet.

      3. Choisissez Afficher les étapes de la recette pour examiner les transformations de données contenues dans la recette.

  4. Une fois que vous avez une recette, choisissez le jeu de données avec lequel vous souhaitez travailler dans le volet Sélectionner un jeu de données :

    • Mes ensembles de données — Choisissez un jeu de données que vous avez créé précédemment. Pour plus d'informations, consultez Création d’un projet.

    • Fichiers d'exemple — Créez un nouvel ensemble de données basé sur des exemples de données gérés par AWS. Ces exemples de données constituent un excellent moyen d'explorer ce que DataBrew vous pouvez faire, sans avoir à fournir vos propres données. Assurez-vous de saisir un nom pour votre jeu de données.

    • Nouvel ensemble de données — Créez un nouveau jeu de données. Pour de plus amples informations, veuillez consulter Création d’un projet.

  5. Pour les autorisations d'accès, choisissez un rôle Gestion des identités et des accès AWS(IAM) qui permet de DataBrew lire depuis votre emplacement d'entrée Amazon S3. Pour un emplacement S3 appartenant à votre AWS compte, vous pouvez choisir le rôle AwsGlueDataBrewDataAccessRole géré par le service. Cela permet d'accéder DataBrew aux ressources S3 que vous possédez.

  6. Dans le volet Échantillonnage, vous trouverez des options permettant DataBrew de créer un échantillon de données à partir de votre ensemble de données.

    Dans Type, choisissez le mode d' DataBrew obtention des lignes de votre jeu de données :

    • Utilisez les n premières lignes pour créer un échantillon basé sur les premières lignes du jeu de données.

    • Utilisez des lignes aléatoires pour créer un échantillon basé sur une sélection aléatoire de lignes du jeu de données.

    • Choisissez le nombre de lignes à afficher dans l'échantillon : 500, 1 000, 2 500, ou une taille d'échantillon personnalisée, jusqu'à un maximum de 5 000 lignes. Un échantillon plus petit permet d' DataBrew effectuer des transformations plus rapidement, ce qui vous permet de gagner du temps lors de l'élaboration de votre recette. Un échantillon plus grand reflète plus précisément la composition des données sources sous-jacentes. Cependant, l'initialisation des sessions de projet et les transformations interactives sont plus lentes.

  7. (Facultatif) Choisissez Tags pour associer des balises à votre jeu de données.

    Les balises sont de simples étiquettes composées d'une clé définie par l'utilisateur et d'une valeur facultative qui peuvent faciliter la gestion, la recherche et le filtrage DataBrew des projets par objectif, propriétaire, environnement ou autres critères.

  8. Lorsque les paramètres sont tels que vous le souhaitez, choisissez Create job.

DataBrew crée un nouvel ensemble de données si nécessaire, crée une nouvelle recette si nécessaire, crée l'échantillon de données et crée une session de projet interactive. Ce processus peut prendre quelques minutes. Lorsque le projet est prêt à être utilisé, vous pouvez commencer à travailler avec l'échantillon de données.