Évaluation de la qualité des données pour les tâches ETL dans AWS Glue Studio

Pour ajouter le nœud de qualité des données, procédez comme suit  :

1. Dans la console AWS Glue Studio, choisissez Visual avec une source et une cible dans la section Create job, puis choisissez Create.

2. Choisissez le nœud auquel vous souhaitez appliquer la transformation de qualité des données. Il s'agit généralement d'un nœud de transformation ou d'une source de données.

3. Ouvrez le panneau de ressources sur la gauche en cliquant sur l'icône « + ». Recherchez ensuite Évaluer la qualité des données dans la barre de recherche, puis sélectionner Évaluer la qualité des données dans les résultats de la recherche.

4. L'éditeur de tâches visuel affiche la ramification du nœud de transformation Évaluer la qualité des données à partir du nœud que vous avez sélectionné. Sur le côté droit de la console, l'onglet Transform (Transformer) s'ouvre automatiquement. Si vous devez modifier le nœud parent, choisissez l'onglet Propriétés du nœud, puis choisissez le nœud parent dans le menu déroulant.

   Lorsque vous choisissez un nouveau nœud parent, une nouvelle connexion est établie entre le nœud parent et le nœud Évaluer la qualité des données (Évaluer la qualité des données). Supprimez tous les nœuds parents indésirables. Un seul nœud parent peut être connecté à un nœud Évaluer la qualité des données.

5. La transformation Évaluer la qualité des données prend en charge plusieurs parents afin que vous puissiez valider les règles de qualité des données sur plusieurs jeux de données. Les règles qui prennent en charge plusieurs ensembles de données incluent ReferentialIntegrity DatasetMatch, SchemaMatch, RowCountMatch, et AggregateMatch.

   Lorsque vous ajoutez plusieurs entrées à la transformation Évaluer la qualité des données, vous devez sélectionner votre entrée « principale ». Votre entrée principale est le jeu de données dont vous souhaitez valider la qualité des données. Tous les autres nœuds ou entrées sont traités comme des références.

   Vous pouvez utiliser la transformation Évaluer la qualité des données pour identifier les enregistrements spécifiques qui ont échoué aux contrôles de qualité des données. Nous vous recommandons de choisir votre jeu de données principal, car de nouvelles colonnes qui signalent les enregistrements défectueux sont ajoutées au jeu de données principal.

6. Vous pouvez spécifier des alias pour les sources de données d'entrée. Les alias constituent un autre moyen de référencer la source d'entrée lorsque vous utilisez la ReferentialIntegrity règle. Comme une seule source de données peut être désignée comme source principale, chaque source de données supplémentaire que vous ajoutez nécessite un alias.

   Dans l'exemple suivant, la ReferentialIntegrity règle spécifie la source de données d'entrée par le nom d'alias et effectue une one-to-one comparaison avec la source de données principale.

   Rules = [
   	ReferentialIntegrity “Aliasname.name” = 1
   ]          
           

1. Dans l'onglet Transformer, ajoutez un Type de règle en cliquant sur le bouton Insérer. Le type de règle est alors ajouté à l'éditeur de règles dans lequel vous pouvez saisir les paramètres de la règle.

   Note

   Lorsque vous modifiez des règles, assurez-vous qu'elles se trouvent entre crochets et qu'elles sont séparées par des virgules. Par exemple, une expression de règle complète a la syntaxe suivante :

   Rules= [
       Completeness "year">0.8, Completeness "month">0.8
   ]                           
                       

   Cet exemple spécifie le paramètre d'exhaustivité pour les colonnes « année » et « mois ». Pour que la règle soit transmise, ces colonnes doivent être « complètes » à plus de 80 % ou contenir des données dans plus de 80 % des instances pour chaque colonne respective.

   Dans cet exemple, recherchez et insérez le type de règle Completeness (Exhaustivité). Le type de règle est alors ajouté à l'éditeur de règles. La syntaxe de ce type de règle est la suivante : Completeness <COL_NAME> <EXPRESSION>.

   Une expression doit être fournie comme paramètre pour la plupart des types de règles afin de créer une réponse booléenne. Pour plus d'informations sur les expressions DQDL prises en charge, consultez DQDL expressions. Vous ajoutez ensuite le nom de la colonne.

2. Dans le générateur de règles DQDL, choisissez l'onglet Schéma. Trouvez le nom de la colonne dans le schéma d'entrée à l'aide de la barre de recherche. Le schéma d'entrée affiche le nom de la colonne et le type de données.

3. Dans l'éditeur de règles, cliquez à droite du type de règle pour insérer le curseur au point d'insertion de la colonne. Vous pouvez également saisir le nom de la colonne dans la règle.

   Par exemple, dans la liste des colonnes de la liste des schémas d'entrée, cliquez sur le bouton Insérer à côté de la colonne (ici, il s'agit de année). La colonne est alors ajoutée à la règle.

4. Ajoutez ensuite une expression pour évaluer la règle dans l'éditeur de règles. Comme le type de règle Exhaustivité vérifie le pourcentage de valeurs complètes (non nulles) dans une colonne par rapport à une expression donnée, saisissez une expression telle que > 0.8. Cette règle vérifie si la colonne contient plus de 80 % de valeurs complètes (non nulles).

1. Dans Data quality transform output (Sortie de transformation de la qualité des données), choisissez l'une des options suivantes :

   • Données d'origine : permet de fournir les données d'entrée d'origine. Lorsque vous choisissez cette option, un nouveau nœud enfant « rowLevelOutcomes » est ajouté à la tâche. Le schéma correspond au schéma du jeu de données principal qui a été transmis en tant qu'entrée à la transformation. Cette option est utile si vous souhaitez simplement transmettre les données et faire échouer la tâche en cas de problèmes de qualité.

     Un autre cas d'utilisation est celui où vous souhaitez détecter des enregistrements défectueux qui ont échoué aux contrôles de qualité des données. Pour détecter les enregistrements défectueux, choisissez l'option Ajouter de nouvelles colonnes pour indiquer les erreurs de qualité des données. Cette action ajoute quatre nouvelles colonnes au schéma de la transformation « rowLevelOutcomes ».

     • DataQualityRulesPass(tableau de chaînes) — Fournit un tableau de règles ayant passé avec succès les contrôles de qualité des données.

     • DataQualityRulesFail(tableau de chaînes) — Fournit un tableau de règles ayant échoué aux contrôles de qualité des données.

     • DataQualityRulesSkip(tableau de chaînes) — Fournit un tableau de règles qui ont été ignorées. Les règles suivantes ne peuvent pas identifier les enregistrements d'erreur, car elles sont appliquées au niveau du jeu de données.

       • AggregateMatch

       • ColumnCount

       • ColumnExists

       • ColumnNamesMatchPattern

       • CustomSql

       • RowCount

       • RowCountMatch

       • StandardDeviation

       • Mean

       • ColumnCorrelation

     • DataQualityEvaluationResult— Indique le statut « Réussi » ou « Échec » au niveau de la ligne. Notez que vos résultats globaux peuvent être un ÉCHEC, mais que certains enregistrements peuvent avoir réussis. Par exemple, il se peut que la RowCount règle ait échoué, mais que toutes les autres règles aient réussi. Dans de tels cas, l'état de ce champ est « Réussi ».

2. Résultats relatifs à la qualité des données : permet de fournir les règles configurées et leur état de réussite ou d'échec. Cette option est utile si vous souhaitez écrire vos résultats dans Amazon S3 ou dans d'autres bases de données.

3. Paramètres de sortie de qualité des données (facultatif) : choisissez Paramètres de sortie de qualité des données pour afficher le champ Emplacement des résultats relatifs à la qualité des données. Choisissez ensuite Parcourir pour rechercher un emplacement Amazon S3 à définir comme cible de sortie relative à la qualité des données.

1. Pour chaque tâche exécutée, vous pouvez consulter les résultats relatifs à la qualité des données. Chaque nœud affiche un état de qualité des données et des informations détaillées. Choisissez un nœud pour afficher toutes les règles et l'état de chaque règle.

2. Choisissez Télécharger les résultats pour télécharger un fichier CSV contenant des informations sur l'exécution de la tâche et les résultats relatifs à la qualité des données.

3. Si plusieurs tâches exécutées sont associées à des résultats relatifs à la qualité des données, vous pouvez filtrer les résultats par date et par plage horaire. Choisissez Filtrer par plage de dates et d'heures pour agrandir la fenêtre de filtre.

4. Choisissez une plage relative ou une plage absolue. Pour les plages absolues, sélectionnez une date et entrez des valeurs pour l'heure de début et l'heure de fin à l'aide du calendrier. Lorsque vous avez terminé, choisissez Appliquer.