Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Validation de la qualité des données dans AWS Glue DataBrew

Pour garantir la qualité de vos ensembles de données, vous pouvez définir une liste de règles de qualité des données dans un ensemble de règles. Un ensemble de règles est un ensemble de règles qui comparent différentes mesures de données aux valeurs attendues. Si l'un des critères d'une règle n'est pas satisfait, l'ensemble de règles dans son ensemble échoue à la validation. Vous pouvez ensuite inspecter les résultats individuels pour chaque règle. Pour toute règle entraînant un échec de validation, vous pouvez apporter les corrections nécessaires et revalider.

Voici des exemples de règles :

Vous pouvez définir chaque règle pour une colonne individuelle ou l'appliquer indépendamment à plusieurs colonnes sélectionnées, par exemple :

Une règle peut consister en plusieurs vérifications simples. Vous pouvez définir si elles doivent toutes être vraies ou non, par exemple :

Vous pouvez vérifier les règles par rapport à des valeurs agrégées telles que maxmin, ou number of duplicate values lorsqu'une seule valeur est comparée, ou à des valeurs non agrégées dans chaque ligne d'une colonne. Dans ce dernier cas, vous pouvez également définir un seuil « satisfaisant » tel quevalue in columnA > value in columnB for at least 95% of rows.

Comme pour les informations de profil, vous pouvez définir des règles de qualité des données au niveau des colonnes uniquement pour les colonnes de types simples, telles que les chaînes et les nombres. Vous ne pouvez pas définir de règles de qualité des données pour les colonnes de types complexes, tels que les tableaux ou les structures. Pour plus de détails sur l'utilisation des informations de profil, consultezCréation et utilisation de AWS Glue DataBrew emplois de profil.

Validation des règles de qualité des données

Une fois qu'un ensemble de règles est défini, vous pouvez l'ajouter à une tâche de profil pour validation. Vous pouvez définir plusieurs ensembles de règles pour un ensemble de données.

Par exemple, un ensemble de règles peut contenir des règles avec des critères minimalement acceptables. Un échec de validation pour cet ensemble de règles peut signifier que les données ne sont pas acceptables pour une utilisation ultérieure. Par exemple, il manque des valeurs dans les colonnes clés d'un ensemble de données utilisé pour l'apprentissage automatique. Vous pouvez utiliser un deuxième ensemble de règles avec des règles plus strictes pour vérifier si la qualité du jeu de données est telle qu'aucun nettoyage n'est nécessaire.

Vous pouvez appliquer un ou plusieurs ensembles de règles définis pour un ensemble de données donné dans une configuration de tâche de profil. Lorsque la tâche de profilage s'exécute, elle produit un rapport de validation en plus du profil de données. Le rapport de validation est disponible au même endroit que les données de votre profil. Comme pour les informations de profil, vous pouvez explorer les résultats dans la DataBrew console. Dans la vue détaillée du jeu de données, choisissez l'onglet Qualité des données pour afficher les résultats. Pour plus de détails sur l'utilisation des informations de profil, consultezCréation et utilisation de AWS Glue DataBrew emplois de profil.

Agir en fonction des résultats de validation

Lorsqu'une tâche DataBrew de profil est terminée, DataBrew envoie un CloudWatch événement Amazon avec les détails de cette tâche exécutée. Si vous avez également configuré votre tâche pour valider les règles de qualité des données, DataBrew envoie un événement pour chaque ensemble de règles validé. L'événement contient son résultat (SUCCEEDED,FAILED, ouERROR) et un lien vers le rapport détaillé de validation de la qualité des données. Vous pouvez ensuite automatiser d'autres actions en invoquant l'action suivante en fonction de l'état de validation. Pour plus d'informations sur la connexion d'événements à des actions cibles, telles que les notifications Amazon SNS, les appels de AWS Lambda fonctions, etc., consultez Getting started with Amazon. EventBridge

Voici un exemple d'événement de résultat de DataBrew validation :

{
  "version": "0",
  "id": "fb27348b-112d-e7c2-560d-85e7c2c09964",
  "detail-type": "DataBrew Ruleset Validation Result",   
  "source": "aws.databrew",                     
  "account": "123456789012",          
  "time": "2021-11-18T13:15:46Z", 
  "region": "us-east-1",
  "resources": [],
  "detail": {
    "datasetName": "MyDataset", 
    "jobName": "MyProfileJob",
    "jobRunId": "db_f07954d20d083de0c1fc1eee11498d8635ee5be4ca416af27d33933e91ff4e6e",
    "rulesetName": "MyRuleset",
    "validationState": "FAILED",
    "validationReportLocation": "s3://MyBucket/MyKey/MyDataset_f07954d20d083de0c1fc1eee11498d8635ee5be4ca416af27d33933e91ff4e6e_dq-validation-report.json"
  }
}

Vous pouvez utiliser les attributs d'événements tels quedetail-type, source et les propriétés imbriquées de l'detailattribut, pour créer des modèles d'événements dans Amazon Eventbridge. Par exemple, un modèle d'événement correspondant à toutes les validations ayant échoué pour n'importe quelle DataBrew tâche ressemblerait à ceci :

{
  "source": ["aws.databrew"],
  "detail-type": ["DataBrew Ruleset Validation Result"],
  "detail": {
   "validationState": ["FAILED"]
  }
}

Pour un exemple de création d'un ensemble de règles et de validation de ses règles, consultez. Création d'un ensemble de règles avec des règles de qualité des données Pour plus d'informations sur l'utilisation des CloudWatch événements dans DataBrew, voir Automatisation DataBrew grâce aux événements CloudWatch

Inspection des résultats de validation et mise à jour des règles de qualité des données

Une fois la tâche de création de profil terminée, vous pouvez consulter les résultats de validation de vos règles de qualité des données et, le cas échéant, mettre à jour vos règles.

Pour toute règle dont la validation a échoué, vous pouvez apporter les corrections nécessaires.