Création d'un ensemble de règles avec des règles de qualité des données

Pour créer un exemple d'ensemble de règles avec des règles de qualité des données

1. Connectez-vous à la DataBrew console AWS Management Console et ouvrez-la à l'adresse https://console.aws.amazon.com/databrew/.

2. Choisissez DQ RULES dans le volet de navigation, puis choisissez Create data quality rules eset.

3. Entrez un nom pour votre ensemble de règles. Entrez éventuellement une description de votre ensemble de règles.

4. Sous Ensemble de données associé, choisissez un ensemble de données à associer à l'ensemble de règles.

   Après avoir sélectionné un jeu de données, vous pouvez afficher le volet d'aperçu du jeu de données sur la droite.

5. Utilisez l'aperçu dans le volet d'aperçu du jeu de données pour explorer les valeurs et le schéma du jeu de données lorsque vous déterminez les règles de qualité des données à créer. L'aperçu peut vous donner un aperçu des problèmes potentiels que vous pourriez rencontrer avec les données.

   Certaines sources de données, telles que les bases de données, ne prennent pas en charge l'aperçu des données. Dans ce cas, vous pouvez exécuter une tâche de profilage sans valider au préalable les règles de qualité des données. Vous pouvez ensuite obtenir des informations sur le schéma de données et la distribution des valeurs à l'aide du profil de données.

6. Consultez l'onglet Recommandations, qui répertorie certaines suggestions de règles que vous pouvez utiliser lors de la création de votre ensemble de règles. Vous pouvez sélectionner toutes les recommandations, certaines ou aucune d'entre elles.

   Après avoir sélectionné les recommandations pertinentes, choisissez Ajouter à l'ensemble de règles.

   Cela ajoutera des règles à votre ensemble de règles. Inspectez et modifiez les paramètres si nécessaire. Notez que seules les colonnes de types simples tels que les chaînes, les nombres et les booléens peuvent être utilisées dans les règles de qualité des données.

7. Choisissez Ajouter une autre règle pour ajouter une règle non couverte par les recommandations. Vous pouvez modifier le nom des règles pour faciliter l'interprétation ultérieure des résultats de validation.

8. Utilisez l'étendue du contrôle de la qualité des données pour choisir si des colonnes individuelles seront sélectionnées pour chaque vérification dans cette règle ou si elles doivent être appliquées à un groupe de colonnes que vous sélectionnez. Par exemple, si votre jeu de données comporte plusieurs colonnes numériques qui doivent avoir des valeurs comprises entre 0 et 100, vous pouvez définir la règle une seule fois et sélectionner toutes ces colonnes à vérifier par cette règle.

9. Si votre règle comporte plusieurs vérifications, dans le menu déroulant Critères de réussite des règles, indiquez si toutes les vérifications doivent être satisfaites ou lesquelles répondent aux critères.

10. Sélectionnez une vérification qui sera effectuée pour vérifier cette règle dans le menu déroulant Contrôle de qualité des données. Pour plus d'informations sur les chèques disponibles, consultezChèques disponibles.

11. Si vous avez sélectionné Contrôle individuel pour chaque colonne dans le champ du contrôle de la qualité des données, choisissez une colonne. Sélectionnez ou saisissez le nom de colonne pour cette vérification.

12. Sélectionnez les paramètres en fonction de la vérification. Certaines conditions acceptent uniquement les valeurs personnalisées fournies et d'autres acceptent également la référence à une autre colonne.

13. Si vous choisissez de vérifier les valeurs de colonne, telles que la condition Contient pour les valeurs de chaîne, vous pouvez spécifier un seuil de « dépassement ». Par exemple, si vous souhaitez qu'au moins 95 % des valeurs satisfassent à la condition, vous devez choisir Supérieur à égal comme condition de seuil, saisir 95 comme seuil et laisser « % (pourcentage) lignes » dans le menu déroulant suivant de la section Seuil. Ou si vous ne voulez pas plus de 10 lignes où la valeur est manquante, vous pouvez sélectionner Moins qu'égal comme condition, entrer 10 pour le seuil et choisir des lignes dans le menu déroulant suivant. Veuillez noter que vous pouvez obtenir des résultats différents si vous utilisez des échantillons de tailles différentes lors de la validation.

14. Ajoutez d'autres règles si nécessaire.

15. Choisissez Créer un ensemble de règles.