Qualité des données API - AWS Glue
  —  les types de données  —DataSourceDataQualityRulesetListDetailsDataQualityTargetTableDataQualityRulesetEvaluationRunDescriptionDataQualityRulesetEvaluationRunFilterDataQualityEvaluationRunAdditionalRunOptionsDataQualityRuleRecommendationRunDescriptionDataQualityRuleRecommendationRunFilterDataQualityResultDataQualityAnalyzerResultDataQualityObservationMetricBasedObservationDataQualityMetricValuesDataQualityRuleResultDataQualityResultDescriptionDataQualityResultFilterCriteriaDataQualityRulesetFilterCriteriaStatisticAnnotationTimestampedInclusionAnnotationAnnotationErrorDatapointInclusionAnnotationStatisticSummaryListStatisticSummaryRunIdentifierStatisticModelResult  —  operations  —StartDataQualityRulesetEvaluationRun (start_data_quality_ruleset_evaluation_run)CancelDataQualityRulesetEvaluationRun (cancel_data_quality_ruleset_evaluation_run)GetDataQualityRulesetEvaluationRun (get_data_quality_ruleset_evaluation_run)ListDataQualityRulesetEvaluationRuns (list_data_quality_ruleset_evaluation_runs)StartDataQualityRuleRecommendationRun (start_data_quality_rule_recommendation_run)CancelDataQualityRuleRecommendationRun (cancel_data_quality_rule_recommendation_run)GetDataQualityRuleRecommendationRun (get_data_quality_rule_recommendation_run)ListDataQualityRuleRecommendationRuns (list_data_quality_rule_recommendation_runs)GetDataQualityResult (get_data_quality_result)BatchGetDataQualityResult (batch_get_data_quality_result)ListDataQualityResults (liste_données_qualité_résultats)CreateDataQualityRuleset (create_data_quality_ruleset)DeleteDataQualityRuleset (delete_data_quality_ruleset)GetDataQualityRuleset (get_data_quality_ruleset)ListDataQualityRulesets (liste_data_quality_rulesets)UpdateDataQualityRuleset (ensemble de règles de qualité des données de mise à jour)ListDataQualityStatistics (liste_données_qualité_statistiques)TimestampFilterCreateDataQualityRulesetRequestGetDataQualityRulesetResponseGetDataQualityResultResponseStartDataQualityRuleRecommendationRunRequestGetDataQualityRuleRecommendationRunResponseBatchPutDataQualityStatisticAnnotation (batch_put_data_quality_statistic_annotation)GetDataQualityModel (get_data_quality_model)GetDataQualityModelResult (get_data_quality_model_result)ListDataQualityStatisticAnnotations (list_data_quality_statistic_annotations)PutDataQualityProfileAnnotation (put_data_quality_profile_annotation)

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Qualité des données API

La qualité des données API décrit les types de données relatifs à la qualité des données et inclut les informations API permettant de créer, de supprimer ou de mettre à jour des ensembles de règles de qualité des données, des exécutions et des évaluations.

Types de données

DataSource structure

Source de données ( AWS Glue table) pour laquelle vous souhaitez obtenir des résultats de qualité.

Champs
  • GlueTableObligatoire : un objet GlueTable.

    Et une AWS Glue table.

DataQualityRulesetListDetails structure

Décrit un ensemble de règles de qualité des données renvoyé par GetDataQualityRuleset.

Champs
  • Name— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de l'ensemble de règles de qualité des données.

  • Description – Chaîne de description, d'une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

    Description de l'ensemble de règles de qualité des données.

  • CreatedOn – Horodatage.

    Date et heure de création de l'ensemble de règles de qualité des données.

  • LastModifiedOn – Horodatage.

    Date et heure de la dernière modification de l'ensemble de règles de qualité des données.

  • TargetTable – Un objet DataQualityTargetTable.

    Objet représentant une AWS Glue table.

  • RecommendationRunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Lors de la création d'un ensemble de règles à partir d'une exécution de recommandation, cet ID d'exécution est généré pour relier les deux.

  • RuleCount – Nombre (entier).

    Nombre de règles dans l'ensemble de règles.

DataQualityTargetTable structure

Objet représentant une AWS Glue table.

Champs
  • TableNameObligatoire : UTF -8 chaînes, d'au moins 1 ou plus de 255 octets de long, correspondant auSingle-line string pattern.

    Le nom de la AWS Glue table.

  • DatabaseNameObligatoire : UTF -8 chaînes, d'au moins 1 ou plus de 255 octets de long, correspondant auSingle-line string pattern.

    Nom de la base de données dans laquelle se trouve la AWS Glue table.

  • CatalogId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    L'identifiant du catalogue où se trouve la AWS Glue table.

DataQualityRulesetEvaluationRunDescription structure

Décrit le résultat d'une exécution d'évaluation d'un ensemble de règles de qualité des données.

Champs
  • RunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Identifiant d'exécution unique associé à cette exécution.

  • Status— Chaîne UTF -8 (valeurs valides : STARTING | RUNNING | STOPPING | STOPPED | SUCCEEDED FAILED |TIMEOUT).

    Statut de cette exécution.

  • StartedOn – Horodatage.

    Date et heure de lancement de l'exécution.

  • DataSource – Un objet DataSource.

    La source de données (une AWS Glue table) associée à l'exécution.

DataQualityRulesetEvaluationRunFilter structure

Critères de filtrage.

Champs
  • DataSourceObligatoire : un objet DataSource.

    Filtrez en fonction d'une source de données (une AWS Glue table) associée à l'exécution.

  • StartedBefore – Horodatage.

    Filtrez les résultats en fonction des exécutions qui ont débuté avant cette heure.

  • StartedAfter – Horodatage.

    Filtrez les résultats en fonction des exécutions qui ont débuté après cette heure.

DataQualityEvaluationRunAdditionalRunOptions structure

Options d'exécution supplémentaires que vous pouvez spécifier pour une exécution d'évaluation.

Champs
  • CloudWatchMetricsEnabled – Booléen.

    Activer ou non les CloudWatch métriques.

  • ResultsS3Prefix— UTF -8 chaînes.

    Préfixe permettant à Amazon S3 de stocker les résultats.

  • CompositeRuleEvaluationMethod— Chaîne UTF -8 (valeurs valides : COLUMN |ROW).

    Définissez la méthode d'évaluation des règles composites du jeu de règles sur/ROWCOLUMN

DataQualityRuleRecommendationRunDescription structure

Décrit le résultat de l'exécution d'une recommandation de règle de qualité des données.

Champs
  • RunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Identifiant d'exécution unique associé à cette exécution.

  • Status— Chaîne UTF -8 (valeurs valides : STARTING | RUNNING | STOPPING | STOPPED | SUCCEEDED FAILED |TIMEOUT).

    Statut de cette exécution.

  • StartedOn – Horodatage.

    Date et heure de lancement de cette exécution.

  • DataSource – Un objet DataSource.

    Source de données (AWS Glue table) associée à l'exécution de la recommandation.

DataQualityRuleRecommendationRunFilter structure

Filtre permettant de répertorier les exécutions de recommandations relatives à la qualité des données.

Champs
  • DataSourceObligatoire : un objet DataSource.

    Filtrez en fonction d'une source de données spécifiée (AWS Glue table).

  • StartedBefore – Horodatage.

    Filtrez en fonction de l'heure de début des résultats avant l'heure indiquée.

  • StartedAfter – Horodatage.

    Filtrez en fonction de l'heure de début des résultats après l'heure indiquée.

DataQualityResult structure

Décrit un résultat sur la qualité des données.

Champs
  • ResultId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    ID de résultat unique pour le résultat en matière de qualité des données.

  • ProfileId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    L'ID de profil pour le résultat de qualité des données.

  • Score – Nombre (double), au plus égal à 1,0.

    Score de qualité des données agrégées. Représente le rapport entre le nombre de règles transmises et le nombre total de règles.

  • DataSource – Un objet DataSource.

    Table associée au résultat sur la qualité des données, le cas échéant.

  • RulesetName— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de l'ensemble de règles associé au résultat sur la qualité des données.

  • EvaluationContext— UTF -8 chaînes.

    Dans le contexte d'une tâche dans AWS Glue Studio, chaque nœud du canevas se voit généralement attribuer un nom et les nœuds de qualité des données porteront un nom. Dans le cas de plusieurs nœuds, evaluationContext peut distinguer les nœuds.

  • StartedOn – Horodatage.

    Date et heure du début de cette exécution de l'évaluation de la qualité des données.

  • CompletedOn – Horodatage.

    Date et heure de fin de la dernière exécution de cette évaluation de la qualité des données.

  • JobName— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Le nom de tâche associé au résultat sur la qualité des données, le cas échéant.

  • JobRunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    ID d'exécution de la tâche associé au résultat sur la qualité des données, le cas échéant.

  • RulesetEvaluationRunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    ID d'exécution unique de l'évaluation de l'ensemble de règles pour ce résultat sur la qualité des données.

  • RuleResults – Un tableau d’objets DataQualityRuleResult, 2 000 structures au maximum.

    Liste d'objets DataQualityRuleResult représentant les résultats de chaque règle.

  • AnalyzerResults – Un tableau d’objets DataQualityAnalyzerResult, 2 000 structures au maximum.

    Liste d’objets DataQualityAnalyzerResult représentant les résultats de chaque analyseur.

  • Observations – Un tableau d'objets DataQualityObservation, 50 structures maximum.

    Liste d’objets DataQualityObservation représentant les observations générées après évaluation des règles et des analyseurs.

DataQualityAnalyzerResult structure

Décrit le résultat de l'évaluation d'un analyseur de qualité des données.

Champs
  • Name— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de l'analyseur de qualité des données.

  • Description— Chaîne UTF -8, d'une longueur maximale de 2048 octets, correspondant au. URI address multi-line string pattern

    Description de l'analyseur de qualité des données.

  • EvaluationMessage— Chaîne UTF -8, d'une longueur maximale de 2048 octets, correspondant au. URI address multi-line string pattern

    Message d'évaluation.

  • EvaluatedMetrics – Tableau de mappage de paires valeur-clé.

    Chaque clé est une chaîne UTF -8, d'une longueur d'au moins 1 octet ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Chaque valeur est un nombre (double).

    Carte des métriques associées à l'évaluation de l'analyseur.

DataQualityObservation structure

Décrit l'observation générée après évaluation des règles et des analyseurs.

Champs
  • Description— Chaîne UTF -8, d'une longueur maximale de 2048 octets, correspondant au. URI address multi-line string pattern

    Description de l'observation de la qualité des données.

  • MetricBasedObservation – Un objet MetricBasedObservation.

    Objet de type MetricBasedObservation représentant l'observation basée sur des mesures de qualité des données évaluées.

MetricBasedObservation structure

Décrit l'observation basée sur les métriques générée sur la base des métriques de qualité des données évaluées.

Champs
  • MetricName— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de la métrique de qualité des données utilisée pour générer l'observation.

  • StatisticId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    L'identifiant de la statistique.

  • MetricValues – Un objet DataQualityMetricValues.

    Objet de type DataQualityMetricValues représentant l'analyse de la valeur métrique de qualité des données.

  • NewRules— Un tableau de UTF -8 chaînes.

    Liste des nouvelles règles de qualité des données générées dans le cadre de l'observation sur la base de la valeur métrique de qualité des données.

DataQualityMetricValues structure

Décrit la valeur de la métrique de qualité des données en fonction de l'analyse des données historiques.

Champs
  • ActualValue – Nombre (double).

    La valeur réelle de la métrique de qualité des données.

  • ExpectedValue – Nombre (double).

    La valeur attendue de la métrique de qualité des données selon l'analyse des données historiques.

  • LowerLimit – Nombre (double).

    Limite inférieure de la valeur métrique de qualité des données selon l'analyse des données historiques.

  • UpperLimit – Nombre (double).

    Limite supérieure de la valeur métrique de qualité des données selon l'analyse des données historiques.

DataQualityRuleResult structure

Décrit le résultat de l'évaluation d'une règle de qualité des données.

Champs
  • Name— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de la règle de qualité des données.

  • Description— Chaîne UTF -8, d'une longueur maximale de 2048 octets, correspondant au. URI address multi-line string pattern

    Description de la règle de qualité des données.

  • EvaluationMessage— Chaîne UTF -8, d'une longueur maximale de 2048 octets, correspondant au. URI address multi-line string pattern

    Message d'évaluation.

  • Result— Chaîne UTF -8 (valeurs valides : PASS | FAIL |ERROR).

    État de réussite ou d'échec de la règle.

  • EvaluatedMetrics – Tableau de mappage de paires valeur-clé.

    Chaque clé est une chaîne UTF -8, d'une longueur d'au moins 1 octet ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Chaque valeur est un nombre (double).

    Une carte des métriques associées à l'évaluation de la règle.

  • EvaluatedRule— Chaîne UTF -8, d'une longueur maximale de 2048 octets, correspondant au. URI address multi-line string pattern

    La règle évaluée.

DataQualityResultDescription structure

Décrit un résultat sur la qualité des données.

Champs
  • ResultId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    ID de résultat unique pour ce résultat sur la qualité des données.

  • DataSource – Un objet DataSource.

    Nom de la table associée au résultat sur la qualité des données.

  • JobName— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de la tâche associée au résultat en matière de qualité des données.

  • JobRunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    ID d'exécution de la tâche associé au résultat en matière de qualité des données.

  • StartedOn – Horodatage.

    Heure du début de l'exécution pour ce résultat en matière de qualité des données.

DataQualityResultFilterCriteria structure

Critères permettant de renvoyer des résultats en matière de qualité des données.

Champs
  • DataSource – Un objet DataSource.

    Filtrez les résultats en fonction de la source de données spécifiée. Par exemple, récupérer tous les résultats d'une AWS Glue table.

  • JobName— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Filtrez les résultats en fonction du nom de la tâche spécifiée.

  • JobRunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Filtrez les résultats en fonction de l'ID d'exécution de la tâche spécifiée.

  • StartedAfter – Horodatage.

    Filtrez les résultats en fonction des exécutions qui ont débuté après cette heure.

  • StartedBefore – Horodatage.

    Filtrez les résultats en fonction des exécutions qui ont débuté avant cette heure.

DataQualityRulesetFilterCriteria structure

Critères permettant de filtrer les ensembles de règles de qualité des données.

Champs
  • Name— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom des critères de filtrage de l'ensemble de règles.

  • Description – Chaîne de description, d'une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

    Description des critères de filtrage de l'ensemble de règles.

  • CreatedBefore – Horodatage.

    Filtre sur les ensembles de règles créés avant cette date.

  • CreatedAfter – Horodatage.

    Filtre sur les ensembles de règles créés après cette date.

  • LastModifiedBefore – Horodatage.

    Filtre sur les derniers ensembles de règles modifiés avant cette date.

  • LastModifiedAfter – Horodatage.

    Filtre sur les derniers ensembles de règles modifiés après cette date.

  • TargetTable – Un objet DataQualityTargetTable.

    Nom et nom de la base de données de la table cible.

StatisticAnnotation structure

Une annotation statistique.

Champs
  • ProfileId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    L'identifiant du profil.

  • StatisticId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    L'identifiant de la statistique.

  • StatisticRecordedOn – Horodatage.

    Horodatage auquel la statistique annotée a été enregistrée.

  • InclusionAnnotation – Un objet TimestampedInclusionAnnotation.

    L'annotation d'inclusion appliquée à la statistique.

TimestampedInclusionAnnotation structure

Une annotation d'inclusion horodatée.

Champs
  • Value— Chaîne UTF -8 (valeurs valides : INCLUDE |EXCLUDE).

    La valeur de l'annotation d'inclusion.

  • LastModifiedOn – Horodatage.

    Horodatage de la dernière modification de l'annotation d'inclusion.

AnnotationError structure

Une annotation qui a échoué.

Champs
  • ProfileId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    L'ID de profil de l'annotation qui a échoué.

  • StatisticId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    L'ID statistique de l'annotation qui a échoué.

  • FailureReason – Chaîne de description, d'une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

    Raison pour laquelle l'annotation a échoué.

DatapointInclusionAnnotation structure

Une annotation d'inclusion.

Champs
  • ProfileId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    ID du profil de qualité des données auquel appartient la statistique.

  • StatisticId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    L'identifiant de la statistique.

  • InclusionAnnotation— Chaîne UTF -8 (valeurs valides : INCLUDE |EXCLUDE).

    Valeur d'annotation d'inclusion à appliquer à la statistique.

StatisticSummaryList liste

Une liste de StatisticSummary.

Tableau d’objets StatisticSummary.

Une liste de StatisticSummary.

StatisticSummary structure

Informations récapitulatives relatives à une statistique.

Champs
  • StatisticId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    L'identifiant de la statistique.

  • ProfileId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    L'identifiant du profil.

  • RunIdentifier – Un objet RunIdentifier.

    L'identifiant de course

  • StatisticName— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auCustom string pattern #32.

    Le nom de la statistique.

  • DoubleValue – Nombre (double).

    La valeur de la statistique.

  • EvaluationLevel— Chaîne UTF -8 (valeurs valides : Dataset="DATASET" | Column="COLUMN" |Multicolumn="MULTICOLUMN").

    Le niveau d'évaluation de la statistique. Valeurs possibles :Dataset,Column,Multicolumn.

  • ColumnsReferenced— Un tableau de UTF -8 chaînes.

    Liste des colonnes référencées par la statistique.

  • ReferencedDatasets— Un tableau de UTF -8 chaînes.

    Liste des ensembles de données référencés par la statistique.

  • StatisticProperties – Tableau de mappage de paires valeur-clé.

    Chaque clé est une chaîne UTF -8, d'une longueur d'au moins 1 octet ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Chaque valeur est une chaîne Description, d'une longueur ne dépassant pas 2048 octets, correspondant au URI address multi-line string pattern.

    AStatisticPropertiesMap, qui contient a NameString et DescriptionString

  • RecordedOn – Horodatage.

    Horodatage auquel la statistique a été enregistrée.

  • InclusionAnnotation – Un objet TimestampedInclusionAnnotation.

    L'annotation d'inclusion pour la statistique.

RunIdentifier structure

Un identifiant de course.

Champs
  • RunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    L'identifiant d'exécution.

  • JobRunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    L'identifiant Job Run.

StatisticModelResult structure

Le résultat du modèle statistique.

Champs
  • LowerBound – Nombre (double).

    La limite inférieure.

  • UpperBound – Nombre (double).

    La limite supérieure.

  • PredictedValue – Nombre (double).

    La valeur prédite.

  • ActualValue – Nombre (double).

    La valeur réelle.

  • Date – Horodatage.

    La date.

  • InclusionAnnotation— Chaîne UTF -8 (valeurs valides : INCLUDE |EXCLUDE).

    L'annotation d'inclusion.

Opérations

StartDataQualityRulesetEvaluationRun action (Python : start_data_quality_ruleset_evaluation_run)

Une fois que vous avez une définition d'ensemble de règles (recommandée ou la vôtre), vous appelez cette opération pour évaluer l'ensemble de règles par rapport à une source de données (AWS Glue table). L'évaluation calcule les résultats que vous pouvez récupérer à l'aide du GetDataQualityResultAPI.

Demande
  • DataSourceObligatoire : un objet DataSource.

    La source de données (AWS Glue table) associée à cette exécution.

  • RoleObligatoire : UTF -8 chaînes.

    IAM Rôle fourni pour chiffrer les résultats de l'exécution.

  • NumberOfWorkers – Nombre (entier).

    Nombre d'employés G.1X à utiliser dans l'exécution. La valeur par défaut est 5.

  • Timeout – Nombre (entier), au moins égal à 1.

    Délai d'expiration d'une exécution en minutes. Durée maximale pendant laquelle une exécution peut consommer des ressources avant qu'elle ne se termine et n'entre dans l'état TIMEOUT. La valeur par défaut est de 2 880 minutes (48 heures).

  • ClientToken— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Utilisé pour l'idempuissance, il est recommandé de le définir sur un identifiant aléatoire (tel que aUUID) pour éviter de créer ou de démarrer plusieurs instances de la même ressource.

  • AdditionalRunOptions – Un objet DataQualityEvaluationRunAdditionalRunOptions.

    Options d'exécution supplémentaires que vous pouvez spécifier pour une exécution d'évaluation.

  • RulesetNamesObligatoire : un tableau de UTF -8 chaînes, pas moins d'une ou plus de 10 chaînes.

    Liste de noms d'ensembles de règles.

  • AdditionalDataSources – Tableau de mappage de paires valeur-clé.

    Chaque clé est une chaîne UTF -8, d'une longueur d'au moins 1 octet ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Chaque valeur est un objet DataSource.

    Une carte de chaînes de référence vers des sources de données supplémentaires que vous pouvez spécifier pour une exécution d'évaluation.

Réponse
  • RunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Identifiant d'exécution unique associé à cette exécution.

Erreurs
  • InvalidInputException

  • EntityNotFoundException

  • OperationTimeoutException

  • InternalServiceException

  • ConflictException

CancelDataQualityRulesetEvaluationRun action (Python : cancel_data_quality_ruleset_evaluation_run)

Annule une exécution au cours de laquelle un ensemble de règles est évalué par rapport à une source de données.

Demande
  • RunIdObligatoire : UTF -8 chaînes, d'au moins 1 ou plus de 255 octets de long, correspondant auSingle-line string pattern.

    Identifiant d'exécution unique associé à cette exécution.

Réponse
  • Paramètres d'absence de réponse.

Erreurs
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

GetDataQualityRulesetEvaluationRun action (Python : get_data_quality_ruleset_evaluation_run)

Récupère une exécution spécifique au cours de laquelle un ensemble de règles est évalué par rapport à une source de données.

Demande
  • RunIdObligatoire : UTF -8 chaînes, d'au moins 1 ou plus de 255 octets de long, correspondant auSingle-line string pattern.

    Identifiant d'exécution unique associé à cette exécution.

Réponse
  • RunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Identifiant d'exécution unique associé à cette exécution.

  • DataSource – Un objet DataSource.

    La source de données (une AWS Glue table) associée à cette exécution d'évaluation.

  • Role— UTF -8 chaînes.

    IAM Rôle fourni pour chiffrer les résultats de l'exécution.

  • NumberOfWorkers – Nombre (entier).

    Nombre d'employés G.1X à utiliser dans l'exécution. La valeur par défaut est 5.

  • Timeout – Nombre (entier), au moins égal à 1.

    Délai d'expiration d'une exécution en minutes. Durée maximale pendant laquelle une exécution peut consommer des ressources avant qu'elle ne se termine et n'entre dans l'état TIMEOUT. La valeur par défaut est de 2 880 minutes (48 heures).

  • AdditionalRunOptions – Un objet DataQualityEvaluationRunAdditionalRunOptions.

    Options d'exécution supplémentaires que vous pouvez spécifier pour une exécution d'évaluation.

  • Status— Chaîne UTF -8 (valeurs valides : STARTING | RUNNING | STOPPING | STOPPED | SUCCEEDED FAILED |TIMEOUT).

    Statut de cette exécution.

  • ErrorString— UTF -8 chaînes.

    Chaînes d'erreur associées à l'exécution.

  • StartedOn – Horodatage.

    Date et heure de lancement de cette exécution.

  • LastModifiedOn – Horodatage.

    Horodatage. Dernier moment où cette exécution de recommandation de règle de qualité des données a été modifiée.

  • CompletedOn – Horodatage.

    Date et heure de fin de cette exécution.

  • ExecutionTime – Nombre (entier).

    Durée (en secondes) pendant laquelle l'exécution a consommé des ressources.

  • RulesetNames— Un tableau de UTF -8 chaînes, pas moins d'une ou plus de 10 chaînes.

    Liste des noms des ensembles de règles utilisés pour l'exécution. Actuellement, ce paramètre ne peut avoir qu’un seul nom d’ensemble de règles.

  • ResultIds— Un tableau de UTF -8 chaînes, pas moins d'une ou plus de 10 chaînes.

    Liste des résultats IDs relatifs à la qualité des données obtenus lors de l'exécution.

  • AdditionalDataSources – Tableau de mappage de paires valeur-clé.

    Chaque clé est une chaîne UTF -8, d'une longueur d'au moins 1 octet ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Chaque valeur est un objet DataSource.

    Une carte de chaînes de référence vers des sources de données supplémentaires que vous pouvez spécifier pour une exécution d'évaluation.

Erreurs
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

ListDataQualityRulesetEvaluationRuns action (Python : list_data_quality_ruleset_evaluation_runs)

Répertorie l'ensemble des exécutions répondant aux critères de filtrage, lorsqu'un ensemble de règles est évalué par rapport à une source de données.

Demande
  • Filter – Un objet DataQualityRulesetEvaluationRunFilter.

    Critères de filtrage.

  • NextToken— UTF -8 chaînes.

    Jeton de pagination pour décaler les résultats.

  • MaxResults – Nombre (entier), compris entre 1 et 1 000.

    Nombre maximal de résultats à renvoyer.

Réponse
  • Runs – Un tableau d'objets DataQualityRulesetEvaluationRunDescription.

    Liste d'objets DataQualityRulesetEvaluationRunDescription représentant les exécutions d'un ensemble de règles en matière de qualité des données.

  • NextToken— UTF -8 chaînes.

    Un jeton de pagination, si d'autres résultats sont disponibles.

Erreurs
  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

StartDataQualityRuleRecommendationRun action (Python : start_data_quality_rule_recommendation_run)

Lance une série de recommandations qui est utilisée pour générer des règles lorsque vous ne savez pas quelles règles écrire. AWS Glue Data Quality analyse les données et formule des recommandations pour un ensemble de règles potentiel. Vous pouvez ensuite trier l'ensemble de règles et modifier l'ensemble de règles généré selon votre convenance.

Les exécutions de recommandations sont automatiquement supprimées après 90 jours.

Demande

La demande de recommandation relative à la règle de qualité des données.

  • DataSourceObligatoire : un objet DataSource.

    La source de données (AWS Glue table) associée à cette exécution.

  • RoleObligatoire : UTF -8 chaînes.

    IAM Rôle fourni pour chiffrer les résultats de l'exécution.

  • NumberOfWorkers – Nombre (entier).

    Nombre d'employés G.1X à utiliser dans l'exécution. La valeur par défaut est 5.

  • Timeout – Nombre (entier), au moins égal à 1.

    Délai d'expiration d'une exécution en minutes. Durée maximale pendant laquelle une exécution peut consommer des ressources avant qu'elle ne se termine et n'entre dans l'état TIMEOUT. La valeur par défaut est de 2 880 minutes (48 heures).

  • CreatedRulesetName— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de l'ensemble de règles.

  • DataQualitySecurityConfiguration— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de la configuration de sécurité créée avec l'option de chiffrement de la qualité des données.

  • ClientToken— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Utilisé pour l'idempuissance, il est recommandé de le définir sur un identifiant aléatoire (tel que aUUID) pour éviter de créer ou de démarrer plusieurs instances de la même ressource.

Réponse
  • RunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Identifiant d'exécution unique associé à cette exécution.

Erreurs
  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

  • ConflictException

CancelDataQualityRuleRecommendationRun action (Python : cancel_data_quality_rule_recommendation_run)

Annule l'exécution de recommandation spécifiée qui était utilisée pour générer des règles.

Demande
  • RunIdObligatoire : UTF -8 chaînes, d'au moins 1 ou plus de 255 octets de long, correspondant auSingle-line string pattern.

    Identifiant d'exécution unique associé à cette exécution.

Réponse
  • Paramètres d'absence de réponse.

Erreurs
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

GetDataQualityRuleRecommendationRun action (Python : get_data_quality_rule_recommendation_run)

Obtient l'exécution de recommandation spécifiée qui a été utilisée pour générer des règles.

Demande
  • RunIdObligatoire : UTF -8 chaînes, d'au moins 1 ou plus de 255 octets de long, correspondant auSingle-line string pattern.

    Identifiant d'exécution unique associé à cette exécution.

Réponse

La réponse à la recommandation de règle de qualité des données exécutée.

  • RunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Identifiant d'exécution unique associé à cette exécution.

  • DataSource – Un objet DataSource.

    La source de données (une AWS Glue table) associée à cette exécution.

  • Role— UTF -8 chaînes.

    IAM Rôle fourni pour chiffrer les résultats de l'exécution.

  • NumberOfWorkers – Nombre (entier).

    Nombre d'employés G.1X à utiliser dans l'exécution. La valeur par défaut est 5.

  • Timeout – Nombre (entier), au moins égal à 1.

    Délai d'expiration d'une exécution en minutes. Durée maximale pendant laquelle une exécution peut consommer des ressources avant qu'elle ne se termine et n'entre dans l'état TIMEOUT. La valeur par défaut est de 2 880 minutes (48 heures).

  • Status— Chaîne UTF -8 (valeurs valides : STARTING | RUNNING | STOPPING | STOPPED | SUCCEEDED FAILED |TIMEOUT).

    Statut de cette exécution.

  • ErrorString— UTF -8 chaînes.

    Chaînes d'erreur associées à l'exécution.

  • StartedOn – Horodatage.

    Date et heure de lancement de cette exécution.

  • LastModifiedOn – Horodatage.

    Horodatage. Dernier moment où cette exécution de recommandation de règle de qualité des données a été modifiée.

  • CompletedOn – Horodatage.

    Date et heure de fin de cette exécution.

  • ExecutionTime – Nombre (entier).

    Durée (en secondes) pendant laquelle l'exécution a consommé des ressources.

  • RecommendedRuleset— UTF -8 chaînes, d'une longueur d'au moins 1 ou supérieure à 65 536 octets.

    À la fin de l'exécution d'une recommandation de règle de démarrage, un ensemble de règles recommandé est créé. Ce membre dispose de ces règles au format Data Quality Definition Language (DQDL).

  • CreatedRulesetName— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de l'ensemble de règles créé par l'exécution.

  • DataQualitySecurityConfiguration— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de la configuration de sécurité créée avec l'option de chiffrement de la qualité des données.

Erreurs
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

ListDataQualityRuleRecommendationRuns action (Python : list_data_quality_rule_recommendation_runs)

Répertorie les exécutions de recommandation répondant aux critères de filtrage.

Demande
  • Filter – Un objet DataQualityRuleRecommendationRunFilter.

    Critères de filtrage.

  • NextToken— UTF -8 chaînes.

    Jeton de pagination pour décaler les résultats.

  • MaxResults – Nombre (entier), compris entre 1 et 1 000.

    Nombre maximal de résultats à renvoyer.

Réponse
  • Runs – Un tableau d'objets DataQualityRuleRecommendationRunDescription.

    Liste d’objets DataQualityRuleRecommendationRunDescription.

  • NextToken— UTF -8 chaînes.

    Un jeton de pagination, si d'autres résultats sont disponibles.

Erreurs
  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

GetDataQualityResult action (Python : get_data_quality_result)

Récupère le résultat d'une évaluation des règles de qualité des données.

Demande
  • ResultIdObligatoire : UTF -8 chaînes, d'au moins 1 ou plus de 255 octets de long, correspondant auSingle-line string pattern.

    ID de résultat unique pour le résultat en matière de qualité des données.

Réponse

La réponse pour le résultat relatif à la qualité des données.

  • ResultId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    ID de résultat unique pour le résultat en matière de qualité des données.

  • ProfileId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    L'ID de profil pour le résultat de qualité des données.

  • Score – Nombre (double), au plus égal à 1,0.

    Score de qualité des données agrégées. Représente le rapport entre le nombre de règles transmises et le nombre total de règles.

  • DataSource – Un objet DataSource.

    Table associée au résultat sur la qualité des données, le cas échéant.

  • RulesetName— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de l'ensemble de règles associé au résultat sur la qualité des données.

  • EvaluationContext— UTF -8 chaînes.

    Dans le contexte d'une tâche dans AWS Glue Studio, chaque nœud du canevas se voit généralement attribuer un nom et les nœuds de qualité des données porteront un nom. Dans le cas de plusieurs nœuds, evaluationContext peut distinguer les nœuds.

  • StartedOn – Horodatage.

    Date et heure du début de l'exécution de ce résultat en matière de qualité des données.

  • CompletedOn – Horodatage.

    Date et heure de fin de l'exécution de ce résultat en matière de qualité des données.

  • JobName— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Le nom de tâche associé au résultat sur la qualité des données, le cas échéant.

  • JobRunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    ID d'exécution de la tâche associé au résultat sur la qualité des données, le cas échéant.

  • RulesetEvaluationRunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    ID d'exécution unique associé à l'évaluation de l'ensemble de règles.

  • RuleResults – Un tableau d’objets DataQualityRuleResult, 2 000 structures au maximum.

    Liste d'objets DataQualityRuleResult représentant les résultats de chaque règle.

  • AnalyzerResults – Un tableau d’objets DataQualityAnalyzerResult, 2 000 structures au maximum.

    Liste d’objets DataQualityAnalyzerResult représentant les résultats de chaque analyseur.

  • Observations – Un tableau d'objets DataQualityObservation, 50 structures maximum.

    Liste d’objets DataQualityObservation représentant les observations générées après évaluation des règles et des analyseurs.

Erreurs
  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

  • EntityNotFoundException

BatchGetDataQualityResult action (Python : batch_get_data_quality_result)

Récupère une liste des résultats de qualité des données pour le résultat IDs spécifié.

Demande
  • ResultIdsObligatoire : un tableau de UTF -8 chaînes, pas moins d'une ou plus de 100 chaînes.

    Une liste de résultats uniques IDs pour les résultats relatifs à la qualité des données.

Réponse
  • ResultsObligatoire : Un tableau d'objets DataQualityResult.

    Liste d'objets DataQualityResult représentant les résultats en matière de qualité des données.

  • ResultsNotFound— Un tableau de UTF -8 chaînes, pas moins d'une ou plus de 100 chaînes.

    Liste des résultats IDs pour lesquels aucun résultat n'a été trouvé.

Erreurs
  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

ListDataQualityResults action (Python : list_data_quality_results)

Renvoie tous les résultats d'exécution en matière de qualité des données pour votre compte.

Demande
  • Filter – Un objet DataQualityResultFilterCriteria.

    Critères de filtrage.

  • NextToken— UTF -8 chaînes.

    Jeton de pagination pour décaler les résultats.

  • MaxResults – Nombre (entier), compris entre 1 et 1 000.

    Nombre maximal de résultats à renvoyer.

Réponse
  • ResultsObligatoire : Un tableau d'objets DataQualityResultDescription.

    Liste d’objets DataQualityResultDescription.

  • NextToken— UTF -8 chaînes.

    Un jeton de pagination, si d'autres résultats sont disponibles.

Erreurs
  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

CreateDataQualityRuleset action (Python : create_data_quality_ruleset)

Crée un ensemble de règles de qualité des données avec DQDL des règles appliquées à une AWS Glue table spécifiée.

Vous créez l'ensemble de règles à l'aide du langage de définition de la qualité des données (DQDL). Pour plus d'informations, consultez le guide du AWS Glue développeur.

Demande

Demande de création d'un ensemble de règles de qualité des données.

  • NameObligatoire : UTF -8 chaînes, d'au moins 1 ou plus de 255 octets de long, correspondant auSingle-line string pattern.

    Nom unique de l'ensemble de règles de qualité des données.

  • Description – Chaîne de description, d'une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

    Description de l'ensemble de règles de qualité des données.

  • RulesetObligatoire : UTF -8 chaînes, d'une longueur d'au moins 1 ou supérieure à 65536 octets.

    Un ensemble de règles du langage de définition de la qualité des données (DQDL). Pour plus d'informations, consultez le guide du AWS Glue développeur.

  • Tags – Tableau de mappage de paires clé-valeur, avec 50 paires au maximum.

    Chaque clé est une chaîne UTF -8 d'une longueur d'au moins 1 ou d'au plus 128 octets.

    Chaque valeur est une chaîne de UTF -8, d'une longueur maximale de 256 octets.

    Liste de balises appliquées à l'ensemble de règles de qualité des données.

  • TargetTable – Un objet DataQualityTargetTable.

    Table cible associée à l'ensemble de règles de qualité des données.

  • RecommendationRunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    ID d'exécution unique pour l'exécution recommandée.

  • DataQualitySecurityConfiguration— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de la configuration de sécurité créée avec l'option de chiffrement de la qualité des données.

  • ClientToken— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Utilisé pour l'idempuissance, il est recommandé de le définir sur un identifiant aléatoire (tel que aUUID) pour éviter de créer ou de démarrer plusieurs instances de la même ressource.

Réponse
  • Name— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom unique de l'ensemble de règles de qualité des données.

Erreurs
  • InvalidInputException

  • AlreadyExistsException

  • OperationTimeoutException

  • InternalServiceException

  • ResourceNumberLimitExceededException

DeleteDataQualityRuleset action (Python : delete_data_quality_ruleset)

Supprime un ensemble de règles de qualité des données.

Demande
  • NameObligatoire : UTF -8 chaînes, d'au moins 1 ou plus de 255 octets de long, correspondant auSingle-line string pattern.

    Nom de l'ensemble de règles de qualité des données.

Réponse
  • Paramètres d'absence de réponse.

Erreurs
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

GetDataQualityRuleset action (Python : get_data_quality_ruleset)

Renvoie un ensemble de règles existant par identifiant ou nom.

Demande
  • NameObligatoire : UTF -8 chaînes, d'au moins 1 ou plus de 255 octets de long, correspondant auSingle-line string pattern.

    Le nom de l'ensemble de règles.

Réponse

Renvoie la réponse de l'ensemble de règles de qualité des données.

  • Name— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Le nom de l'ensemble de règles.

  • Description – Chaîne de description, d'une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

    Description de l'ensemble de règles.

  • Ruleset— UTF -8 chaînes, d'une longueur d'au moins 1 ou supérieure à 65 536 octets.

    Un ensemble de règles du langage de définition de la qualité des données (DQDL). Pour plus d'informations, consultez le guide du AWS Glue développeur.

  • TargetTable – Un objet DataQualityTargetTable.

    Nom et nom de la base de données de la table cible.

  • CreatedOn – Horodatage.

    Horodatage. Date et heure de création de cet ensemble de règles de qualité des données.

  • LastModifiedOn – Horodatage.

    Horodatage. Dernier moment où cet ensemble de règles de qualité des données a été modifié.

  • RecommendationRunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Lors de la création d'un ensemble de règles à partir d'une exécution de recommandation, cet ID d'exécution est généré pour relier les deux.

  • DataQualitySecurityConfiguration— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de la configuration de sécurité créée avec l'option de chiffrement de la qualité des données.

Erreurs
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

ListDataQualityRulesets action (Python : list_data_quality_rulesets)

Renvoie une liste paginée d'ensembles de règles pour la liste de tables spécifiée. AWS Glue

Demande
  • NextToken— UTF -8 chaînes.

    Jeton de pagination pour décaler les résultats.

  • MaxResults – Nombre (entier), compris entre 1 et 1 000.

    Nombre maximal de résultats à renvoyer.

  • Filter – Un objet DataQualityRulesetFilterCriteria.

    Critères de filtrage.

  • Tags – Tableau de mappage de paires clé-valeur, avec 50 paires au maximum.

    Chaque clé est une chaîne UTF -8 d'une longueur d'au moins 1 ou d'au plus 128 octets.

    Chaque valeur est une chaîne de UTF -8, d'une longueur maximale de 256 octets.

    Liste de balises de paire clé-valeur.

Réponse
  • Rulesets – Un tableau d'objets DataQualityRulesetListDetails.

    Liste paginée d'ensembles de règles pour la liste de tables spécifiée. AWS Glue

  • NextToken— UTF -8 chaînes.

    Un jeton de pagination, si d'autres résultats sont disponibles.

Erreurs
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

UpdateDataQualityRuleset action (Python : update_data_quality_ruleset)

Met à jour l'ensemble de règles de qualité des données spécifié.

Demande
  • NameObligatoire : UTF -8 chaînes, d'au moins 1 ou plus de 255 octets de long, correspondant auSingle-line string pattern.

    Nom de l'ensemble de règles de qualité des données.

  • Description – Chaîne de description, d'une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

    Description de l'ensemble de règles.

  • Ruleset— UTF -8 chaînes, d'une longueur d'au moins 1 ou supérieure à 65 536 octets.

    Un ensemble de règles du langage de définition de la qualité des données (DQDL). Pour plus d'informations, consultez le guide du AWS Glue développeur.

Réponse
  • Name— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de l'ensemble de règles de qualité des données.

  • Description – Chaîne de description, d'une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

    Description de l'ensemble de règles.

  • Ruleset— UTF -8 chaînes, d'une longueur d'au moins 1 ou supérieure à 65 536 octets.

    Un ensemble de règles du langage de définition de la qualité des données (DQDL). Pour plus d'informations, consultez le guide du AWS Glue développeur.

Erreurs
  • EntityNotFoundException

  • AlreadyExistsException

  • IdempotentParameterMismatchException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

  • ResourceNumberLimitExceededException

ListDataQualityStatistics action (Python : list_data_quality_statistics)

Récupère une liste de statistiques sur la qualité des données.

Demande
  • StatisticId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    L'identifiant de la statistique.

  • ProfileId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    L'identifiant du profil.

  • TimestampFilter – Un objet TimestampFilter.

    Un filtre d'horodatage.

  • MaxResults – Nombre (entier), compris entre 1 et 1 000.

    Nombre maximal de résultats à renvoyer dans cette demande.

  • NextToken— UTF -8 chaînes.

    Un jeton de pagination pour demander la page de résultats suivante.

Réponse
  • Statistics – Un tableau d'objets StatisticSummary.

    Une StatisticSummaryList.

  • NextToken— UTF -8 chaînes.

    Un jeton de pagination pour demander la page de résultats suivante.

Erreurs
  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

TimestampFilter structure

Un filtre d'horodatage.

Champs
  • RecordedBefore – Horodatage.

    Horodatage avant lequel les statistiques doivent être incluses dans les résultats.

  • RecordedAfter – Horodatage.

    Horodatage après lequel les statistiques doivent être incluses dans les résultats.

CreateDataQualityRulesetRequest structure

Demande de création d'un ensemble de règles de qualité des données.

Champs
  • NameObligatoire : UTF -8 chaînes, d'au moins 1 ou plus de 255 octets de long, correspondant auSingle-line string pattern.

    Nom unique de l'ensemble de règles de qualité des données.

  • Description – Chaîne de description, d'une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

    Description de l'ensemble de règles de qualité des données.

  • RulesetObligatoire : UTF -8 chaînes, d'une longueur d'au moins 1 ou supérieure à 65536 octets.

    Un ensemble de règles du langage de définition de la qualité des données (DQDL). Pour plus d'informations, consultez le guide du AWS Glue développeur.

  • Tags – Tableau de mappage de paires clé-valeur, avec 50 paires au maximum.

    Chaque clé est une chaîne UTF -8 d'une longueur d'au moins 1 ou d'au plus 128 octets.

    Chaque valeur est une chaîne de UTF -8, d'une longueur maximale de 256 octets.

    Liste de balises appliquées à l'ensemble de règles de qualité des données.

  • TargetTable – Un objet DataQualityTargetTable.

    Table cible associée à l'ensemble de règles de qualité des données.

  • RecommendationRunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    ID d'exécution unique pour l'exécution recommandée.

  • DataQualitySecurityConfiguration— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de la configuration de sécurité créée avec l'option de chiffrement de la qualité des données.

  • ClientToken— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Utilisé pour l'idempuissance, il est recommandé de le définir sur un identifiant aléatoire (tel que aUUID) pour éviter de créer ou de démarrer plusieurs instances de la même ressource.

GetDataQualityRulesetResponse structure

Renvoie la réponse de l'ensemble de règles de qualité des données.

Champs
  • Name— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Le nom de l'ensemble de règles.

  • Description – Chaîne de description, d'une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

    Description de l'ensemble de règles.

  • Ruleset— UTF -8 chaînes, d'une longueur d'au moins 1 ou supérieure à 65 536 octets.

    Un ensemble de règles du langage de définition de la qualité des données (DQDL). Pour plus d'informations, consultez le guide du AWS Glue développeur.

  • TargetTable – Un objet DataQualityTargetTable.

    Nom et nom de la base de données de la table cible.

  • CreatedOn – Horodatage.

    Horodatage. Date et heure de création de cet ensemble de règles de qualité des données.

  • LastModifiedOn – Horodatage.

    Horodatage. Dernier moment où cet ensemble de règles de qualité des données a été modifié.

  • RecommendationRunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Lors de la création d'un ensemble de règles à partir d'une exécution de recommandation, cet ID d'exécution est généré pour relier les deux.

  • DataQualitySecurityConfiguration— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de la configuration de sécurité créée avec l'option de chiffrement de la qualité des données.

GetDataQualityResultResponse structure

La réponse pour le résultat relatif à la qualité des données.

Champs
  • ResultId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    ID de résultat unique pour le résultat en matière de qualité des données.

  • ProfileId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    L'ID de profil pour le résultat de qualité des données.

  • Score – Nombre (double), au plus égal à 1,0.

    Score de qualité des données agrégées. Représente le rapport entre le nombre de règles transmises et le nombre total de règles.

  • DataSource – Un objet DataSource.

    Table associée au résultat sur la qualité des données, le cas échéant.

  • RulesetName— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de l'ensemble de règles associé au résultat sur la qualité des données.

  • EvaluationContext— UTF -8 chaînes.

    Dans le contexte d'une tâche dans AWS Glue Studio, chaque nœud du canevas se voit généralement attribuer un nom et les nœuds de qualité des données porteront un nom. Dans le cas de plusieurs nœuds, evaluationContext peut distinguer les nœuds.

  • StartedOn – Horodatage.

    Date et heure du début de l'exécution de ce résultat en matière de qualité des données.

  • CompletedOn – Horodatage.

    Date et heure de fin de l'exécution de ce résultat en matière de qualité des données.

  • JobName— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Le nom de tâche associé au résultat sur la qualité des données, le cas échéant.

  • JobRunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    ID d'exécution de la tâche associé au résultat sur la qualité des données, le cas échéant.

  • RulesetEvaluationRunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    ID d'exécution unique associé à l'évaluation de l'ensemble de règles.

  • RuleResults – Un tableau d’objets DataQualityRuleResult, 2 000 structures au maximum.

    Liste d'objets DataQualityRuleResult représentant les résultats de chaque règle.

  • AnalyzerResults – Un tableau d’objets DataQualityAnalyzerResult, 2 000 structures au maximum.

    Liste d’objets DataQualityAnalyzerResult représentant les résultats de chaque analyseur.

  • Observations – Un tableau d'objets DataQualityObservation, 50 structures maximum.

    Liste d’objets DataQualityObservation représentant les observations générées après évaluation des règles et des analyseurs.

StartDataQualityRuleRecommendationRunRequest structure

La demande de recommandation relative à la règle de qualité des données.

Champs
  • DataSourceObligatoire : un objet DataSource.

    La source de données (AWS Glue table) associée à cette exécution.

  • RoleObligatoire : UTF -8 chaînes.

    IAM Rôle fourni pour chiffrer les résultats de l'exécution.

  • NumberOfWorkers – Nombre (entier).

    Nombre d'employés G.1X à utiliser dans l'exécution. La valeur par défaut est 5.

  • Timeout – Nombre (entier), au moins égal à 1.

    Délai d'expiration d'une exécution en minutes. Durée maximale pendant laquelle une exécution peut consommer des ressources avant qu'elle ne se termine et n'entre dans l'état TIMEOUT. La valeur par défaut est de 2 880 minutes (48 heures).

  • CreatedRulesetName— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de l'ensemble de règles.

  • DataQualitySecurityConfiguration— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de la configuration de sécurité créée avec l'option de chiffrement de la qualité des données.

  • ClientToken— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Utilisé pour l'idempuissance, il est recommandé de le définir sur un identifiant aléatoire (tel que aUUID) pour éviter de créer ou de démarrer plusieurs instances de la même ressource.

GetDataQualityRuleRecommendationRunResponse structure

La réponse à la recommandation de règle de qualité des données exécutée.

Champs
  • RunId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Identifiant d'exécution unique associé à cette exécution.

  • DataSource – Un objet DataSource.

    La source de données (une AWS Glue table) associée à cette exécution.

  • Role— UTF -8 chaînes.

    IAM Rôle fourni pour chiffrer les résultats de l'exécution.

  • NumberOfWorkers – Nombre (entier).

    Nombre d'employés G.1X à utiliser dans l'exécution. La valeur par défaut est 5.

  • Timeout – Nombre (entier), au moins égal à 1.

    Délai d'expiration d'une exécution en minutes. Durée maximale pendant laquelle une exécution peut consommer des ressources avant qu'elle ne se termine et n'entre dans l'état TIMEOUT. La valeur par défaut est de 2 880 minutes (48 heures).

  • Status— Chaîne UTF -8 (valeurs valides : STARTING | RUNNING | STOPPING | STOPPED | SUCCEEDED FAILED |TIMEOUT).

    Statut de cette exécution.

  • ErrorString— UTF -8 chaînes.

    Chaînes d'erreur associées à l'exécution.

  • StartedOn – Horodatage.

    Date et heure de lancement de cette exécution.

  • LastModifiedOn – Horodatage.

    Horodatage. Dernier moment où cette exécution de recommandation de règle de qualité des données a été modifiée.

  • CompletedOn – Horodatage.

    Date et heure de fin de cette exécution.

  • ExecutionTime – Nombre (entier).

    Durée (en secondes) pendant laquelle l'exécution a consommé des ressources.

  • RecommendedRuleset— UTF -8 chaînes, d'une longueur d'au moins 1 ou supérieure à 65 536 octets.

    À la fin de l'exécution d'une recommandation de règle de démarrage, un ensemble de règles recommandé est créé. Ce membre dispose de ces règles au format Data Quality Definition Language (DQDL).

  • CreatedRulesetName— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de l'ensemble de règles créé par l'exécution.

  • DataQualitySecurityConfiguration— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Nom de la configuration de sécurité créée avec l'option de chiffrement de la qualité des données.

BatchPutDataQualityStatisticAnnotation action (Python : batch_put_data_quality_statistic_annotation)

Annotez les points de données au fil du temps pour une statistique de qualité des données spécifique.

Demande
  • InclusionAnnotationsObligatoire : Un tableau d'objets DatapointInclusionAnnotation.

    Une liste DatapointInclusionAnnotation de.

  • ClientToken— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    Jeton client.

Réponse
  • FailedInclusionAnnotations – Un tableau d'objets AnnotationError.

    Une liste AnnotationError de.

Erreurs
  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • ResourceNumberLimitExceededException

GetDataQualityModel action (Python : get_data_quality_model)

Récupérez l'état d'entraînement du modèle ainsi que des informations supplémentaires (CompletedOn, StartedOn, FailureReason).

Demande
  • StatisticId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    L'identifiant de la statistique.

  • ProfileIdObligatoire : UTF -8 chaînes, d'au moins 1 ou plus de 255 octets de long, correspondant auSingle-line string pattern.

    L'identifiant du profil.

Réponse
  • Status— Chaîne UTF -8 (valeurs valides : RUNNING | SUCCEEDED |FAILED).

    État d'apprentissage du modèle de qualité des données.

  • StartedOn – Horodatage.

    Horodatage du début de l'entraînement au modèle de qualité des données.

  • CompletedOn – Horodatage.

    Horodatage auquel l'entraînement du modèle de qualité des données s'est terminé.

  • FailureReason— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    La raison de l'échec de l'entraînement.

Erreurs
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

GetDataQualityModelResult action (Python : get_data_quality_model_result)

Récupérez les prédictions d'une statistique pour un ID de profil donné.

Demande
  • StatisticIdObligatoire : UTF -8 chaînes, d'au moins 1 ou plus de 255 octets de long, correspondant auSingle-line string pattern.

    L'identifiant de la statistique.

  • ProfileIdObligatoire : UTF -8 chaînes, d'au moins 1 ou plus de 255 octets de long, correspondant auSingle-line string pattern.

    L'identifiant du profil.

Réponse
  • CompletedOn – Horodatage.

    Horodatage auquel l'entraînement du modèle de qualité des données s'est terminé.

  • Model – Un tableau d'objets StatisticModelResult.

    Une liste de StatisticModelResult

Erreurs
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

ListDataQualityStatisticAnnotations action (Python : list_data_quality_statistic_annotations)

Récupérez les annotations d'une statistique de qualité des données.

Demande
  • StatisticId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    L'identifiant de la statistique.

  • ProfileId— Chaîne UTF -8, d'une longueur d'au moins 1 ou supérieure à 255 octets, correspondant auSingle-line string pattern.

    L'identifiant du profil.

  • TimestampFilter – Un objet TimestampFilter.

    Un filtre d'horodatage.

  • MaxResults – Nombre (entier), compris entre 1 et 1 000.

    Nombre maximal de résultats à renvoyer dans cette demande.

  • NextToken— UTF -8 chaînes.

    Un jeton de pagination pour récupérer le prochain ensemble de résultats.

Réponse
  • Annotations – Un tableau d'objets StatisticAnnotation.

    Une liste de StatisticAnnotation ceux appliqués à la statistique

  • NextToken— UTF -8 chaînes.

    Un jeton de pagination pour récupérer le prochain ensemble de résultats.

Erreurs
  • InvalidInputException

  • InternalServiceException

PutDataQualityProfileAnnotation action (Python : put_data_quality_profile_annotation)

Annotez tous les points de données d'un profil.

Demande
  • ProfileIdObligatoire : UTF -8 chaînes, d'au moins 1 ou plus de 255 octets de long, correspondant auSingle-line string pattern.

    ID du profil de surveillance de la qualité des données à annoter.

  • InclusionAnnotationObligatoire : chaîne UTF -8 (valeurs valides : INCLUDE |EXCLUDE).

    Valeur d'annotation d'inclusion à appliquer au profil.

Réponse
  • Paramètres d'absence de réponse.

Erreurs
  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException