Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Convalida della qualità dei dati in AWS Glue DataBrew

Per garantire la qualità dei set di dati, è possibile definire un elenco di regole di qualità dei dati in un set di regole. Un set di regole è un insieme di regole che confrontano diverse metriche dei dati con i valori previsti. Se uno qualsiasi dei criteri di una regola non viene soddisfatto, l'intero set di regole non viene convalidato. È quindi possibile esaminare i singoli risultati per ogni regola. Per qualsiasi regola che causa un errore di convalida, è possibile apportare le correzioni necessarie e riconvalidare.

Di seguito sono riportati alcuni esempi di regole:

Puoi definire ogni regola per una singola colonna o applicarla indipendentemente a più colonne selezionate, ad esempio:

Una regola può essere costituita da più controlli semplici. È possibile definire se devono essere tutti veri o uno qualsiasi, ad esempio:

È possibile verificare le regole in base a valori aggregati come maxmin, o number of duplicate values in cui viene confrontato un solo valore, oppure a valori non aggregati in ogni riga di una colonna. In quest'ultimo caso, puoi anche definire una soglia di «superamento» come. value in columnA > value in columnB for at least 95% of rows

Come per le informazioni sul profilo, è possibile definire regole di qualità dei dati a livello di colonna solo per colonne di tipo semplice, come stringhe e numeri. Non è possibile definire regole di qualità dei dati per colonne di tipi complessi, come matrici o strutture. Per ulteriori dettagli sull'utilizzo delle informazioni del profilo, vedereCreare e lavorare con AWS Glue DataBrew lavori di profilo.

Convalida delle regole di qualità dei dati

Dopo aver definito un set di regole, puoi aggiungerlo a un job di profilo per la convalida. È possibile definire più di un set di regole per un set di dati.

Ad esempio, un set di regole potrebbe contenere regole con criteri minimamente accettabili. Un errore di convalida per quel set di regole potrebbe significare che i dati non sono accettabili per un ulteriore utilizzo. Un esempio sono i valori mancanti nelle colonne chiave di un set di dati utilizzato per la formazione sull'apprendimento automatico. È possibile utilizzare un secondo set di regole con regole più rigorose per verificare se la qualità del set di dati è tale da non richiedere alcuna pulizia.

È possibile applicare uno o più set di regole definiti per un determinato set di dati in una configurazione del processo di profilo. Quando il job del profilo viene eseguito, produce un rapporto di convalida oltre al profilo di dati. Il rapporto di convalida è disponibile nella stessa posizione dei dati del profilo. Come per le informazioni sul profilo, puoi esplorare i risultati nella DataBrew console. Nella visualizzazione dei dettagli del set di dati, scegli la scheda Qualità dei dati per visualizzare i risultati. Per maggiori dettagli sull'utilizzo delle informazioni del profilo, consultaCreare e lavorare con AWS Glue DataBrew lavori di profilo.

Agire in base ai risultati della convalida

Quando un processo DataBrew di profilo viene completato, DataBrew invia un CloudWatch evento Amazon con i dettagli dell'esecuzione di tale processo. Se hai anche configurato il job per convalidare le regole di qualità dei dati, DataBrew invia un evento per ogni set di regole convalidato. L'evento contiene il risultato (SUCCEEDED,FAILED, oERROR) e un collegamento al rapporto dettagliato di convalida della qualità dei dati. È quindi possibile automatizzare ulteriori azioni richiamando l'azione successiva in base allo stato della convalida. Per ulteriori informazioni sul collegamento degli eventi alle azioni mirate, come notifiche Amazon SNS, invocazioni di AWS Lambda funzioni e altro, consulta la pagina Guida introduttiva ad Amazon. EventBridge

Di seguito è riportato un esempio di evento DataBrew Validation Result:

{
  "version": "0",
  "id": "fb27348b-112d-e7c2-560d-85e7c2c09964",
  "detail-type": "DataBrew Ruleset Validation Result",   
  "source": "aws.databrew",                     
  "account": "123456789012",          
  "time": "2021-11-18T13:15:46Z", 
  "region": "us-east-1",
  "resources": [],
  "detail": {
    "datasetName": "MyDataset", 
    "jobName": "MyProfileJob",
    "jobRunId": "db_f07954d20d083de0c1fc1eee11498d8635ee5be4ca416af27d33933e91ff4e6e",
    "rulesetName": "MyRuleset",
    "validationState": "FAILED",
    "validationReportLocation": "s3://MyBucket/MyKey/MyDataset_f07954d20d083de0c1fc1eee11498d8635ee5be4ca416af27d33933e91ff4e6e_dq-validation-report.json"
  }
}

Puoi utilizzare attributi di eventi come detail-type source e proprietà annidate dell'detailattributo per creare modelli di eventi in Amazon Eventbridge. Ad esempio, uno schema di eventi che corrisponda a tutte le convalide non riuscite di qualsiasi DataBrew processo sarebbe simile al seguente:

{
  "source": ["aws.databrew"],
  "detail-type": ["DataBrew Ruleset Validation Result"],
  "detail": {
   "validationState": ["FAILED"]
  }
}

Per un esempio di creazione di un set di regole e di convalida delle relative regole, vedi. Creazione di un set di regole con regole di qualità dei dati Per ulteriori informazioni sull'utilizzo CloudWatch degli eventi in, vedere DataBrew Automazione DataBrew con eventi CloudWatch

Ispezione dei risultati di convalida e aggiornamento delle regole di qualità dei dati

Una volta completato il processo di creazione del profilo, puoi visualizzare i risultati di convalida delle regole di qualità dei dati e, se necessario, aggiornare le regole.

Per ogni regola che non è riuscita a convalidare, puoi apportare le correzioni necessarie.