Nozioni di base su AWS Glue Data Quality per Data Catalog

Apri la console AWS Glue all'indirizzo https://console.aws.amazon.com/glue/.

Nel pannello di navigazione, seleziona Tables (Tabelle). Scegliere quindi la tabella per la quale si desidera generare le raccomandazioni di regole di qualità dei dati.

Nella pagina dei dettagli della tabella, scegli la scheda Qualità dei dati per accedere alle regole e alle impostazioni di Qualità dei dati di AWS Glue per la tabella.

Nella scheda Qualità dei dati, scegli Aggiungi regole e monitora la qualità dei dati.

Nella pagina Generatore set di regole, un avviso nella parte superiore della pagina ti chiederà di avviare un'attività di suggerimento se non sono presenti esecuzioni di suggerimenti di regole.

Scegli Regole suggerite per aprire il modale e inserisci i parametri per l'attività di suggerimento.

Scegli un ruolo IAM con accesso ad AWS Glue. Questo ruolo deve disporre dell'autorizzazione per l'accesso alle risorse che vari processi AWS Glue Data Quality richiedono per l'esecuzione a tuo nome.

Dopo aver completato i campi in base alle tue preferenze, scegli Suggerisci regole per avviare l'esecuzione dell'attività di suggerimento. Se le esecuzioni di suggerimento sono in corso o completate, puoi gestirle in questo avviso. Potrebbe essere necessario aggiornare l'avviso per visualizzare la modifica dello stato. Le esecuzioni delle attività di suggerimento completate e in corso vengono visualizzate nella pagina Cronologia delle esecuzioni, che elenca tutte le esecuzioni di suggerimento effettuate negli ultimi 90 giorni.

Nella console AWS Glue, scegli Catalogo dati, quindi scegli Tabelle database nel riquadro di navigazione. Seleziona la tabella tickets.

Nella pagina dei dettagli della tabella, scegli la scheda Qualità dei dati per accedere alle opzioni Qualità dei dati di AWS Glue per la tabella.

Nella sezione Set di regole, seleziona il set di regole generato in Generazione di raccomandazioni di regole.

Scegli Operazioni, quindi scegli Modifica nella finestra della console. L'editor del set di regole viene caricato nella console. Include un riquadro di modifica delle regole e un riferimento rapido per DQDL.

Rimuovi la riga 2 dello script. Ciò allenta il requisito che prevede che la dimensione del database sia limitata entro un certo numero di righe. Dopo la modifica, il file dovrebbe contenere quanto segue nelle righe 1-3:

Rules = [
    IsComplete "TAG_NUMBER_MASKED",
    ColumnLength "TAG_NUMBER_MASKED" between 6 and 9,

Rimuovi la riga 25 dello script. Ciò allenta il requisito che prevede che il 96% delle province registrate sia ON. Dopo la modifica, il file dovrebbe contenere quanto segue dalla riga 24 alla fine del set di regole:

ColumnValues "PROVINCE" in ["ON", "QC", "AB", "NY", "AZ", "NS", "BC", "MI", "PQ", "MB", "PA", "FL", "SK", "NJ", "OH", "NB", "IL", "MA", "CA",
    "VA", "TX", "NF", "MD", "PE", "CT", "NC", "GA", "IN", "OR", "MN", "TN", "WI", "KY", "MO", "WA", "NH", "SC", "CO", "OK", "VT", "RI", "ME", "AL",
    "YT", "IA", "DE", "AR", "LA", "XX", "WV", "MT", "KS", "NT", "DC", "NV", "NE", "UT", "MS", "NM", "ID", "SD", "ND", "AK", "NU", "GO", "WY", "HI"],
ColumnLength "PROVINCE" = 2
]

Modifica la riga 14 come segue:

IsComplete "TIME_OF_INFRACTION",

Ciò rafforza il requisito relativo alla colonna limitando il database ai soli ticket che contengono un orario di infrazione registrato. Nel contesto di questo set di dati, è importante considerare i ticket senza un orario di infrazione registrato come dati non validi. In alcune situazioni, potrebbe essere più appropriato considerare il partizionamento o la trasformazione dei dati al fine di consentire un ulteriore utilizzo o ispezione dei dati per determinare una regola di qualità.

Scegli Aggiorna set di regole nella parte inferiore della pagina della console.

Nella console AWS Glue, scegli Catalogo dati, scegli Database, quindi scegli Tabelle nel riquadro di navigazione. Seleziona la tabella tickets.

Apri la scheda Data quality (Qualità dei dati).

Nella sezione Set di regole, scegli Crea set di regole. L'editor DQDL viene avviato nella console. Dispone di un'area di testo per la modifica diretta e di un riferimento rapido alle regole DQDL e allo schema delle tabelle.

Inizia ad aggiungere regole all'area di testo dell'editor DQDL. Puoi scrivere le regole direttamente da questo tutorial o utilizzare la funzionalità Generatore di regole DQDL dell'editor delle regole sulla qualità dei dati.

Ad esempio, le seguenti regole sono vincoli per la convalida dei dati della colonna ticket_number nella tabella tickets. Per aggiungere le seguenti regole, utilizza il generatore di regole DQDL o modifica direttamente il tuo set di regole:

IsComplete "ticket_number",
IsUnique "ticket_number",
ColumnValues "ticket_number" > 9000000000

Fornisci un nome per il tuo nuovo set di regole nel campo Nome del set di regole.

Scegli Salva set di regole.

Nella console AWS Glue, scegli Catalogo dati, scegli Database, quindi scegli Tabelle nel riquadro di navigazione. Seleziona la tabella tickets.

Scegli la scheda Qualità dei dati.

Nell'elenco Set di regole, scegli il set di regole rispetto al quale desideri valutare la tabella. Per questo passaggio, ti consigliamo di utilizzare un set di regole che hai già scritto o modificato anziché regole generate. Scegli Esegui.

Nel modale, scegli il tuo ruolo IAM. Questo ruolo deve disporre dell'autorizzazione per l'accesso alle risorse che vari processi AWS Glue Data Quality richiedono per l'esecuzione a tuo nome. È possibile salvare il ruolo IAM come predefinito o modificarlo accedendo alla pagina Impostazioni predefinite.

In Azioni sulla qualità dei dati, scegli se pubblicare le metriche su Amazon CloudWatch. Se si seleziona questa opzione, Qualità dei dati di AWS Glue pubblica i parametri che indicano il numero di regole soddisfatte e il numero di regole non soddisfatte. Per intervenire sulle metriche archiviate in questo modo, puoi utilizzare CloudWatch gli allarmi. Su Amazon EventBridge vengono inoltre pubblicati i parametri chiave per consentirti di impostare gli avvisi. Per ulteriori informazioni, consulta la pagina Setting up alerts, deployments, and scheduling.

In Frequenza di esecuzione, scegli l'esecuzione on demand oppure pianifica il set di regole. Quando pianifichi un set di regole, ti viene richiesto un nome per l'attività. La pianificazione verrà creata in Amazon EventBridge. Puoi modificare la tua pianificazione in Amazon EventBridge.

Per salvare i risultati della qualità dei dati in Amazon S3, scegli una Posizione per i risultati della qualità dei dati. Il ruolo IAM selezionato in precedenza per questa attività deve avere accesso di scrittura a questa posizione.

In Configurazioni aggiuntive, inserisci il Numero di worker richiesto che desideri che AWS Glue allochi per la tua attività di qualità dei dati.

Facoltativamente, puoi impostare un filtro nell'origine dati. Questo contribuisce a ridurre i dati in fase di lettura. È inoltre possibile utilizzare un filtro per eseguire convalide incrementali selezionando le informazioni sulle partizioni e trasmettendole come parametri tramite chiamate API. Per migliorare le prestazioni, puoi fornire un predicato di partizione.

Scegli Esegui. La nuova attività dovrebbe essere riportata nell'elenco di esecuzioni delle attività relative alla qualità dei dati. Quando la colonna Stato di esecuzione dell'attività è visualizzata come Completata, è possibile visualizzare i risultati del punteggio di qualità. Potrebbe essere necessario aggiornare la finestra della console per visualizzare correttamente lo stato.

Per visualizzare la colonna con i dettagli dei risultati sulla qualità dei dati, scegli l'icona "+" per espandere il set di regole. I risultati mostrano le regole che hanno superato e quelle che non hanno superato la valutazione e cosa ha causato l'errore della regola.

Nella console AWS Glue, scegli Tables (Tabelle) nel pannello di navigazione. Scegliere quindi la tabella per la quale si desidera eseguire un'attività di qualità dei dati.

Scegli la scheda Qualità dei dati.

Snapshot della qualità dei dati mostra una tendenza generale delle esecuzioni nel tempo. Per impostazione predefinita, vengono visualizzate le ultime 10 esecuzioni di tutti i set di regole. Per filtrare per set di regole, seleziona quello desiderato dall'elenco a discesa. Se ci sono meno di 10 esecuzioni, vengono visualizzate tutte le esecuzioni completate disponibili.

Nella tabella Qualità dei dati, viene mostrato ogni set di regole con l'ultima esecuzione, se presente, insieme al relativo punteggio. L'espansione del set di regole mostra le regole presenti in quel set di regole insieme ai risultati delle regole per tale esecuzione.

Nella console AWS Glue, scegli Tables (Tabelle) nel pannello di navigazione. Scegliere quindi la tabella per la quale si desidera eseguire un'attività di qualità dei dati.

Scegli la scheda Qualità dei dati.

Nella tabella Qualità dei dati, scegli un set di regole specifico.

Nella pagina Dettagli del set di regole, scegli la scheda Cronologia di esecuzione.

Tutte le esecuzioni di valutazione per questo particolare set di regole sono elencate nella tabella all'interno di questa scheda. È possibile visualizzare la cronologia dei punteggi e lo stato delle esecuzioni.

Per visualizzare ulteriori informazioni su una determinata esecuzione, scegli ID esecuzione per accedere alla pagina Dettagli dell'esecuzione di valutazione. In questa pagina, puoi visualizzare informazioni specifiche sull'esecuzione e ulteriori dettagli sullo stato dei risultati delle singole regole.