Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esegui un'analisi esplorativa dei dati () EDA

Data Wrangler include analisi integrate che ti aiutano a generare visualizzazioni e analisi dei dati in pochi clic. Puoi anche creare analisi personalizzate utilizzando il tuo codice.

Puoi aggiungere un'analisi a un dataframe selezionando una fase nel flusso di dati e quindi scegliendo Aggiungi analisi. Per accedere a un'analisi che hai creato, seleziona la fase che contiene l'analisi e seleziona l'analisi.

Le analisi vengono generate utilizzando un campione di massimo 200.000 righe del set di dati e puoi configurare la dimensione del campione. Per ulteriori informazioni sulla modifica della dimensione del campione del flusso di dati, consulta. Modifica la configurazione di campionamento del flusso di dati

Puoi aggiungere l'analisi seguente a un dataframe:

Utilizza le seguenti sezioni per avere ulteriori informazioni su queste opzioni.

Ottieni approfondimenti sui dati e sulla loro qualità

Utilizza il Report della qualità e dei dettagli dei dati per eseguire un'analisi dei dati che hai importato in Data Wrangler. Si consiglia di creare il report dopo l'importazione del set di dati. Puoi utilizzare il report per aiutarti a pulire ed elaborare i tuoi dati. Il report fornisce informazioni come il numero di valori mancanti e il numero di valori anomali. In caso di problemi con i dati, come la perdita o lo squilibrio di dati di destinazione, il report sulle informazioni può richiamare l'attenzione su tali problemi.

Utilizza la procedura seguente per creare un report Qualità e dettagli dei dati. Si presuppone che tu abbia già importato un set di dati nel flusso di Data Wrangler.

I seguenti argomenti mostrano le sezioni del report:

Puoi scaricare il report o visualizzarlo online. Per scaricare il report, scegli il pulsante di download nell'angolo in alto a destra dello schermo.

Riepilogo

Il report dei dettagli contiene un breve riepilogo dei dati che include informazioni generali come valori mancanti, valori non validi, tipi di funzionalità, conteggi dei valori anomali e altro ancora. Può anche includere avvisi di elevata gravità che indicano probabili problemi con i dati. Si consiglia di esaminare gi avvisi.

Colonna di destinazione

Quando crei il rapporto Data Quality and Insights, Data Wrangler ti offre la possibilità di selezionare una colonna di destinazione. Una colonna di destinazione è una colonna che stai cercando di prevedere. Quando scegli una colonna di destinazione, Data Wrangler crea automaticamente un'analisi della colonna di destinazione. Inoltre classifica le funzionalità in base al loro potere predittivo. Quando selezioni una colonna di destinazione, devi specificare se stai cercando di risolvere una regressione o un problema di classificazione.

Per la classificazione, Data Wrangler mostra una tabella e un istogramma delle classi più comuni. Una classe è una categoria. Presenta inoltre osservazioni, o righe, con un valore di destinazione mancante o non valido.

Per la regressione, Data Wrangler mostra un istogramma di tutti i valori nella colonna di destinazione. Presenta inoltre osservazioni, o righe, con un valore obiettivo mancante, non valido o anomalo.

Modello rapido

Il modello rapido fornisce una stima della qualità prevista di un modello che si addestra sulla base dei dati.

Data Wrangler suddivide i dati in file di addestramento e convalida. Utilizza l'80% dei campioni per l’addestramento e il 20% dei valori per la convalida. Per la classificazione, il campione viene suddiviso in strati. Per una suddivisione stratificata, ogni partizione di dati ha la stessa percentuale di etichette. Per problemi di classificazione, è importante avere la stessa percentuale di etichette tra i fold di addestramento e di classificazione. Data Wrangler addestra il XGBoost modello con gli iperparametri predefiniti. Applica l'arresto anticipato dei dati di convalida ed esegue una preelaborazione minima delle funzionalità.

Per i modelli di classificazione, Data Wrangler restituisce sia un riepilogo del modello che una matrice di confusione.

Per ulteriori informazioni sulle informazioni restituite dal riepilogo del modello di classificazione, consulta. Definizioni

Una matrice di confusione fornisce le seguenti informazioni:

L'etichetta vera rappresenta un'osservazione effettiva nei dati. Ad esempio, se utilizzi un modello per rilevare transazioni fraudolente, la vera etichetta rappresenta una transazione che è effettivamente fraudolenta o non fraudolenta. L'etichetta prevista rappresenta l'etichetta che il modello assegna ai dati.

Puoi utilizzare la matrice di confusione per vedere quanto bene il modello prevede la presenza o l'assenza di una condizione. Se prevedi transazioni fraudolente, puoi utilizzare la matrice di confusione per avere un'idea sia della sensibilità che della specificità del modello. La sensibilità si riferisce alla capacità del modello di rilevare transazioni fraudolente. La specificità si riferisce alla capacità del modello di evitare di rilevare transazioni non fraudolente come fraudolente.

Sintesi delle funzionalità

Quando specifichi una colonna di destinazione, Data Wrangler ordina le funzionalità in base alla loro potenza di previsione. La potenza di previsione viene misurata sui dati dopo averli suddivisi in pieghe di addestramento all'80% e di convalida per il 20%. Data Wrangler inserisce un modello per ogni funzionalità separatamente nella cartella di addestramento. Applica una preelaborazione minima delle funzionalità e misura le prestazioni di previsione sui dati di convalida.

Normalizza i punteggi nell'intervallo [0,1]. I punteggi di previsione più alti indicano le colonne più utili per prevedere da sole l'obiettivo. I punteggi più bassi indicano colonne che non sono predittive della colonna di destinazione.

È raro che una colonna che di per sé non è predittiva lo sia quando viene utilizzata insieme ad altre colonne. Puoi utilizzare con sicurezza i punteggi di previsione per determinare se una funzionalità del tuo set di dati è predittiva.

Un punteggio basso di solito indica che la funzionalità è ridondante. Un punteggio pari a 1 implica capacità predittive perfette, il che spesso indica una perdita dei dati di destinazione. La perdita dei dati di destinazione si verifica in genere quando il set di dati contiene una colonna che non è disponibile al momento della previsione. Ad esempio, potrebbe essere un duplicato della colonna di destinazione.

Esempi

Data Wrangler fornisce informazioni sull'eventuale presenza di campioni anomali o duplicati nel set di dati.

Data Wrangler rileva campioni anomali utilizzando l'algoritmo della foresta di isolamento. La foresta di isolamento associa un punteggio di anomalia a ciascun campione (riga) del set di dati. Punteggi di anomalia bassi indicano campioni anomali. I punteggi più alti sono associati a campioni non anomali. I campioni con un punteggio di anomalia negativo sono generalmente considerati anomali e i campioni con un punteggio di anomalia positivo sono considerati non anomali.

Quando si esamina un campione che potrebbe essere anomalo, si consiglia di prestare attenzione ai valori insoliti. Ad esempio, potresti avere valori anomali derivanti da errori nella raccolta e nell'elaborazione dei dati. Di seguito è riportato un esempio dei campioni più anomali secondo l'implementazione dell'algoritmo della foresta di isolamento da parte di Data Wrangler. Si consiglia di utilizzare la conoscenza del dominio e la logica aziendale quando si esaminano i campioni anomali.

Data Wrangler rileva le righe duplicate e calcola il rapporto tra le righe duplicate nei dati. Alcune origini dati potrebbero includere duplicati validi. Altre origini dati potrebbero avere duplicati che indicano problemi nella raccolta dei dati. I campioni duplicati derivanti da una raccolta errata dei dati potrebbero interferire con i processi di machine learning che si basano sulla suddivisione dei dati in moduli di addestramento e convalida indipendenti.

Di seguito sono riportati alcuni elementi del rapporto di approfondimento che possono essere influenzati da campioni duplicati:

È possibile rimuovere campioni duplicati dal set di dati utilizzando la trasformazione Elimina duplicati in Gestisci righe. Data Wrangler mostra le righe duplicate più frequentemente.

Definizioni

Di seguito sono riportate le definizioni dei termini tecnici utilizzati nel report di analisi dei dati.

Feature types

Di seguito sono riportate le definizioni per ogni tipo di funzionalità:

• Numerico: i valori numerici possono essere variabili o numeri interi, ad esempio età o reddito. I modelli di machine learning presuppongono che i valori numerici siano ordinati e su di essi sia definita una distanza. Ad esempio, 3 è più vicino a 4 che a 10 e 3 < 4 < 10.

• Categoriale: le voci della colonna appartengono a un insieme di valori univoci, che in genere è molto inferiore al numero di voci nella colonna. Ad esempio, una colonna di lunghezza 100 potrebbe contenere i valori univoci Dog, Cat e Mouse. I valori possono essere numerici, di testo o una combinazione di entrambi. Horse, House, 8, Love e 3.1 sarebbero tutti valori validi e potrebbero essere trovati nella stessa colonna categorica. Il modello di machine learning non presuppone ordine o distanza sui valori delle funzionalità categoriali, a differenza delle funzionalità numeriche, anche quando tutti i valori sono numeri.

• Binario: le funzionalità binarie sono un tipo di funzionalità categoriale speciale in cui la cardinalità dell'insieme di valori univoci è 2.

• Testo: una colonna di testo contiene molti valori univoci non numerici. In casi estremi, tutti gli elementi della colonna sono unici. In un caso estremo, non esistono due voci uguali.

• Datetime: una colonna datetime contiene informazioni sulla data o l'ora. Può contenere informazioni sia sulla data che sull'ora.

Feature statistics

Di seguito sono riportate le definizioni per ciascuna delle statistiche sulle funzionalità:

• Potenza di previsione: la potenza di previsione misura l'utilità della colonna per prevedere l'obiettivo.

• Valori anomali (in colonne numeriche): Data Wrangler rileva i valori anomali utilizzando due statistiche affidabili rispetto ai valori anomali: deviazione standard mediana e deviazione standard robusta (). RSTD RSTDè derivato ritagliando i valori delle caratteristiche nell'intervallo [5 percentile, 95 percentile] e calcolando la deviazione standard del vettore ritagliato. Tutti i valori maggiori della mediana + 5 * RSTD o inferiori alla mediana - 5 * sono considerati valori anomali. RSTD

• Inclinazione (in colonne numeriche): l'inclinazione misura la simmetria della distribuzione ed è definita come il terzo momento della distribuzione diviso per la terza potenza della deviazione standard. L'asimmetria della distribuzione normale o di qualsiasi altra distribuzione simmetrica è zero. I valori positivi implicano che la coda destra della distribuzione è più lunga della coda sinistra. I valori negativi implicano che la coda sinistra della distribuzione è più lunga della coda destra. Come regola generale, una distribuzione è considerata distorta quando il valore assoluto dell'inclinazione è maggiore di 3.

• Kurtosis (in colonne numeriche): la kurtosis di Pearson misura la pesantezza della coda della distribuzione. È definita come il quarto momento della distribuzione diviso per il quadrato del secondo momento. La kurtosis della distribuzione normale è 3. Valori di kurtosis inferiori a 3 implicano che la distribuzione sia concentrata attorno alla media e che le code siano più leggere delle code della distribuzione normale. Valori di kurtosis superiori a 3 implicano code o valori anomali più pesanti.

• Valori mancanti: gli oggetti di tipo NULL, le stringhe vuote e le stringhe composte solo da spazi bianchi sono considerati mancanti.

• Valori validi per funzionalità numeriche o obiettivi di regressione: tutti i valori che è possibile convertire in numeri a virgola mobile finiti sono validi. I valori mancanti non sono validi.

• Valori validi per funzionalità categoriche, binarie o di testo o per l'obiettivo di classificazione: tutti i valori che non mancano sono validi.

• Funzionalità datetime: tutti i valori che è possibile trasmettere a un oggetto datetime sono validi. I valori mancanti non sono validi.

• Valori non validi: valori mancanti o che non è possibile trasmettere correttamente. Ad esempio, in una colonna numerica, non è possibile inserire la stringa "six" o un valore nullo.

Quick model metrics for regression

Di seguito sono riportate le definizioni per le metriche del modello rapido:

• R2 o coefficiente di determinazione): R2 è la proporzione della variazione dell'obiettivo prevista dal modello. R2 è compreso nell'intervallo [-infty, 1]. 1 è il punteggio del modello che prevede perfettamente l'obiettivo e 0 è il punteggio del modello banale che prevede sempre la media dell'obiettivo.

• MSEo errore quadratico medio: MSE è compreso nell'intervallo [0, infty]. 0 è il punteggio del modello che prevede perfettamente l'obiettivo.

• MAEo errore medio assoluto: MAE è compreso nell'intervallo [0, infty] dove 0 è il punteggio del modello che prevede perfettamente l'obiettivo.

• RMSEo root mean square error: RMSE è compreso nell'intervallo [0, infty] dove 0 è il punteggio del modello che prevede perfettamente l'obiettivo.

• Errore massimo: il valore assoluto massimo dell'errore nel set di dati. L'errore massimo è compreso nell'intervallo [0, infty]. 0 è il punteggio del modello che prevede perfettamente l'obiettivo.

• Errore assoluto medio: l'errore assoluto medio è compreso nell'intervallo [0, infty]. 0 è il punteggio del modello che prevede perfettamente l'obiettivo.

Quick model metrics for classification

Di seguito sono riportate le definizioni per le metriche del modello rapido:

• Precisione: la precisione è il rapporto tra campioni previsti con precisione. La precisione è compresa nell'intervallo [0, 1]. 0 è il punteggio del modello che prevede tutti i campioni in modo errato e 1 è il punteggio del modello perfetto.

• Precisione bilanciata: la precisione bilanciata è il rapporto tra i campioni che viene previsto con precisione quando i pesi delle classi vengono regolati per bilanciare i dati. A tutte le classi viene data la stessa importanza, indipendentemente dalla frequenza. La precisione bilanciata è compresa nell'intervallo [0, 1]. 0 è il punteggio del modello che prevede tutti i campioni errati. 1 è il punteggio del modello perfetto.

• AUC(classificazione binaria) — Questa è l'area sotto la curva caratteristica operativa del ricevitore. AUCè nell'intervallo [0, 1] in cui un modello casuale restituisce un punteggio di 0,5 e il modello perfetto restituisce un punteggio di 1.

• AUC(OVR) — Per la classificazione multiclasse, si tratta dell'area sotto la curva delle caratteristiche operative del ricevitore calcolata separatamente per ciascuna etichetta utilizzando una contro la resto. Data Wrangler riporta la media delle aree. AUCè nell'intervallo [0, 1] dove un modello casuale restituisce un punteggio di 0,5 e il modello perfetto restituisce un punteggio di 1.

• Precisione: la precisione è definita per una classe specifica. La precisione è la frazione di veri positivi tra tutte le istanze classificate dal modello come tale classe. La precisione è compresa nell'intervallo [0, 1]. 1 è il punteggio del modello che non presenta falsi positivi per la classe. Per la classificazione binaria, Data Wrangler riporta la precisione della classe positiva.

• Recupero: il recupero è definito per una classe specifica. Il recupero è la frazione delle istanze di classe pertinenti che vengono recuperate con successo. Il recupero è compreso nell'intervallo [0, 1]. 1 è il punteggio del modello che classifica correttamente tutte le istanze della classe. Per la classificazione binaria, Data Wrangler riporta il recupero della classe positiva.

• F1: F1 è definito per una classe specifica. È la media armonica tra precisione e recupero. F1 è nell'intervallo [0, 1]. 1 è il punteggio del modello perfetto. Per la classificazione binaria, Data Wrangler riporta F1 per le classi con valori positivi.

Textual patterns

I modelli descrivono il formato testuale di una stringa utilizzando un formato di facile lettura. Di seguito sono riportati alcuni esempi di modelli testuali:

• «{digits:4-7}» descrive una sequenza di cifre con una lunghezza compresa tra 4 e 7.

• «{alnum:5}» descrive una stringa alfanumerica con una lunghezza esattamente di 5.

Data Wrangler deduce i modelli esaminando esempi di stringhe non vuote dai dati. Può descrivere molti dei modelli comunemente usati. La attendibilità espressa in percentuale indica la quantità di dati stimata in base al modello. Utilizzando lo schema testuale, puoi vedere quali righe dei dati devi correggere o eliminare.

Di seguito vengono descritti i modelli che Data Wrangler è in grado di riconoscere:

Pattern	Formato testuale
{album}	Stringhe alfanumeriche
{any}	Qualsiasi stringa di caratteri di parole
{digits}	Una sequenza di cifre
{lower}	Una parola minuscola
{mixed}	Una parola composta da maiuscole e minuscole
{name}	Una parola che inizia con una lettera maiuscola
{upper}	Una parola in maiuscolo
{whitespace}	Caratteri degli spazi bianchi

Un carattere di parole è un carattere di sottolineatura o un carattere che può apparire in una parola in qualsiasi lingua. Ad esempio, 'écoute' entrambe le stringhe 'Hello_word' sono costituite da caratteri di parole. 'H' e 'é' sono entrambi esempi di caratteri di parole.

Report di bias

SageMaker Canvas fornisce il rapporto sulle distorsioni in Data Wrangler per aiutarti a scoprire potenziali pregiudizi nei dati. Il rapporto sulle distorsioni analizza la relazione tra la colonna di destinazione (etichetta) e una colonna che ritieni possa contenere distorsioni (variabile sfaccettata). Ad esempio, se stai cercando di prevedere la conversione dei clienti, la variabile facet potrebbe essere l'età del cliente. Il rapporto sulle distorsioni può aiutarti a determinare se i tuoi dati sono orientati o meno verso una determinata fascia di età.

Per generare un rapporto sulle distorsioni in Canvas, procedi come segue:

Una volta generato, il rapporto offre una panoramica delle metriche di pregiudizio selezionate. Puoi visualizzare il rapporto sulle distorsioni in qualsiasi momento dalla scheda Analisi del flusso di dati.

Istogramma

Utilizza gli istogrammi per visualizzare i conteggi dei valori delle funzionalità per una funzionalità specifica. Puoi esaminare le relazioni tra le funzionalità utilizzando l'opzione Colora per.

Puoi utilizzare la funzionalità Facet per per creare istogrammi di una colonna, per ogni valore in un'altra colonna.

Grafico a dispersione

Usa la funzionalità Grafico a dispersione per esaminare la relazione tra le funzionalità. Per creare un grafico a dispersione, seleziona una funzionalità da tracciare sull'asse X e sull'asse Y. Entrambe queste colonne devono essere colonne di tipo numerico.

Puoi colorare i grafici a dispersione in base a una colonna aggiuntiva.

Inoltre, puoi suddividere i grafici a dispersione in base alle funzionalità.

Riepilogo della tabella

Utilizza l'analisi Riepilogo della tabella per riepilogare rapidamente i dati.

Per le colonne con dati numerici, inclusi dati di log e float, una tabella di riepilogo riporta il numero di voci (conteggio), minimo (min), massimo (max), di media e deviazione standard (stddev) per ogni colonna.

Per le colonne con dati non numerici, incluse le colonne con dati di stringa, booleani o data/ora, un riepilogo della tabella riporta il numero di voci (conteggio), il valore meno frequente (min) e il valore più frequente (max).

Modello rapido

Usa la visualizzazione Modello rapido per valutare rapidamente i tuoi dati e generare punteggi di importanza per ogni funzionalità. Un punteggio di importanza della funzionalità indica quanto sia utile una funzionalità per prevedere un'etichetta di destinazione. Il punteggio di importanza della funzionalità è compreso tra [0, 1] e un numero più alto indica che la funzionalità è più importante per l'intero set di dati. Nella parte superiore del grafico del modello rapido, c'è un punteggio del modello. Un problema di classificazione mostra un punteggio in F1. Un problema di regressione ha un punteggio quadratico medio (MSE).

Quando si crea un grafico di modello rapido, si seleziona un set di dati da valutare e un'etichetta di destinazione rispetto alla quale si desidera confrontare l'importanza delle funzionalità. Data Wrangler esegue le seguenti operazioni:

Obiettivo: perdita

La perdita dei dati di destinazione si verifica quando in un set di dati di addestramento di machine learning sono presenti dati fortemente correlati all'etichetta di destinazione, ma non disponibili nei dati del mondo reale. Ad esempio, è possibile che nel set di dati sia presente una colonna che funge da proxy per la colonna che si desidera prevedere con il modello.

Quando utilizzi l'analisi Perdita di dati di destinazione, devi specificare quanto segue:

Per la classificazione, l'analisi delle perdite target utilizza l'area sotto la caratteristica operativa del ricevitore, o la ROC curva AUC - per ogni colonna, fino alle caratteristiche Max. Per la regressione, utilizza un coefficiente di determinazione, o parametro R2.

La ROC curva AUC - fornisce una metrica predittiva, calcolata individualmente per ogni colonna utilizzando la convalida incrociata, su un campione di un massimo di circa 1000 righe. Un punteggio pari a 1 indica capacità predittive perfette, il che spesso indica una perdita dei dati di destinazione. Un punteggio pari o inferiore a 0,5 indica che le informazioni sulla colonna non sono in grado di fornire, da sole, alcuna informazione utile per prevedere l'obiettivo. Anche se può succedere che una colonna di per sé non sia informativa ma sia utile per prevedere l'obiettivo se utilizzata insieme ad altre funzionalità, un punteggio basso potrebbe indicare che la funzionalità è ridondante.

Multicollinearità

La multicollinearità è una circostanza in cui due o più variabili predittive sono correlate tra loro. Le variabili predittive sono le funzionalità del set di dati che utilizzi per prevedere una variabile di destinazione. In presenza di multicollinearità, le variabili predittive non sono solo predittive della variabile di destinazione, ma anche predittive l'una dell'altra.

È possibile utilizzare la selezione delle feature Variance Inflation Factor (VIF), Principal Component Analysis (PCA) o Lasso come misure della multicollinearità dei dati. Per ulteriori informazioni, consulta gli argomenti seguenti.

Variance Inflation Factor (VIF)

Il Variance Inflation Factor (VIF) è una misura della collinearità tra coppie di variabili. Data Wrangler restituisce un VIF punteggio come misura della stretta relazione tra le variabili. Un VIF punteggio è un numero positivo maggiore o uguale a 1.

Un punteggio pari a 1 significa che la variabile non è correlata con le altre variabili. I punteggi superiori a 1 indicano una correlazione più elevata.

In teoria, puoi avere un VIF punteggio con un valore infinito. Data Wrangler porta i punteggi più alti a 50. Se hai un VIF punteggio superiore a 50, Data Wrangler imposta il punteggio su 50.

Puoi utilizzare le seguenti linee guida per interpretare i tuoi VIF punteggi:

• Un VIF punteggio inferiore o uguale a 5 indica che le variabili sono moderatamente correlate con le altre variabili.

• Un VIF punteggio maggiore o uguale a 5 indica che le variabili sono altamente correlate con le altre variabili.

Principle Component Analysis (PCA)

Principal Component Analysis (PCA) misura la varianza dei dati lungo diverse direzioni nello spazio delle feature. Lo spazio delle funzionalità è costituito da tutte le variabili predittive utilizzate per prevedere la variabile di destinazione nel set di dati.

Ad esempio, se stai cercando di prevedere chi è sopravvissuto sul RMSTitanic dopo che il Titanic ha colpito un iceberg, le tue funzionalità possono includere l'età, il sesso e la tariffa pagata dai passeggeri.

Dallo spazio delle funzionalità, PCA genera un elenco ordinato di variazioni. Queste variazioni sono definite anche valori singolari. I valori nell'elenco delle varianze sono maggiori o uguali a 0. Possiamo usarli per determinare la quantità di multicollinearità presente nei nostri dati.

Quando i numeri sono più o meno uniformi, i dati presentano pochissime istanze di multicollinearità. Quando esiste molta variabilità tra i valori, abbiamo molti casi di multicollinearità. Prima che funzioniPCA, Data Wrangler normalizza ogni caratteristica in modo che abbia una media di 0 e una deviazione standard di 1.

Nota

PCAin questa circostanza può anche essere chiamata Singular Value Decomposition (). SVD

Lasso feature selection

La selezione delle funzionalità Lasso utilizza la tecnica di regolarizzazione L1 per includere solo le funzionalità più predittive nel set di dati.

Sia per la classificazione che per la regressione, la tecnica di regolarizzazione genera un coefficiente per ogni funzionalità. Il valore assoluto del coefficiente fornisce un punteggio di importanza per la funzionalità. Un punteggio di importanza più elevato indica che è più predittivo della variabile di destinazione. Un metodo di selezione delle funzionalità comune consiste nell'utilizzare tutte le funzionalità con un coefficiente di lasso diverso da zero.

Rileva anomalie nei dati delle serie temporali

Puoi utilizzare la visualizzazione del rilevamento delle anomalie per individuare i valori anomali nei dati di serie temporali. Per comprendere cosa determina un'anomalia, devi capire che scomponiamo le serie temporali in un termine previsto e un termine di errore. Consideriamo la stagionalità e l'andamento delle serie temporali come termine previsto. Trattiamo i residui come termine di errore.

Per il termine di errore, si specifica una soglia come il numero di deviazioni standard, il residuo può essere lontano dalla media perché venga considerato un'anomalia. Ad esempio, puoi specificare una soglia come 3 deviazioni standard. Qualsiasi residuo superiore a 3 deviazioni standard dalla media è un'anomalia.

È possibile utilizzare la procedura seguente per eseguire un'analisi di rilevamento delle anomalie.

Scomposizione delle tendenze stagionali nei dati delle serie temporali

Puoi determinare se esiste una stagionalità nei dati di serie temporali utilizzando la visualizzazione Scomposizione delle tendenze stagionali. Utilizziamo il metodo STL (Seasonal Trend decomposition usingLOESS) per eseguire la scomposizione. Scomponiamo le serie temporali nelle sue componenti stagionali, di tendenza e residue. La tendenza riflette la progressione a lungo termine della serie. La componente stagionale è un segnale che ricorre in un determinato periodo di tempo. Dopo aver rimosso la tendenza e le componenti stagionali dalla serie temporale, si ottiene il residuo.

È possibile utilizzare la procedura seguente per eseguire un'analisi della scomposizione delle tendenze stagionali.

Crea visualizzazioni personalizzate

Puoi aggiungere un'analisi al flusso di Data Wrangler per creare una visualizzazione personalizzata. Il tuo set di dati, con tutte le trasformazioni che hai applicato, è disponibile come Pandas. DataFrame Data Wrangler utilizza la variabile per memorizzare il dataframe. df Puoi accedere al dataframe chiamando la variabile.

Devi fornire la variabile di output, chart, per memorizzare un grafico di output Altair. Ad esempio, puoi utilizzare il seguente blocco di codice per creare un istogramma personalizzato utilizzando il set di dati del Titanic.

import altair as alt
df = df.iloc[:30]
df = df.rename(columns={"Age": "value"})
df = df.assign(count=df.groupby('value').value.transform('count'))
df = df[["value", "count"]]
base = alt.Chart(df)
bar = base.mark_bar().encode(x=alt.X('value', bin=True, axis=None), y=alt.Y('count'))
rule = base.mark_rule(color='red').encode(
    x='mean(value):Q',
    size=alt.value(5))
chart = bar + rule

Se non sai come usare il pacchetto di visualizzazione Altair in Python, puoi usare frammenti di codice personalizzati per iniziare.

Data Wrangler dispone di una raccolta ricercabile di frammenti di visualizzazione. Per utilizzare uno snippet di visualizzazione, scegli Cerca frammenti di esempio e specifica una query nella barra di ricerca.

L'esempio seguente utilizza lo snippet di codice Scatterplot Binned. Traccia un istogramma per 2 dimensioni.

Gli snippet contengono commenti per aiutarti a comprendere le modifiche da apportare al codice. In genere è necessario specificare i nomi delle colonne del set di dati nel codice.

import altair as alt

# Specify the number of top rows for plotting
rows_number = 1000
df = df.head(rows_number)  
# You can also choose bottom rows or randomly sampled rows
# df = df.tail(rows_number)
# df = df.sample(rows_number)


chart = (
    alt.Chart(df)
    .mark_circle()
    .encode(
        # Specify the column names for binning and number of bins for X and Y axis
        x=alt.X("col1:Q", bin=alt.Bin(maxbins=20)),
        y=alt.Y("col2:Q", bin=alt.Bin(maxbins=20)),
        size="count()",
    )
)

# :Q specifies that label column has quantitative type.
# For more details on Altair typing refer to
# https://altair-viz.github.io/user_guide/encoding.html#encoding-data-types