Trasformazione dei dati

Amazon SageMaker Data Wrangler offre numerose trasformazioni di dati ML per semplificare la pulizia, la trasformazione e la personalizzazione dei dati. Quando aggiungi una trasformazione, aggiunge una fase al flusso di dati. Ogni trasformazione aggiunta modifica il set di dati e produce un nuovo dataframe. Tutte le trasformazioni successive si applicano al dataframe risultante.

Data Wrangler include trasformazioni integrate, che puoi utilizzare per trasformare le colonne senza alcun codice. Puoi anche aggiungere trasformazioni personalizzate utilizzando PySpark Python (funzione definita dall'utente), panda e SQL. PySpark Alcune trasformazioni funzionano sul posto, mentre altre creano una nuova colonna di output nel set di dati.

È possibile applicare le trasformazioni a più colonne contemporaneamente. Ad esempio, puoi eliminare più colonne in un’unica fase.

È possibile applicare le trasformazioni Numeriche di processo e Gestire mancanti solo a una singola colonna.

Usa questa pagina per saperne di più sulle trasformazioni integrate e personalizzate.

Interfaccia utente di trasformazione

La maggior parte delle trasformazioni integrate si trova nella scheda Prepara dell'interfaccia utente di Data Wrangler. Puoi accedere alle trasformazioni di unione e concatenazione tramite la visualizzazione del flusso di dati. Utilizza la tabella seguente per visualizzare in anteprima queste due viste.

Unire i set di dati

Unisci i dataframe direttamente nel tuo flusso di dati. Quando unisci due set di dati, il set di dati unito risultante viene visualizzato nel flusso. I seguenti tipi di unione sono supportati da Data Wrangler.

Utilizza la procedura seguente per unire due dataframe.

Concatena i set di dati

Bilanciamento dei dati

È possibile bilanciare i dati dei set di dati con una categoria sottorappresentata. Il bilanciamento di un set di dati può aiutarti a creare modelli migliori per la classificazione binaria.

È possibile utilizzare l'operazione Bilancia dati per bilanciare i dati utilizzando uno dei seguenti operatori:

È possibile utilizzare tutte le trasformazioni per set di dati contenenti caratteristiche sia numeriche che non numeriche. SMOTE interpola i valori utilizzando campioni adiacenti. Data Wrangler utilizza la distanza R al quadrato per determinare l'area circostante per interpolare i campioni aggiuntivi. Data Wrangler utilizza solo caratteristiche numeriche per calcolare le distanze tra i campioni del gruppo sottorappresentato.

Per due campioni reali nel gruppo sottorappresentato, Data Wrangler interpola le caratteristiche numeriche utilizzando una media ponderata. Assegna in modo casuale dei pesi a quei campioni nell'intervallo di [0, 1]. Per quanto riguarda le caratteristiche numeriche, Data Wrangler interpola i campioni utilizzando una media ponderata dei campioni. Per i campioni A e B, Data Wrangler può assegnare in modo casuale un peso di 0,7 ad A e 0,3 a B. Il campione interpolato ha un valore di 0,7A + 0,3B.

Data Wrangler interpola caratteristiche non numeriche copiando da uno dei campioni reali interpolati. Copia i campioni con una probabilità che assegna casualmente a ciascun campione. Per i campioni A e B, può assegnare probabilità 0,8 a A e 0,2 a B. Per le probabilità assegnate, copia A l'80% delle volte.

Trasformazioni personalizzate

Il gruppo Custom Transforms consente di utilizzare Python (User-Defined Function) PySpark, panda PySpark o (SQL) per definire trasformazioni personalizzate. Per tutte e tre le opzioni, utilizza la variabile per accedere al dataframe df a cui desideri applicare la trasformazione. Per applicare il codice personalizzato al dataframe, assegna al dataframe le trasformazioni che hai apportato alla variabile df. Se non utilizzi Python (funzione definita dall'utente), non devi includere un'istruzione restituita. Scegli Anteprima per visualizzare in anteprima il risultato della trasformazione personalizzata. Scegli Aggiungi per aggiungere la trasformazione personalizzata all'elenco delle fasi precedenti.

Puoi importare le librerie più diffuse con un'istruzione import nel blocco di codice di trasformazione personalizzata, come il seguente:

df.rename(columns={"A column": "A_column", "B column": "B_column"})

Se includi istruzioni di stampa nel blocco di codice, il risultato viene visualizzato quando selezioni Anteprima. È possibile ridimensionare il pannello di trasformatore del codice personalizzato. Il ridimensionamento del pannello offre più spazio per scrivere codici. L'immagine seguente mostra il ridimensionamento del pannello.

Le sezioni seguenti forniscono contesto ed esempi aggiuntivi per la scrittura del codice di trasformazione personalizzata.

Python (funzione definita dall'utente)

La funzione Python ti dà la possibilità di scrivere trasformazioni personalizzate senza dover conoscere Apache Spark o pandas. Data Wrangler è ottimizzato per eseguire rapidamente il codice personalizzato. Ottieni prestazioni simili utilizzando codice Python personalizzato e un plug-in Apache Spark.

Per utilizzare il blocco di codice Python (Funzione definita dall'utente), specifica quanto segue:

L'uso della modalità pandas offre prestazioni migliori. La modalità Python semplifica la scrittura di trasformazioni utilizzando funzioni Python pure.

Il video seguente mostra un esempio di come utilizzare il codice personalizzato per creare una trasformazione. Utilizza il Set di dati Titanic per creare una colonna con il saluto della persona.

PySpark

L'esempio seguente estrae data e ora da un timestamp.

from pyspark.sql.functions import from_unixtime, to_date, date_format
df = df.withColumn('DATE_TIME', from_unixtime('TIMESTAMP'))
df = df.withColumn( 'EVENT_DATE', to_date('DATE_TIME')).withColumn(
'EVENT_TIME', date_format('DATE_TIME', 'HH:mm:ss'))

pandas

L'esempio seguente fornisce una panoramica del dataframe a cui si sta aggiungendo le trasformazioni.

df.info()

PySpark (SQL)

L'esempio seguente crea un nuovo dataframe con quattro colonne: nome, fare, pclass, survived.

SELECT name, fare, pclass, survived FROM df

Se non sai come usare PySpark, puoi usare frammenti di codice personalizzati per aiutarti a iniziare.

Data Wrangler ha una raccolta ricercabile di frammenti di codice. È possibile utilizzare i frammenti di codice per eseguire attività come eliminare colonne, raggruppare per colonne o modellare.

Per utilizzare un frammento di codice, scegli Cerca frammenti di esempio e specifica una query nella barra di ricerca. Il testo specificato nella query non deve necessariamente corrispondere esattamente al nome del frammento di codice.

L'esempio seguente mostra un frammento di codice Elimina le righe duplicate che può eliminare righe con dati simili nel set di dati. Puoi trovare il frammento di codice cercando uno dei seguenti:

Il seguente frammento contiene commenti per aiutarti a comprendere le modifiche da apportare. Per la maggior parte dei frammenti, è necessario specificare i nomi delle colonne del set di dati nel codice.

# Specify the subset of columns
# all rows having identical values in these columns will be dropped

subset = ["col1", "col2", "col3"]
df = df.dropDuplicates(subset)  

# to drop the full-duplicate rows run
# df = df.dropDuplicates()            
                        
        

Per utilizzare un frammento, copia e incolla il suo contenuto nel campo Trasformazione personalizzata. Puoi copiare e incollare più frammenti di codice nel campo Trasformazione personalizzata.

Formula personalizzata

Usa la Formula personalizzata per definire una nuova colonna usando un'espressione SQL Spark per effettuare la query dei dati nel dataframe corrente. La query deve utilizzare le convenzioni delle espressioni SQL di Spark.

df.rename(columns={"A column": "A_column", "B column": "B_column"})

È possibile utilizzare questa trasformazione per eseguire operazioni sulle colonne, facendo riferimento alle colonne per nome. Ad esempio, supponendo che il dataframe corrente contenga colonne denominate col_a e col_b, è possibile utilizzare la seguente operazione per produrre una colonna di output che sia il prodotto di queste due colonne con il codice seguente:

col_a * col_b

Altre operazioni comuni includono le seguenti, supponendo che un dataframe contenga col_a e col_b colonne:

Per maggiori informazioni, consulta la documentazione di Spark sulla selezione dei dati.

Ridurre la dimensionalità all'interno di un set di dati

Riduci la dimensionalità dei dati utilizzando Principal Component Analysis (PCA). La dimensionalità del set di dati corrisponde al numero di funzionalità. Quando si utilizza la riduzione della dimensionalità in Data Wrangler, si ottiene un nuovo set di funzionalità chiamate componenti. Ogni componente rappresenta una certa variabilità nei dati.

Il primo componente rappresenta la maggiore quantità di variazioni nei dati. Il secondo componente rappresenta la seconda maggiore quantità di variazioni nei dati e così via.

È possibile utilizzare la riduzione della dimensionalità per ridurre le dimensioni dei set di dati utilizzati per addestrare i modelli. Invece di utilizzare le funzionalità del set di dati, è possibile utilizzare i componenti principali.

Per eseguire la PCA, Data Wrangler crea assi per i dati. Un asse è una combinazione affine di colonne nel set di dati. Il primo componente principale è il valore sull'asse che presenta la maggiore varianza. Il secondo componente principale è il valore sull'asse che presenta la seconda maggiore varianza. L'ennesima componente principale è il valore sull'asse che presenta l'ennesima maggiore varianza.

È possibile configurare il numero di componenti principali restituiti da Data Wrangler. È possibile specificare direttamente il numero di componenti principali oppure specificare la percentuale di soglia di varianza. Ogni componente principale spiega una quantità di varianza nei dati. Ad esempio, si potrebbe disporre di un componente principale con un valore di 0,5. Il componente spiegherebbe il 50% della variazione dei dati. Quando si specifica una percentuale di soglia di varianza, Data Wrangler restituisce il numero minimo di componenti che soddisfano la percentuale specificata.

Di seguito sono riportati alcuni esempi di componenti principali con la quantità di varianza che spiegano nei dati.

Se si specifica una percentuale di soglia di varianza pari a 94 o95, Data Wrangler restituisce Component 1 e Component 2. Se si specifica una percentuale di soglia di varianza di 96, Data Wrangler restituisce tutti e tre i componenti principali.

Si può utilizzare la procedura seguente per eseguire PCA sul set di dati.

Codifica categorica

I dati categoriali sono generalmente composti da un numero finito di categorie, in cui ogni categoria è rappresentata da una stringa. Ad esempio, se disponi di una tabella di dati sui clienti, una colonna che indica il Paese in cui vive una persona è di categoria. Le categorie sarebbero Afghanistan, Albania, Algeria e così via. I dati categoriali possono essere nominali o ordinali. Le categorie ordinali hanno un ordine intrinseco, mentre le categorie nominali no. Il grado più alto ottenuto (Scuola superiore, Laurea, Master e così via) è un esempio di categorie ordinali.

La codifica dei dati categoriali è il processo di creazione di una rappresentazione numerica per le categorie. Ad esempio, se le categorie sono Cane e Gatto, puoi codificare queste informazioni in due vettori: [1,0] per rappresentare Cane e [0,1] per rappresentare Gatto.

Quando codifichi le categorie ordinali, potrebbe essere necessario tradurre l'ordine naturale delle categorie nella codifica. Per esempio, puoi rappresentare il grado più alto ottenuto con la seguente mappa: {"High school": 1, "Bachelors": 2, "Masters":3}.

Usa la codifica categoriale per codificare i dati categoriali in formato stringa in matrici di numeri interi.

I codificatori di categoria Data Wrangler creano codifiche per tutte le categorie presenti in una colonna al momento della definizione della fase. Se sono state aggiunte nuove categorie a una colonna quando si avvia un processo di Data Wrangler per elaborare il set di dati al momento t e questa colonna è stata l'input per una trasformazione di codifica categoriale di Data Wrangler al momento t-1, queste nuove categorie sono considerate mancanti nel processo Data Wrangler. L'opzione selezionata per Strategia di gestione non valida viene applicata a questi valori mancanti. Esempi di quando ciò può verificarsi sono:

In queste situazioni, le nuove categorie sono considerate valori mancanti nel processo di Data Wrangler.

È possibile scegliere e configurare una codifica ordinale e una codifica one-hot. Utilizza le seguenti sezioni per avere ulteriori informazioni su queste opzioni.

Entrambe le trasformazioni creano una nuova colonna denominata Nome colonna di output. Specifica il formato di output di questa colonna con lo Stile di output:

Codifica ordinale

Seleziona Codifica ordinale per codificare le categorie in un numero intero compreso tra 0 e il numero totale di categorie nella Colonna di input selezionata.

Strategia di gestione non valida: seleziona un metodo per gestire i valori non validi o mancanti.

Codifica one-Hot

Seleziona Codifica one-hot per far sì che Trasformazione utilizzi la codifica one-hot. Configura questa trasformazione utilizzando quanto segue:

Codifica di similarità

Usa la codifica di similarità quando hai quanto segue:

L'encoder di similarità crea incorporamenti per colonne con dati categoriali. L'incorporamento è una mappatura di oggetti discreti, come le parole, a vettori di numeri reali. Codifica stringhe simili a vettori contenenti valori simili. Ad esempio, crea codifiche molto simili per «California» e «Calfornia».

Data Wrangler converte ogni categoria del set di dati in un set di token utilizzando un tokenizzatore da 3 grammi. Converte i token in un incorporamento utilizzando la codifica min-hash.

L'esempio seguente mostra come l'encoder di similarità crea vettori a partire da stringhe.

Le codifiche di similarità create da Data Wrangler:

Per i motivi precedenti, la codifica di similarità è più versatile della codifica one-hot.

Per aggiungere la trasformazione di codifica di similarità al set di dati, utilizza la procedura seguente.

Caratterizzazione del testo

Utilizza il gruppo di trasformazione Caratterizzazione del testo per ispezionare le colonne di tipo stringa e utilizzate l'incorporamento del testo per caratterizzare queste colonne.

Questo gruppo di funzionalità contiene due funzionalità, Statistiche dei caratteri e Vettorizza. Utilizza le seguenti sezioni per avere ulteriori informazioni su queste trasformazioni. Per entrambe le opzioni, la Colonna di input deve contenere dati di testo (tipo di stringa).

Statistiche dei caratteri

Utilizza le Statistiche dei caratteri per generare statistiche per ogni riga di una colonna contenente dati di testo.

Questa trasformazione calcola i seguenti rapporti e conteggi per ogni riga e crea una nuova colonna per riportare il risultato. La nuova colonna viene denominata utilizzando il nome della colonna di input come prefisso e un suffisso specifico del rapporto o del conteggio.

Vettorizza

L'incorporamento del testo implica la mappatura di parole o frasi da un vocabolario a vettori di numeri reali. Usa la trasformazione di incorporamento del testo di Data Wrangler per tokenizzare e vettorializzare i dati di testo in vettori TF-IDF (Term Frequency—Inverse Document Frequency).

Quando TF-IDF viene calcolato per una colonna di dati di testo, ogni parola di ogni frase viene convertita in un numero reale che ne rappresenta l'importanza semantica. I numeri più alti sono associati a parole meno frequenti, che tendono ad essere più significative.

Quando si definisce una fase di trasformazione Vettorizza, Data Wrangler utilizza i dati del set di dati per definire il vettorizzatore di conteggi e i metodi TF-IDF. L'esecuzione di un processo Data Wrangler utilizza gli stessi metodi.

Configura questa trasformazione utilizzando quanto segue:

Serie temporale di trasformazione

In Data Wrangler, puoi trasformare i dati di serie temporali. I valori in un set di dati di serie temporali sono indicizzati in base a un periodo di tempo specifico. Ad esempio, un set di dati che mostra il numero di clienti in un negozio per ogni ora del giorno è un set di dati di serie temporali. La tabella seguente mostra un esempio di set di dati di serie temporali.

Per la tabella precedente, la colonna Numero di clienti contiene i dati di serie temporali. I dati di serie temporali sono indicizzati in base ai dati orari nella colonna Tempo (ora).

Potrebbe essere necessario eseguire una serie di trasformazioni sui dati per ottenere un formato che possa essere utilizzato per l'analisi. Utilizza il gruppo di trasformazione delle Serie temporali per trasformare i dati di serie temporali. Per ulteriori informazioni sulle trasformazioni che è possibile eseguire, consulta le sezioni successive.

Raggruppa per serie temporale

È possibile utilizzare l'operazione di raggruppamento per raggruppare i dati delle serie temporali di valori specifici in una colonna.

Ad esempio, è disponibile la tabella seguente che tiene traccia del consumo medio giornaliero di elettricità in una famiglia.

Se scegli di raggruppare per ID, ottieni la seguente tabella.

Ogni voce nella sequenza delle serie temporali è ordinata in base al timestamp corrispondente. Il primo elemento della sequenza corrisponde al primo timestamp della serie. Per household_0, 30 è il primo valore della serie sull'uso dell'elettricità. Il valore 30 corrisponde al primo timestamp di 1/1/2020

È possibile includere il timestamp di inizio e il timestamp di fine. La tabella seguente mostra come vengono visualizzate queste informazioni.

Puoi utilizzare la procedura seguente per raggruppare in base a una colonna di serie temporali.

Ricampiona i dati di serie temporali

I dati di serie temporali di solito contengono osservazioni che non vengono effettuate a intervalli regolari. Ad esempio, un set di dati potrebbe contenere alcune osservazioni registrate ogni ora e altre osservazioni registrate ogni due ore.

Molte analisi, come gli algoritmi di previsione, richiedono che le osservazioni vengano eseguite a intervalli regolari. Il ricampionamento consente di stabilire intervalli regolari per le osservazioni nel set di dati.

È possibile campionare o sottocampionare una serie temporale. Il sottocampionamento aumenta l'intervallo tra le osservazioni nel set di dati. Ad esempio, se si esegue il sottocampionamento di osservazioni effettuate ogni ora o ogni due ore, ogni osservazione del set di dati viene eseguita ogni due ore. Le osservazioni orarie vengono aggregate in un unico valore utilizzando un metodo di aggregazione come la media o la mediana.

Il sovracampionamento riduce l'intervallo tra le osservazioni nel set di dati. Ad esempio, se si convertono le osservazioni effettuate ogni due ore in osservazioni orarie, è possibile utilizzare un metodo di interpolazione per dedurre le osservazioni orarie da quelle effettuate ogni due ore. Per informazioni sui metodi di interpolazione, vedere pandas. DataFrame.interpolare.

È possibile ricampionare dati numerici e non numerici.

Utilizza l'operazione Ricampiona per ricampionare i dati di serie temporali. Se nel set di dati sono presenti più serie temporali, Data Wrangler standardizza l'intervallo temporale per ogni serie temporale.

La tabella seguente mostra un esempio di sottocampionamento dei dati delle serie temporali utilizzando la media come metodo di aggregazione. I dati vengono sottoposti a sottocampionamento da ogni due ore a ogni ora.

Puoi utilizzare la procedura seguente per ricampionare i dati di serie temporali.

Gestisci i dati di serie temporali mancanti

Se nel set di dati mancano valori, puoi eseguire una delle seguenti operazioni:

L'imputazione di un valore mancante implica la sostituzione dei dati specificando un valore o utilizzando un metodo inferenziale. Di seguito sono riportati i metodi che è possibile utilizzare per l'imputazione:

Alcuni metodi di imputazione potrebbero non essere in grado di imputare tutto il valore mancante nel set di dati. Ad esempio, un Riempimento in avanti non può imputare un valore mancante che appare all'inizio della serie temporale. È possibile imputare i valori utilizzando un riempimento in avanti o un riempimento all'indietro.

È possibile imputare i valori mancanti all'interno di una cella o all'interno di una colonna.

L'esempio seguente mostra come i valori vengono imputati all'interno di una cella.

L'esempio seguente mostra come i valori vengono imputati all'interno di una colonna.

Per gestire i valori mancanti utilizza la procedura seguente.

Convalida il timestamp dei dati di serie temporali

È possibile che i dati del timestamp non siano validi. È possibile utilizzare la funzione Convalida timestamp per determinare se i timestamp nel set di dati sono validi. Il timestamp potrebbe non essere valido per uno o più dei seguenti motivi:

Se nel set di dati sono presenti timestamp non validi, non è possibile eseguire correttamente l'analisi. Puoi utilizzare Data Wrangler per identificare timestamp non validi e capire dove è necessario ripulire i dati.

La convalida delle serie temporali funziona in due modi:

Puoi configurare Data Wrangler per eseguire una delle seguenti operazioni se rileva valori mancanti nel set di dati:

Puoi convalidare i timestamp sulle colonne che hanno il tipo timestamp o string. Se la colonna ha il tipo string, Data Wrangler converte il tipo di colonna in timestamp ed esegue la convalida.

Per convalidare i timestamp nel set di dati puoi utilizzare la procedura seguente.

Standardizzazione della durata delle serie temporali

Se si dispone di dati di serie temporali archiviati come matrici, è possibile standardizzare ogni serie temporale sulla stessa durata. La standardizzazione della durata dell'array delle serie temporali potrebbe semplificare l'esecuzione dell'analisi sui dati.

È possibile standardizzare le serie temporali per le trasformazioni dei dati che richiedono una durata fissa dei dati.

Molti algoritmi di ML richiedono di appiattire i dati di serie temporali prima di utilizzarli. L'appiattimento dei dati di serie temporali consiste nel separare ogni valore di serie temporale in una colonna distinta all'interno di un set di dati. Il numero di colonne in un set di dati non può cambiare, quindi è necessario standardizzare le durate delle serie temporali: ogni array viene suddiviso in un insieme di funzionalità.

Ogni serie temporale è impostata sulla durata specificata come quantile o percentile del set di serie temporali. Ad esempio, è possibile che tu disponga di tre sequenze con le seguenti durate:

Puoi impostare la durata di tutte le sequenze come la durata della sequenza che ha il 50° percentile di durata.

Agli array di serie temporali più brevi della durata specificata vengono aggiunti i valori mancanti. Di seguito è riportato un esempio di formato di standardizzazione delle serie temporali su una durata maggiore: [2, 4, 5, NaN, NaN, NaN].

È possibile utilizzare approcci diversi per gestire i valori mancanti. Per ulteriori informazioni su tali approcci, consultare Gestisci i dati di serie temporali mancanti.

Gli array di serie temporali più lunghi della durata specificata vengono troncati.

Puoi utilizzare la procedura seguente per standardizzare la durata delle serie temporali.

Estrai funzionalità dai dati delle serie temporali

Se stai eseguendo un algoritmo di classificazione o regressione sui dati di serie temporali, ti consigliamo di estrarre le funzionalità dalle serie temporali prima di eseguire l'algoritmo. Le funzioni di estrazione potrebbero migliorare le prestazioni dell'algoritmo.

Utilizza le seguenti opzioni per scegliere come estrarre le funzionalità dai dati:

Utilizza la procedura seguente per estrarre le funzionalità dai dati di serie temporali.

Usa le funzionalità ritardate dei dati di serie temporali

In molti casi d'uso, il modo migliore per prevedere il comportamento futuro delle serie temporali consiste nell'utilizzare il comportamento più recente.

Gli usi più comuni delle funzionalità ritardate sono i seguenti:

Crea un intervallo di date e orari nella tua serie temporale

Potresti avere dati di serie temporali che non hanno timestamp. Se sai che le osservazioni sono state effettuate a intervalli regolari, puoi generare timestamp per le serie temporali in una colonna separata. Per generare i timestamp, specifica il valore del timestamp di inizio e la frequenza dei timestamp.

Ad esempio, potresti avere le seguenti dati di serie temporali sul numero di clienti in un ristorante.

Se sai che il ristorante ha aperto alle 17:00 e che le osservazioni vengono effettuate ogni ora, puoi aggiungere una colonna timestamp che corrisponda ai dati delle serie temporali. Puoi visualizzare la colonna timestamp nella tabella seguente.

Utilizza la procedura seguente per aggiungere ai tuoi dati un intervallo di data e ora.

Usare una finestra mobile nella serie temporale

È possibile estrarre le funzionalità in un periodo di tempo. Ad esempio, per time (ora), t, e una finestra temporale della durata di 3 e per la riga che indica il timestamp t, aggiungiamo le caratteristiche estratte dalle serie temporali ai tempi t - 3, t -2 e t - 1. Per informazioni sull'estrazione delle funzionalità, consulta Estrai funzionalità dai dati delle serie temporali.

È possibile utilizzare la procedura seguente per estrarre le funzionalità in un periodo di tempo.

Personalizza datetime

Usa Personalizza data/ora per creare un incorporamento vettoriale che rappresenta un campo datetime. Per utilizzare questa trasformazione, i dati datetime devono essere in uno dei seguenti formati:

Puoi scegliere Formato inferisci datetime e fornire un Formato datetime. Se fornisci un formato datetime, devi usare i codici descritti nella Documentazione di Python. Le opzioni selezionate per queste due configurazioni hanno implicazioni sulla velocità dell'operazione e sui risultati finali.

Quando si utilizza questa trasformazione, si specifica una Colonna di input che contiene dati datetime in uno dei formati sopra elencati. La trasformazione crea una colonna di output denominata Nome colonna di output. Il formato della colonna di output dipende dalla configurazione utilizzata utilizzando quanto segue:

Inoltre, è necessario scegliere una Modalità di incorporamento. Per i modelli lineari e le reti profonde, consigliamo di scegliere la modalità ciclica. Per gli algoritmi ad albero, consigliamo di scegliere il valore ordinale.

Formattazione stringa

Le trasformazioni Formattazione stringa contengono operazioni standard di formattazione delle stringhe. Ad esempio, è possibile utilizzare queste operazioni per rimuovere caratteri speciali, normalizzare la lunghezza delle stringhe e aggiornare l'intestazione delle stringhe.

Questo gruppo di funzionalità contiene le seguenti trasformazioni. Tutte le trasformazioni restituiscono copie delle stringhe nella Colonna di input e aggiungono il risultato a una nuova colonna di output.

Gestisci i valori anomali

I modelli di machine learning sono sensibili alla distribuzione e alla gamma dei valori delle funzionalità. I valori anomali o rari, possono influire negativamente sulla precisione del modello e portare a tempi di addestramento più lunghi. Usa questo gruppo di funzionalità per rilevare e aggiornare i valori anomali nel tuo set di dati.

Quando si definisce una fase di trasformazione Gestisci i valori anomali, le statistiche utilizzate per rilevare i valori anomali vengono generate sui dati disponibili in Data Wrangler durante la definizione di questa fase. Queste stesse statistiche vengono utilizzate durante l'esecuzione di un processo Data Wrangler.

Utilizza le sezioni seguenti per avere ulteriori informazioni sulle trasformazioni contenute in questo gruppo. Si specifica un Nome di output e ciascuna di queste trasformazioni produce una colonna di output con i dati risultanti.

Irrobustisci i valori anomali numerici di deviazione standard

Questa trasformazione rileva e corregge i valori anomali nelle funzionalità numeriche utilizzando statistiche affidabili rispetto ai valori anomali.

È necessario definire un Quantile superiore e un Quantile inferiore per le statistiche utilizzate per calcolare i valori anomali. È inoltre necessario specificare il numero di Deviazioni standard rispetto alle quali un valore deve variare dalla media per essere considerato un valore anomalo. Ad esempio, se si specifica 3 per Deviazioni standard, un valore deve scendere di più di 3 deviazioni standard dalla media per essere considerato un valore anomalo.

Il Metodo di correzione è il metodo utilizzato per gestire i valori anomali quando vengono rilevati. Puoi scegliere tra le seguenti opzioni:

Valori anomali numerici con deviazione standard

Questa trasformazione rileva e corregge i valori anomali nelle funzionalità numeriche utilizzando la media e la deviazione standard.

Si specifica il numero di Deviazioni standard. Un valore deve variare dalla media per essere considerato un valore anomalo. Ad esempio, se si specifica 3 per Deviazioni standard, un valore deve scendere di più di 3 deviazioni standard dalla media per essere considerato un valore anomalo.

Il Metodo di correzione è il metodo utilizzato per gestire i valori anomali quando vengono rilevati. Puoi scegliere tra le seguenti opzioni:

Valori anomali numerici quantili

Utilizza questa trasformazione per rilevare e correggere i valori anomali nelle funzionalità numeriche utilizzando i quantili. È possibile definire un Quantile superiore e un Quantile inferiore. Tutti i valori che rientrano al di sopra del quantile superiore o al di sotto del quantile inferiore sono considerati valori anomali.

Il Metodo di correzione è il metodo utilizzato per gestire i valori anomali quando vengono rilevati. Puoi scegliere tra le seguenti opzioni:

Valori anomali numerici min-max

Questa trasformazione rileva e corregge i valori anomali nelle funzionalità numeriche utilizzando soglie superiori e inferiori. Utilizza questo metodo se conosci i valori di soglia che contraddistinguono i valori anomali.

Si specifica una Soglia superiore e una Soglia inferiore e, se i valori sono rispettivamente superiori o inferiori a tali soglie, vengono considerati valori anomali.

Il Metodo di correzione è il metodo utilizzato per gestire i valori anomali quando vengono rilevati. Puoi scegliere tra le seguenti opzioni:

Sostituisci raro

Quando si utilizza la trasformazione Sostituisci raro, si specifica una soglia e Data Wrangler trova tutti i valori che soddisfano tale soglia e li sostituisce con una stringa specificata dall'utente. Ad esempio, potresti voler utilizzare questa trasformazione per classificare tutti i valori anomali in una colonna in una categoria «Altri».

Gestisci valori mancanti

I valori mancanti sono un evento comune nei set di dati di machine learning. In alcune situazioni, è opportuno attribuire ai dati mancanti un valore calcolato, ad esempio un valore medio o categoricamente comune. È possibile elaborare i valori mancanti utilizzando il gruppo di trasformazione Gestisci valori mancanti. Questo gruppo contiene le seguenti trasformazioni.

Riempi mancante

Utilizza la trasformazione Riempi mancante per sostituire i valori mancanti con un Valore di riempimento definito da te.

Imputa mancanti

Usa la trasformazione Imputa mancanti per creare una nuova colonna che contiene valori imputati in cui i valori mancanti sono stati trovati nei dati categorici e numerici di input. La configurazione dipende dal tipo di dati.

Per i dati numerici, scegli una strategia di imputazione, la strategia utilizzata per determinare il nuovo valore da imputare. Puoi scegliere di imputare la media o la mediana sui valori presenti nel tuo set di dati. Data Wrangler utilizza il valore calcolato per imputare i valori mancanti.

Per i dati categoriali, Data Wrangler imputa i valori mancanti utilizzando il valore più frequente nella colonna. Per imputare una stringa personalizzata, usa invece la trasformazione Riempi mancante.

Aggiungi indicatore per mancanti

Utilizza la trasformazione Aggiungi indicatore per mancanti per creare una nuova colonna di indicatore, che contiene un valore booleano "false" se una riga contiene un valore e "true" se una riga contiene un valore mancante.

Elimina mancanti

Utilizza l'opzione Elimina mancanti per eliminare le righe che contengono valori mancanti dalla Colonna di input.

Gestisci colonne

Puoi utilizzare le seguenti trasformazioni per aggiornare e gestire rapidamente le colonne nel tuo set di dati:

Gestisci righe

Usa questo gruppo di trasformazione per eseguire rapidamente operazioni di ordinamento e rimescolamento delle righe. Questo gruppo contiene quanto segue:

Gestisci i vettori

Usa questo gruppo di trasformazione per combinare o appiattire le colonne vettoriali. Questo gruppo contiene le seguenti trasformazioni.

Elaborazione numerica

Utilizza il gruppo di funzionalità Elaborazione numerica per elaborare dati numerici. Ogni scala in questo gruppo è definito utilizzando la libreria Spark. Sono supportate le seguenti scale:

Campionamento

Dopo aver importato i dati, puoi utilizzare il trasformatore Campionamento per prelevarne uno o più campioni. Quando utilizzi il trasformatore di campionamento, Data Wrangler campiona il set di dati originale.

Puoi scegliere uno dei seguenti metodi di campionamento:

È possibile stratificare un campione randomizzato per assicurarsi che rappresenti la distribuzione originale del set di dati.

Potresti eseguire la preparazione dei dati per diversi casi d'uso. Per ogni caso d'uso, puoi prendere un campione diverso e applicare un diverso set di trasformazioni.

La procedura seguente descrive la creazione di un campione casuale.

La procedura seguente descrive il processo di creazione di un campione stratificato.

Ricerca e modifica

Usa questa sezione per cercare e modificare modelli specifici all'interno delle stringhe. Ad esempio, puoi trovare e aggiornare stringhe all'interno di frasi o documenti, dividere le stringhe per delimitatori e trovare le occorrenze di stringhe specifiche.

In Cerca e modifica sono supportate le seguenti trasformazioni. Tutte le trasformazioni restituiscono copie delle stringhe nella Colonna di input e aggiungono il risultato a una nuova colonna di output.

Suddividi dati

Usa la trasformazione Suddividi dati per suddividere il tuo set di dati in due o tre set di dati. Ad esempio, puoi suddividere il tuo set di dati in uno utilizzato per addestrare il modello e uno utilizzato per testarlo. È possibile determinare la proporzione del set di dati da inserire in ciascuna suddivisione. Ad esempio, se stai suddividendo un set di dati in due set di dati, il set di dati di addestramento può contenere l'80% dei dati mentre il set di dati di test ne ha il 20%.

La suddivisione dei dati in tre set di dati consente di creare set di dati di addestramento, convalida e test. Puoi vedere le prestazioni del modello sul set di dati di test eliminando la colonna di destinazione.

Il tuo caso d'uso determinerà la quantità di set di dati originali che ciascuno dei tuoi set di dati riceverà e il metodo da utilizzare per suddividere i dati. Ad esempio, potresti voler utilizzare una suddivisione stratificata per assicurarti che la distribuzione delle osservazioni nella colonna di destinazione sia la stessa tra i set di dati. È possibile utilizzare le seguenti trasformazioni di suddivisione:

Dopo aver suddiviso i dati, puoi applicare trasformazioni aggiuntive a ciascun set di dati. Per la maggior parte dei casi d'uso, non sono necessarie.

Data Wrangler calcola le proporzioni delle suddivisioni in termini di prestazioni. È possibile scegliere una soglia di errore per impostare la precisione delle suddivisioni. Le soglie di errore più basse riflettono in modo più accurato le proporzioni specificate per le suddivisioni. Se si imposta una soglia di errore più elevata, si ottengono prestazioni migliori, ma una precisione inferiore.

Per una suddivisione dei dati perfetta, imposta la soglia di errore su 0. Per ottenere prestazioni migliori, puoi specificare una soglia compresa tra 0 e 1. Se specifichi un valore maggiore di 1, Data Wrangler interpreta tale valore come 1.

Se hai 10.000 righe nel tuo set di dati e specifichi una suddivisione 80/20 con un errore di 0,001, otterrai osservazioni che si avvicinano a uno dei seguenti risultati:

Il numero di osservazioni per il test impostato nell'esempio precedente è compreso nell'intervallo tra 8.010 e 7.990.

Per impostazione predefinita, Data Wrangler utilizza un seme casuale per rendere riproducibili le suddivisioni. È possibile specificare un valore diverso per il seme per creare una suddivisione riproducibile diversa.

Analizza il valore come tipo

Usa questa trasformazione per convertire una colonna in un nuovo tipo. I tipi di dati supportati da Data Wrangler sono:

Convalida stringa

Utilizzate le trasformazioni Convalida stringa per creare una nuova colonna che indichi che una riga di dati di testo soddisfa una condizione specificata. Ad esempio, puoi utilizzare una trasformazione Convalida stringa per verificare che una stringa contenga solo caratteri minuscoli. In Convalida stringa sono supportate le seguenti trasformazioni.

Le seguenti trasformazioni sono incluse in questo gruppo di trasformazioni. Se una trasformazione emette un valore booleano, True viene rappresentato con un 1 e False viene rappresentata con uno 0.

Unnest dei dati JSON

Se hai un file.csv, potresti avere valori nel tuo set di dati che sono stringhe JSON. Allo stesso modo, potresti avere dati annidati nelle colonne di un file Parquet o di un documento JSON.

Utilizza l'operatore Strutturato appiattito per separare le chiavi di primo livello in colonne separate. Una chiave di primo livello è una chiave che non è annidata all'interno di un valore.

Ad esempio, potresti avere un set di dati contenente una colonna relativa alle persone con informazioni demografiche su ogni persona archiviate come stringhe JSON. Una stringa JSON potrebbe assomigliare alla seguente.

 "{"seq": 1,"name": {"first": "Nathaniel","last": "Ferguson"},"age": 59,"city": "Posbotno","state": "WV"}"
            

L'operatore Strutturato appiattito converte le seguenti chiavi di primo livello in colonne aggiuntive del set di dati:

Data Wrangler inserisce i valori delle chiavi come valori sotto le colonne. Nell'esempio seguente vengono mostrati i nomi e i valori delle colonne del JSON.

seq, name,                                    age, city, state
1, {"first": "Nathaniel","last": "Ferguson"}, 59, Posbotno, WV
            

Per ogni valore del set di dati contenente JSON, l'operatore Strutturato appiattito crea colonne per le chiavi di primo livello. Per creare colonne per chiavi annidate, richiama nuovamente l'operatore. Nell'esempio precedente, la chiamata all'operatore crea le colonne:

L'esempio seguente mostra il set di dati che risulta richiamando l'operazione.

seq, name,                                    age, city, state, name_first, name_last
1, {"first": "Nathaniel","last": "Ferguson"}, 59, Posbotno, WV, Nathaniel, Ferguson
            

Scegli Chiavi su cui appiattire per specificare le chiavi di primo livello che desideri estrarre come colonne separate. Se non specifichi alcuna chiave, per impostazione predefinita Data Wrangler estrae tutte le chiavi.

Esplodi array

Usa Esplodi array per espandere i valori dell'array in righe di output separate. Ad esempio, l'operazione può prendere ogni valore dell'array, [[1, 2, 3,], [4, 5, 6], [7, 8, 9]] e creare una nuova colonna con le seguenti righe:

                [1, 2, 3]
                [4, 5, 6]
                [7, 8, 9]
            

Data Wrangler nomina la nuova colonna, input_colonna_nome_appiattito.

È possibile chiamare l'operazione Esplodi array più volte per ottenere i valori annidati dell'array in colonne di output separate. L'esempio seguente mostra il risultato di una chiamata all'operazione più volte su un set di dati con un array annidato.

Trasformazione dei dati di immagine

Usa Data Wrangler per importare e trasformare le immagini che utilizzi per le tue pipeline di machine learning (ML). Dopo aver preparato i dati delle immagini, puoi esportarli dal flusso di Data Wrangler alla pipeline di ML.

Puoi utilizzare le informazioni fornite qui per acquisire familiarità con l'importazione e la trasformazione dei dati di immagine in Data Wrangler. Data Wrangler utilizza OpenCV per importare immagini. Per ulteriori informazioni sui formati di immagine supportati, consulta Lettura e scrittura di file immagine.

Dopo aver acquisito familiarità con i concetti di trasformazione dei dati di immagine, segui il seguente tutorial, Prepara i dati delle immagini con Amazon SageMaker Data Wrangler.

I seguenti settori e casi d'uso sono esempi in cui l'applicazione della machine learning ai dati delle immagini trasformati può essere utile:

Quando lavori con dati di immagine in Data Wrangler, segui il seguente processo:

Utilizza la procedura seguente per importare i dati di immagine.

Per le trasformazioni delle immagini integrate Data Wrangler utilizza la libreria open source imgaug. È possibile utilizzare le seguenti trasformazioni integrate:

Utilizza la procedura seguente per trasformare le tue immagini senza scrivere il codice.

Oltre a utilizzare le trasformazioni fornite da Data Wrangler, puoi anche utilizzare frammenti di codice personalizzati. Per ulteriori informazioni sull'utilizzo di frammenti di codice personalizzati, consulta Trasformazioni personalizzate. Puoi importare le librerie OpenCV e imgaug all'interno dei tuoi frammenti di codice e utilizzare le trasformazioni ad esse associate. Il seguente è un esempio di un frammento di codice che rileva i bordi all'interno delle immagini.

# A table with your image data is stored in the `df` variable
import cv2
import numpy as np
from pyspark.sql.functions import column

from sagemaker_dataprep.compute.operators.transforms.image.constants import DEFAULT_IMAGE_COLUMN, IMAGE_COLUMN_TYPE
from sagemaker_dataprep.compute.operators.transforms.image.decorators import BasicImageOperationDecorator, PandasUDFOperationDecorator


@BasicImageOperationDecorator
def my_transform(image: np.ndarray) -> np.ndarray:
  # To use the code snippet on your image data, modify the following lines within the function
    HYST_THRLD_1, HYST_THRLD_2 = 100, 200
    edges = cv2.Canny(image,HYST_THRLD_1,HYST_THRLD_2)
    return edges
    

@PandasUDFOperationDecorator(IMAGE_COLUMN_TYPE)
def custom_image_udf(image_row):
    return my_transform(image_row)
    

df = df.withColumn(DEFAULT_IMAGE_COLUMN, custom_image_udf(column(DEFAULT_IMAGE_COLUMN)))
        

Quando applica trasformazioni nel flusso di Data Wrangler, Data Wrangler le applica solo a un campione delle immagini nel set di dati. Per ottimizzare l'esperienza con l'applicazione, Data Wrangler non applica le trasformazioni a tutte le immagini.

Per applicare le trasformazioni a tutte le immagini, esporta il flusso Data Wrangler in una posizione Amazon S3. Puoi utilizzare le immagini che hai esportato nelle tue pipeline di addestramento o inferenza. Usa un nodo di destinazione o un notebook Jupyter per esportare i tuoi dati. Puoi accedere a entrambi i metodi per esportare i tuoi dati dal flusso Data Wrangler. Per ulteriori informazioni sull'uso di questi metodi, consulta Esportazione in Amazon S3.

Filtrare i dati

Usa Data Wrangler per filtrare i dati nelle tue colonne. Quando si filtrano i dati in una colonna, si specificano i seguenti campi:

Puoi applicare un filtro alle seguenti condizioni:

Per una colonna che contiene le categorie male e female, puoi filtrare tutti i valori male. Puoi anche filtrare tutti i valori female. Poiché nella colonna sono presenti solo valori male e female, il filtro restituisce una colonna contenente solo valori female.

Puoi inoltre aggiungere più filtri. I filtri possono essere applicati su più colonne o sulla stessa colonna. Ad esempio, se stai creando una colonna con valori solo all'interno di un determinato intervallo, aggiungi due filtri diversi. Un filtro specifica che la colonna deve avere valori maggiori del valore fornito. L'altro filtro specifica che la colonna deve avere valori inferiori al valore fornito.

Utilizza la seguente procedura per aggiungere la trasformazione del filtro ai tuoi dati.

Colonne della mappa per Amazon Personalize

Data Wrangler si integra con Amazon Personalize, un servizio di machine learning completamente gestito che genera consigli sugli articoli e segmenti di utenti. Puoi utilizzare la trasformazione Colonne Map per Amazon Personalize per ottenere i dati in un formato interpretabile da Amazon Personalize. Per ulteriori informazioni sulle trasformazioni specifiche di Amazon Personalize, consulta Importazione di dati con Amazon SageMaker Data Wrangler. Per ulteriori informazioni su Amazon Personalize, consulta Che cos'è Amazon Personalize?