Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Codifica delle funzionalità in Neptune ML

I valori delle proprietà sono disponibili in formati e tipi di dati diversi. Per ottenere prestazioni ottimali nel machine learning, è essenziale convertire tali valori in codifiche numeriche note come funzionalità.

Neptune ML esegue l'estrazione e la codifica delle funzionalità come parte dei passaggi di esportazione ed elaborazione dei dati, usando le tecniche di codifica delle funzionalità descritte qui.

Funzionalità categoriali in Neptune ML

Una proprietà che può accettare uno o più valori distinti da un elenco fisso di valori possibili è una funzionalità categoriale. In Neptune ML le funzionalità categoriali vengono codificate mediante la codifica one-hot. L'esempio seguente mostra in che modo viene applicata la codifica one-hot al nome della proprietà di diversi alimenti in base alla relativa categoria:

    Food        Veg.   Meat   Fruit    Encoding
   ---------    ----   ----   -----    --------
    Apple         0      0      1         001
    Chicken       0      1      0         010
    Broccoli      1      0      0         100

Funzionalità numeriche in Neptune ML

Qualsiasi proprietà i cui valori sono numeri reali può essere codificata come funzionalità numerica in Neptune ML. Le funzionalità numeriche sono codificate utilizzando numeri a virgola mobile.

È possibile specificare un metodo di normalizzazione dei dati da utilizzare per la codifica delle funzionalità numeriche, in questo modo: "norm": "normalization technique". Sono supportate le seguenti tecniche di normalizzazione:

Funzionalità numeriche per bucket in Neptune ML

Invece di rappresentare una proprietà numeriche con numeri non elaborati, è possibile condensare i valori numerici in categorie. Ad esempio, è possibile suddividere l'età delle persone in categorie come bambini (0-20 anni), giovani adulti (20-40 anni), persone di mezza età (40-60 anni) e anziani (dai 60 anni in poi). Usando questi bucket numerici, si trasforma una proprietà numerica in una sorta di funzionalità categoriale.

In Neptune ML per codificare una proprietà numerica come funzionalità numerica per bucket, devi specificare due elementi:

Neptune ML calcola quindi le dimensioni di ogni bucket come  ( b - a ) / c e codifica ogni valore numerico come il numero dell'eventuale bucket in cui rientra. Qualsiasi valore inferiore a a viene considerato appartenente al primo bucket e qualsiasi valore superiore a b viene considerato appartenente all'ultimo bucket.

Facoltativamente, puoi anche far rientrare i valori numerici in più di un bucket, specificando le dimensioni di una finestra scorrevole, come questa: "slide_window_size": s , dove s è un numero. Neptune ML trasforma quindi ogni valore numerico v della proprietà in un intervallo da v - s/2 a v + s/2 e assegna il valore v a ogni bucket incluso nell'intervallo.

Infine, è facoltativamente possibile specificare un modo per inserire i valori mancanti per le funzionalità numeriche e le funzionalità numeriche per bucket. A tale scopo, si usa "imputer": "imputation technique ", dove la tecnica di imputazione è una tra "mean", "median" o "most-frequent". Se non si specifica un imputer, un valore mancante può causare l'interruzione dell'elaborazione.

Codifica delle funzionalità di testo in Neptune ML

Per il testo in formato libero, Neptune ML può utilizzare diversi modelli per convertire la sequenza di token in una stringa del valore della proprietà in un vettore di valori reali a dimensione fissa:

Codifica fastText dei valori delle proprietà di testo in Neptune ML

Neptune ML può utilizzare i modelli fastText per convertire i valori delle proprietà di testo in vettori di valori reali a dimensione fissa. Si tratta del metodo di codifica consigliato per i valori delle proprietà di testo in una delle cinque lingue supportate da fastText:

Tieni presente che fastText non può gestire frasi contenenti parole in più di una lingua.

Il metodo text_fasttext può facoltativamente usare un campo max_length che specifica il numero massimo di token nel valore di una proprietà di testo che verrà codificato, dopodiché la stringa viene troncata. In questo modo è possibile migliorare le prestazioni quando i valori delle proprietà di testo contengono stringhe lunghe, perché se non si specifica max_length, fastText codifica tutti i token indipendentemente dalla lunghezza della stringa.

Questo esempio specifica che i titoli dei film in francese sono codificati utilizzando fastText:

{
    "file_name" : "nodes/movie.csv",
    "separator" : ",",
    "node" : ["~id", "movie"],
    "features" : [
      {
        "feature": ["title", "title", "text_fasttext"],
        "language": "fr",
        "max_length": 1024
      }
    ]
  }

Codifica Sentence BERT (SBERT) delle funzionalità di testo in Neptune ML

Neptune ML può convertire la sequenza di token in un valore della proprietà stringa in un vettore di valori reali a dimensione fissa utilizzando i modelli Sentence BERT (SBERT). Neptune supporta due metodi SBERT: text_sbert128, che è il metodo predefinito se si specifica solo text_sbert e text_sbert512. La differenza tra i due sta nella lunghezza massima di una stringa di valori della proprietà di testo codificata. La codifica text_sbert128 tronca le stringhe di testo dopo aver codificato 128 token, mentre text_sbert512 tronca le stringhe di testo dopo aver codificato 512 token. Di conseguenza, l'utilizzo di text_sbert512 richiede tempi di elaborazione superiori rispetto a text_sbert128. Entrambi i metodi sono più lenti di text_fasttext.

La codifica SBERT è multilingue, quindi non è necessario specificare una lingua per il testo del valore della proprietà da codificare. SBERT supporta molte lingue e può codificare una frase che contiene più di una lingua. Se si codificano valori di proprietà contenenti testo in una o più lingue non supportate da fastText, SBERT è il metodo di codifica consigliato.

L'esempio seguente specifica che i titoli dei film sono codificati come SBERT fino a un massimo di 128 token:

{
    "file_name" : "nodes/movie.csv",
    "separator" : ",",
    "node" : ["~id", "movie"],
    "features" : [
      { "feature": ["title", "title", "text_sbert128"] }
    ]
  }

Codifica Word2Vec delle funzionalità di testo in Neptune ML

Neptune ML può codificare i valori delle proprietà stringa come funzionalità Word2Vec (gli algoritmi Word2Vec sono stati inizialmente pubblicati da Google). Il metodo text_word2vec codifica i token in una stringa come vettore dense utilizzando uno dei modelli addestrati da spaCy. Supporta solo la lingua inglese utilizzando il modello en_core_web_lg.

L'esempio seguente specifica che i titoli dei film sono codificati con Word2Vec:

{
    "file_name" : "nodes/movie.csv",
    "separator" : ",",
    "node" : ["~id", "movie"],
    "features" : [
      {
        "feature": ["title", "title", "text_word2vec"],
        "language": "en_core_web_lg"
      }
    ]
  }

Nota che il campo della lingua è facoltativo, poiché il modello en_core_web_lg in lingua inglese è l'unico supportato da Neptune.

Codifica TF-IDF delle funzionalità di testo in Neptune ML

Neptune ML può codificare i valori delle proprietà di testo come funzionalità text_tfidf. Questa codifica converte la sequenza di parole nel testo in un vettore numerico utilizzando un vettorizzatore TF-IDF (Term Frequency—Inverse Document Frequency), seguito da un'operazione di riduzione della dimensionalità.

TF-IDF (Term Frequency—Inverse Document Frequency) è un valore numerico destinato a misurare l'importanza di una parola in un set di documenti. Viene calcolato dividendo il numero di volte in cui una parola compare in un determinato valore delle proprietà per il numero totale di tali valori delle proprietà in cui compare.

Ad esempio, se la parola "kiss" compare due volte nel titolo di un determinato film (ad esempio, "kiss kiss bang bang") e "kiss" compare nel titolo di 4 film in tutto, allora il valore TF-IDF di "kiss" nel titolo "kiss kiss bang bang" sarà 2 / 4 .

Il vettore creato inizialmente ha d dimensioni, dove d è il numero di termini univoci in tutti i valori delle proprietà di quel tipo. L'operazione di riduzione della dimensionalità utilizza una proiezione sparse casuale per ridurre tale numero a un massimo di 100. Viene quindi generato il vocabolario di un grafo unendo tutte le funzionalità text_tfidf al suo interno.

È possibile controllare il vettorizzatore TF-IDF in diversi modi:

Funzionalità datetime in Neptune ML

Neptune ML può convertire parti dei valori della proprietà datetime in funzionalità categoriali codificandole come array one-hot. Usa il parametro datetime_parts per specificare una o più delle seguenti parti da codificare: ["year", "month", "weekday", "hour"]. Se non imposti datetime_parts, per impostazione predefinita vengono codificate tutte e quattro le parti.

Ad esempio, se l'intervallo di valori datetime comprende gli anni dal 2010 al 2012, le quattro parti della voce datetime 2011-04-22 01:16:34 sono le seguenti:

Il giorno del mese, il minuto e il secondo non sono codificati in modo categoriale.

Se l'intervallo datetime totale in questione include solo date comprese in un singolo anno, non viene codificato alcun array year.

È possibile specificare una strategia di imputazione per inserire i valori datetime mancanti, utilizzando il parametro imputer e una delle strategie disponibili per le funzionalità numeriche.

Codifica delle funzionalità auto in Neptune ML

Anziché specificare manualmente i metodi di codifica delle funzionalità da utilizzare per le proprietà del grafo, puoi impostare auto come metodo di codifica delle funzionalità. Neptune ML tenta quindi di dedurre la migliore codifica delle funzionalità per ogni proprietà in base al tipo di dati sottostante.

Ecco alcune delle euristiche utilizzate da Neptune ML per selezionare le codifiche di funzionalità appropriate: