Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Ottimizzazione di un modello NTM

L'ottimizzazione automatica dei modelli, nota anche come ottimizzazione degli iperparametri, trova la versione migliore di un modello eseguendo molti processi che testano un intervallo di iperparametri sul set di dati. Scegli gli iperparametri ottimizzabili, un intervallo di valori per ciascuno di essi e un parametro obiettivo. Puoi scegliere il parametro obiettivo tra i parametri calcolati dall'algoritmo. L'ottimizzazione automatica del modello ricerca gli iperparametri scelti per trovare la combinazione di valori che restituisce il modello che ottimizza il parametro obiettivo.

Amazon SageMaker AI NTM è un algoritmo di apprendimento non supervisionato che apprende le rappresentazioni latenti di grandi raccolte di dati discreti, come un corpus di documenti. Le rappresentazioni latenti utilizzano le variabili dedotte che non sono direttamente misurate per modellare le osservazioni in un set di dati. L'ottimizzazione automatica dei modelli su NTM aiuta a trovare il modello che riduce al minimo la perdita rispetto ai dati di addestramento o di convalida. La perdita di addestramento misura il grado di adattabilità del modello ai dati di addestramento. La perdita di convalida misura il modo in cui il modello può generalizzare i dati sui quali non è stato addestrato. La perdita di addestramento bassa indica che un modello si adatta bene ai dati di addestramento. La perdita di convalida bassa indica che un modello non ha eseguito l'overfitting dei dati di addestramento e pertanto deve essere in grado di modellare i documenti con cui non è stato addestrato. Di solito, è preferibile che entrambe le perdite siano piccole. Tuttavia, la riduzione al minimo della perdita di addestramento può comportare un overfitting e aumentare la perdita di convalida, il che ridurrebbe la generalità del modello.

Per ulteriori informazioni sull'ottimizzazione del modello, consulta Ottimizzazione automatica dei modelli con AI SageMaker .

Parametri calcolati dall'algoritmo NTM

L'algoritmo NTM restituisce un singolo parametro che viene calcolato durante l’addestramento: validation:total_loss. La perdita totale è la somma della perdita di ricostruzione e della divergenza Kullback-Leibler. Quando ottimizzi i valori degli iperparametri, scegli questo parametro come obiettivo.

Iperparametri NTM ottimizzabili

Puoi ottimizzare i seguenti iperparametri per l'algoritmo NTM. Di solito impostando un valore basso per mini_batch_size e un valore piccolo per learning_rate vengono restituite meno perdite di convalida, anche se l’addestramento potrebbe richiede più tempo. Le perdite di convalida basse non producono necessariamente più argomenti coerenti secondo l'interpretazione dalle persone. L'effetto di altri iperparametri sull’addestramento e la perdita di convalida può variare da set di dati a set di dati. Per vedere quali valori sono compatibili, consulta Iperparametri NTM.