Informazioni del modello multiclasse - Amazon Machine Learning

Non aggiorniamo più il servizio Amazon Machine Learning né accettiamo nuovi utenti. Questa documentazione è disponibile per gli utenti esistenti, ma non la aggiorneremo più. Per ulteriori informazioni, consulta la paginaCos'è Amazon Machine Learning.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Informazioni del modello multiclasse

Interpretazione delle previsioni

L'output effettivo di un algoritmo di classificazione multiclasse è un insieme di punteggi di previsione. I punteggi indicano la certezza del modello che una data osservazione appartenga a ciascuna delle classi. A differenza dei problemi di classificazione binaria, non è necessario scegliere un punteggio limite per fare le previsioni. La risposta prevista è la classe (ad esempio, l'etichetta) con il miglior punteggio previsto.

Misurazione dell'accuratezza del modello ML

I parametri tipici utilizzati nella multiclasse sono gli stessi utilizzati nel caso della classificazione binaria, dopo averne calcolato la media su tutte le classi. In Amazon ML, il punteggio macro-medio F1 viene utilizzato per valutare l'accuratezza predittiva di un parametro multiclasse.

Punteggio macro medio F1

Il punteggio F1 è un parametro di classificazione binaria che considera entrambi i parametri binari precisione e recall. È la media armonica tra precisione e recall. L'intervallo è compreso tra 0 e 1. Un valore maggiore indica una migliore accuratezza predittiva:

image54

Il punteggio macro medio F1 è la media non ponderata del punteggio F1 su tutte le classi del caso multiclasse. Non tiene conto della frequenza di occorrenza delle classi nel set di dati di valutazione. Un valore maggiore indica una migliore accuratezza predittiva. L'esempio seguente mostra K classi nell'origine dati di valutazione:

image55

Punteggio macro medio F1 di riferimento

Amazon ML fornisce un parametro di riferimento per i modelli multiclasse. È il punteggio macro medio F1 di un ipotetico modello multiclasse che prevede sempre come risposta la classe più frequente. Ad esempio, se si dovesse prevedere il genere di un film e il genere più comune nei dati di addestramento è stato Romantico, il modello di riferimento prevederebbe sempre il genere come Romantico. È possibile confrontare il modello ML con questo riferimento, per convalidare se il modello ML sia meglio di un modello ML che prevede questa risposta costante.

Utilizzo della Performance Visualization

Amazon ML fornisce unMatrice di confusionecome un modo per visualizzare l'accuratezza dei modelli predittivi di classificazione multiclasse. La matrice di confusione illustra in una tabella il numero o la percentuale di previsioni corrette ed errate per ogni classe, confrontando la classe prevista di un'osservazione e la sua classe "true".

Ad esempio, se si sta cercando di classificare un film in un genere, il modello di previsione potrebbero prevedere che il suo genere (classe) sia Romantico. Tuttavia, il suo genere reale potrebbe essere, di fatto, Thriller. Quando si valuta la precisione di un modello di classificazione multiclasse ML, Amazon ML identifica queste errate classificazioni e visualizza i risultati nella matrice di confusione, come illustrato di seguito.

Esempio del genere previsto.

Le seguenti informazioni vengono visualizzate in una matrice di confusione:

  • Numero di previsioni corrette e errate per ogni classe: Ogni riga della matrice di confusione corrisponde ai parametri di una delle classi «true». Ad esempio, la prima riga mostra che per i film che sono effettivamente nel genere Romance (romantico), il modello ML multiclasse fornisce le previsioni corrette per oltre l'80% dei casi. Prevede in modo errato il genere come Thriller per meno del 20% dei casi, e Adventure (avventura) per meno del 20% dei casi.

  • Punteggio F1 per classe: L'ultima colonna mostra il punteggio F1 per ciascuna delle classi.

  • Frequenze di classe reali nei dati di valutazione: La penultima colonna mostra che nei set di dati di valutazione, il 57,92% delle osservazioni nei dati di valutazione è Romance, il 21,23% è Thriller e il 20,85% è Adventure.

  • Frequenze di classe previste per i dati di valutazione: L'ultima riga mostra la frequenza di ogni classe nelle previsioni. Il 77,56% delle osservazioni è previsto come Romance, il 9,33% come Thriller e il 13,12% come Adventure.

La console di Amazon ML fornisce una rappresentazione visiva che gestisce fino a 10 classi nella matrice di confusione, elencate nell'ordine che dalla classe più frequente a quella meno frequente nei dati di valutazione. Se i dati di valutazione hanno più di 10 classi, si possono vedere le prime 9 classi più frequenti presenti nella matrice di confusione, e tutte le altre classi sono compresse in una classe denominata "altre". Amazon ML fornisce inoltre la possibilità di scaricare l'intera matrice di confusione tramite un link sulla pagina delle visualizzazioni multiclasse.