Non aggiorniamo più il servizio Amazon Machine Learning né accettiamo nuovi utenti. Questa documentazione è disponibile per gli utenti esistenti, ma non la aggiorneremo più. Per ulteriori informazioni, consulta la paginaCos'è Amazon Machine Learning.
Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Fase 4: Esaminare le prestazioni predittive del modello ML e impostare un punteggio soglia
Ora che è stato creato il modello ML e Amazon Machine Learning (Amazon ML) lo ha valutato, è necessario capire se è idoneo all'uso. Durante la valutazione, Amazon ML ha calcolato un parametro di qualità standard del settore, chiamato Area Under a Curve ovvero area sotto la curva (AUC), che esprime la qualità delle prestazioni del modello ML. Amazon ML, inoltre, interpreta il parametro AUC per determinare se la qualità del modello ML sia adeguata alla maggior parte delle applicazioni di machine learning. (Ulteriori informazioni su AUC sono disponibili in Misurazione dell'accuratezza del modello ML). Rivediamo il parametro AUC e quindi regoliamo il punteggio soglia o limite per ottimizzare le prestazioni predittive del modello.
Esame del parametro AUC per il modello ML
-
SulRiepilogo del modello MLpagina, nelRapporto del modello MLriquadro di navigazione, scegliereValutazioni, scegliValutazione: modello di ML Il modello bancario 1e quindi scegliereRiepilogo.
-
Nella pagina Evaluation summary (Riepilogo della valutazione) esaminare il riepilogo della valutazione, compreso il parametro AUC delle prestazioni del modello.
Il modello ML genera punteggi di previsione numerici per ogni record in un'origine dati di previsione e quindi applica una soglia per convertire questi punteggi in etichette binarie di 0 (per no) o 1 (per sì). Modificando il punteggio soglia, è possibile regolare il modo in cui il modello ML assegna queste etichette. Ora passiamo all'impostazione del punteggio soglia.
Per impostare un punteggio soglia per il modello ML
-
Nella pagina Evaluation Summary (Riepilogo della valutazione), scegliere Adjust Score Threshold (Adegua punteggio soglia).
È possibile ottimizzare i parametri delle prestazioni del modello ML regolando il punteggio soglia. La regolazione di questo valore cambia il livello di fiducia che il modello deve avere in una previsione prima di ritenere che la previsione sia positiva. Inoltre, modifica il numero di falsi negativi e falsi positivi che si è disposti a tollerare nelle previsioni.
È possibile controllare il livello limite di ciò che il modello considera una previsione positiva aumentando il punteggio soglia fino a considerare positive solo le previsioni con la massima probabilità di essere tali. È anche possibile ridurre il punteggio soglia finché non avrà più falsi negativi. Si può scegliere il proprio cutoff in base alle esigenze aziendali. Ai fini di questo tutorial, ogni falso positivo comporta costi per la campagna, perciò vogliamo un rapporto elevato di veri positivi rispetto ai falsi positivi.
-
Supponiamo di avere come target il primo 3% dei clienti che effettueranno la sottoscrizione al prodotto. Far scorrere il selettore verticale per impostare il punteggio soglia su un valore che corrisponda a 3% of the records are predicted as "1" (3% dei record previsti come "1").
Si noti l'impatto di questo punteggio soglia sulle prestazioni del modello ML: la percentuale di falsi positivi è 0,007. Supponiamo che tale percentuale di falsi positivi sia accettabile.
-
Scegliere Save score threshold at 0.77 (Salva punteggio soglia a 0,77).
Ogni volta che si utilizzerà questo modello ML per fare previsioni, il modello sarà in grado di prevedere i record con punteggi superiori a 0,77 come "1" e il resto dei record come "0".
Per ulteriori informazioni sul punteggio soglia, consultare Classificazione binaria.
Ora è possibile creare previsioni utilizzando il modello.
