Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
SageMaker Report interattivo del debugger per XGBoost
Ricevi report di addestramento generati automaticamente da Debugger. I report di Debugger forniscono informazioni dettagliate sui processi di addestramento e suggeriscono consigli per migliorare le prestazioni del modello.
Nota
È possibile scaricare i report di Debugger mentre il processo di addestramento è in fase di esecuzione o al termine del processo. Durante l’addestramento, Debugger aggiorna contemporaneamente il report in base allo stato di valutazione delle regole correnti. È possibile scaricare un report di Debugger completo solo dopo il completamento del processo di addestramento.
Importante
Nel report, i grafici e le raccomandazioni sono forniti a scopo informativo e non sono definitivi. Sei responsabile della tua valutazione indipendente delle informazioni.
SageMaker Report di formazione su Debugger XGBoost
Per i lavori di formazione SageMaker XGBoost, utilizza la CreateXgboostRapporto regola Debugger per ricevere un rapporto di formazione completo sui progressi e sui risultati della formazione. Seguendo questa guida, specifica la CreateXgboostRapporto regola durante la creazione di uno stimatore XGBoost, scarica il report utilizzando l' SageMaker SDK Amazon Python o
Importante
Nel report, i grafici e le raccomandazioni sono forniti a scopo informativo e non sono definitivi. Sei responsabile della tua valutazione indipendente delle informazioni.
Argomenti
Costruisci un SageMaker XGBoost Estimator con la Debugger XGBoost Report Rule
La regola CreateXgboostRapporto raccoglie i seguenti tensori di output dal processo di addestramento:
-
hyperparameters
– Salva durante la prima fase. -
metrics
– Salva perdita e precisione ogni 5 fasi. -
feature_importance
– Salva ogni 5 fasi. -
predictions
– Salva ogni 5 fasi. -
labels
– Salva ogni 5 fasi.
I tensori di output vengono salvati in un bucket S3 predefinito. Ad esempio, s3://sagemaker-
.<region>
-<12digit_account_id>
/<base-job-name>
/debug-output/
Quando costruisci uno SageMaker stimatore per un processo di formazione XGBoost, specifica la regola come mostrato nel seguente codice di esempio.
Scarica il report di addestramento di Debugger XGBoost
Scarica il report di formazione di Debugger XGBoost mentre il processo di formazione è in esecuzione o al termine del processo utilizzando Amazon Python SageMaker
Procedura dettagliata del report di addestramento di Debugger XGBoost
In questa sezione viene illustrato il report di addestramento di Debugger XGBoost. Il report viene aggregato automaticamente in base al regex del tensore di output, riconoscendo il tipo di processo di addestramento compreso tra classificazione binaria, classificazione multiclasse e regressione.
Importante
Nel report, grafici e raccomandazioni sono forniti a scopo informativo e non sono definitivi. Sei responsabile della valutazione indipendente delle informazioni contenute in questo documento.
Argomenti
- Distribuzione di etichette vere del set di dati
- Perdita rispetto a Step Graph
- Importanza della caratteristica
- Matrice di confusione
- Valutazione della Matrice di confusione
- Tasso di precisione di ogni elemento diagonale rispetto all'iterazione
- Curva caratteristica operativa del ricevitore
- Distribuzione dei residui nell'ultima fase salvata
- Errore di convalida assoluto per Label Bin durante l'iterazione
Distribuzione di etichette vere del set di dati
Questo istogramma mostra la distribuzione delle classi etichettate (per la classificazione) o dei valori (per la regressione) nel set di dati originale. L'asimmetria nel tuo set di dati potrebbe contribuire a creare imprecisioni. Questa visualizzazione è disponibile per i seguenti tipi di modelli: classificazione binaria, multiclassificazione e regressione.
![Un esempio di distribuzione di etichette reali del grafico del set di dati.](images/debugger/debugger-training-xgboost-report-walkthrough-dist-label.png)
Perdita rispetto a Step Graph
Questo è una grafica a linee che mostra la progressione della perdita dei dati di addestramento e dei dati di convalida durante le fasi di addestramento. La perdita è ciò che hai definito nella tua funzione obiettivo, ad esempio l'errore quadratico medio. Da questo grafico è possibile valutare se il modello è sovradimensionato o inadeguato. In questa sezione vengono inoltre forniti approfondimenti che è possibile usare per determinare come risolvere i problemi di sovra-adattamento e inadeguatezza. Questa visualizzazione è disponibile per i seguenti tipi di modelli: classificazione binaria, multiclassificazione e regressione.
![Un esempio di grafico tra perdite e fasi.](images/debugger/debugger-training-xgboost-report-walkthrough-loss-vs-step.png)
Importanza della caratteristica
Sono disponibili tre diversi tipi di visualizzazioni dell'importanza delle funzionalità: Peso, Guadagno e Copertura. Forniamo definizioni dettagliate per ciascuno dei tre elementi del report. Le visualizzazioni sull'importanza delle funzionalità ti aiutano a capire quali funzionalità del tuo set di dati di addestramento hanno contribuito alle previsioni. Le visualizzazioni dell'importanza delle funzionalità sono disponibili per i seguenti tipi di modelli: classificazione binaria, multiclassificazione e regressione.
![Un esempio di grafico dell'importanza della funzionalità.](images/debugger/debugger-training-xgboost-report-walkthrough-feature-importance.png)
Matrice di confusione
Questa visualizzazione è applicabile solo ai modelli binari e di classificazione multiclasse. La precisione da sola potrebbe non essere sufficiente per valutare le prestazioni del modello. Per alcuni casi d'uso, come l'assistenza sanitaria e il rilevamento delle frodi, è importante conoscere anche il tasso di falsi positivi e quello di falsi negativi. Una matrice di confusione fornisce le dimensioni aggiuntive per valutare le prestazioni del tuo modello.
![Un esempio di matrice di confusione.](images/debugger/debugger-training-xgboost-report-walkthrough-confusion-matrix.png)
Valutazione della Matrice di confusione
Questa sezione fornisce ulteriori informazioni sulle metriche micro, macro e ponderate relative alla precisione, al richiamo e al punteggio F1 del modello.
![Valutazione della matrice di confusione.](images/debugger/debugger-training-xgboost-report-walkthrough-eval-conf-matrix.png)
Tasso di precisione di ogni elemento diagonale rispetto all'iterazione
Questa visualizzazione è applicabile solo alla classificazione binaria e ai modelli di classificazione multiclasse. Questo è un grafico a linee che riporta i valori diagonali nella matrice di confusione durante le fasi di addestramento per ogni classe. Questo grafico mostra come la precisione di ogni classe progredisce durante le fasi dell’addestramento. Da questo grafico è possibile identificare le classi con prestazioni insoddisfacenti.
![Un esempio di tasso di precisione di ogni elemento diagonale sul grafico di iterazione.](images/debugger/debugger-training-xgboost-report-walkthrough-accuracy-rate.gif)
Curva caratteristica operativa del ricevitore
Questa visualizzazione è applicabile solo ai modelli di classificazione binaria. La curva delle Caratteristiche operative del ricevitore viene comunemente utilizzata per valutare le prestazioni del modello di classificazione binaria. L'asse y della curva è la Percentuale di veri positivi (TPF, True Positive Rate) e l'asse x è la percentuale di falsi positivi (FPR, False Positive Rate). Il grafico mostra anche il valore per l’area sotto la curva (AUC). Più alto è il valore AUC, più predittivo è il classificatore. Puoi anche utilizzare la curva ROC per comprendere il compromesso tra TPR e FPR e identificare la soglia di classificazione ottimale per il tuo caso d'uso. La soglia di classificazione può essere regolata per ottimizzare il comportamento del modello in modo da ridurre maggiormente l'uno o l'altro tipo di errore (FP/FN).
![Un esempio: un grafico della curva caratteristica di funzionamento del ricevitore.](images/debugger/debugger-training-xgboost-report-walkthrough-rec-op-char.png)
Distribuzione dei residui nell'ultima fase salvata
Questa visualizzazione è un grafico a colonne che mostra le distribuzioni residue nell'ultima fase acquisita da Debugger. In questa visualizzazione, è possibile verificare se la distribuzione residua è vicina alla distribuzione normale centrata sullo zero. Se i residui sono disallineati, le tue caratteristiche potrebbero non essere sufficienti per prevedere le etichette.
![Un esempio di una distribuzione dei residui nell'ultimo grafico a fasi salvato.](images/debugger/debugger-training-xgboost-report-walkthrough-dist-residual.png)
Errore di convalida assoluto per Label Bin durante l'iterazione
Questa visualizzazione è applicabile solo per i modelli di regressione. I valori target effettivi vengono suddivisi in 10 intervalli. Questa visualizzazione mostra come progrediscono gli errori di convalida per ogni intervallo durante le fasi di addestramento nei grafici a linea. L'errore di convalida assoluto è il valore assoluto della differenza tra previsione ed effettiva durante la convalida. È possibile identificare gli intervalli con prestazioni insoddisfacenti da questa visualizzazione.
![Un esempio: un errore di convalida assoluto per container di etichette su un grafico di iterazione.](images/debugger/debugger-training-xgboost-report-walkthrough-val-error-per-label-bin.png)