View a markdown version of this page

Eseguire il debug delle fasi EMR utilizzando gli ID delle applicazioni YARN - Amazon EMR
ID dell'applicazione YARN

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Eseguire il debug delle fasi EMR utilizzando gli ID delle applicazioni YARN

Un modo efficace per eseguire il debug delle fasi che avviano YARN-based le applicazioni (come le fasi Spark) consiste nell'utilizzare le informazioni Yarn Application ID disponibili nella console Amazon EMR.

ID dell'applicazione YARN

Per i passaggi che eseguono Spark o altri YARN-based job, la console EMR mostra l'ID dell'applicazione YARN eseguito più di recente nei dettagli del passaggio. Se un passaggio avvia più applicazioni YARN, viene visualizzato solo l'ID dell'applicazione eseguito per ultima.

Perché usare gli ID delle applicazioni Yarn per il debug?

  • È possibile correlare direttamente le fasi EMR alle applicazioni Yarn: identifica esattamente quale applicazione Yarn corrisponde a una fase problematica o interessante.

  • Puoi accedere agli strumenti di monitoraggio in tempo reale: utilizza l'ID dell'applicazione per aprire l'interfaccia utente YARN ResourceManager Live o l'interfaccia utente di Spark History Server per ispezionare le applicazioni in esecuzione o completate.

  • Puoi recuperare i log per una risoluzione dettagliata dei problemi: usa l'ID dell'applicazione per trovare i log dei container archiviati in S3, associati a quell'applicazione, che ti aiutano a indagare più a fondo su guasti o problemi di prestazioni.

Puoi utilizzare queste informazioni in vari modi:

  1. Vai alla scheda Steps del tuo cluster EMR.

  2. Fai clic sul passaggio in cui desideri eseguire il debug.

  3. Individua la sezione Yarn Application ID nel pannello dei dettagli del passaggio.

  4. Copia l'ID dell'applicazione fornito.

  5. Usa l'ID per:

    • Apri l'interfaccia utente di YARN ResourceManager Live. L'URI appare come segue: http://resourcemanager-host: 8088/cluster /app/ application_id

    • Apri l'interfaccia utente di Spark History Server per esaminare i dettagli di esecuzione dell'applicazione.

    • Accedi ai log dei container nel tuo bucket S3 tramite i percorsi contrassegnati dall'ID dell'applicazione.

Utilizzando Yarn application ID, è possibile semplificare il processo di debug e collegare gli errori delle fasi EMR di alto livello alle esecuzioni delle applicazioni Yarn sottostanti.