Quali strumenti sono disponibili per la risoluzione dei problemi di un cluster Amazon EMR? - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Quali strumenti sono disponibili per la risoluzione dei problemi di un cluster Amazon EMR?

Per identificare e correggere gli errori del cluster, puoi utilizzare gli strumenti descritti in questa pagina. Potrebbe essere necessario inizializzare alcuni strumenti all'avvio del cluster. Per impostazione predefinita, sono disponibili altri strumenti per ogni cluster.

Visualizzazione dei dettagli del cluster EMR

È possibile utilizzare l'API AWS Management Console AWS CLI, o EMR per recuperare informazioni dettagliate su un cluster EMR e sull'esecuzione del processo. Per ulteriori informazioni sull'utilizzo di AWS Management Console and AWS CLI, vedere. Visualizza lo stato e i dettagli del cluster Amazon EMR

Riquadro dei dettagli della console di Amazon EMR

Nell'elenco Cluster sulla console di Amazon EMR puoi visualizzare le informazioni di alto livello sullo stato di ogni cluster nel tuo account e Regione AWS. L'elenco mostra tutti i cluster attivi e terminati che hai avviato negli ultimi due mesi. Dall'elenco Clusters (Cluster) è possibile selezionare un Name (Nome) di cluster per visualizzare i dettagli del cluster. Queste informazioni sono organizzate in diverse categorie per facilitarne la navigazione.

La funzionalità Interfacce utente dell'applicazione, disponibile nella pagina dei dettagli del cluster, può essere utile per risolvere i problemi dei cluster. Fornisce lo stato delle applicazioni YARN e, per alcune di esse, come ad esempio le applicazioni Spark, puoi esplorare diversi parametri e sfaccettature, come ad esempio processi, fasi ed esecutori. Per ulteriori informazioni, consulta Visualizza la cronologia delle applicazioni Amazon EMR. Questa funzionalità è disponibile solo per Amazon EMR versione 5.8.0 e successive.

Interfaccia a riga di comando di Amazon EMR

È possibile individuare i dettagli su un cluster utilizzando l'argomento AWS CLI con l'--describeargomento.

API Amazon EMR

È possibile individuare i dettagli su un cluster dall'API utilizzando l'azione DescribeJobFlows.

Visualizzazione dei dettagli degli errori del cluster EMR

Quando un cluster EMR termina con un errore, DescribeCluster e ListClusters APIs restituisce un codice di errore e un messaggio di errore. Per alcuni errori del cluster, l'array di dati ErrorDetail può aiutarti a risolvere l'errore.

Per un elenco dei codici di errore che includono dati ErrorDetail, consulta Codici di errore con ErrorDetail informazioni in Amazon EMR.

Nota

Per assicurarci di fornirti le informazioni più recenti e pertinenti, miglioriamo continuamente i nostri messaggi di errore. Non è consigliabile analizzare il testo di ErrorMessage perché è soggetto a modifiche.

Esecuzione di script e configurazione di processi Amazon EMR

Come parte del processo di risoluzione dei problemi, potrebbe essere utile eseguire script personalizzati sul cluster o visualizzare e configurare i processi del cluster.

Visualizzare e riavviare i processi di applicazione

Può essere utile visualizzare i processi in esecuzione sul cluster per diagnosticare potenziali problemi. È possibile arrestare e riavviare i processi del cluster effettuando la connessione al nodo principale del cluster. Per ulteriori informazioni, consulta Visualizzazione e riavvio di Amazon EMR e dei processi applicativi (daemon).

Esegui comandi e script senza connessione SSH

Per eseguire un comando o uno script sul cluster come fase, è possibile utilizzare gli strumenti command-runner.jar o script-runner.jar senza stabilire una connessione SSH al nodo principale. Per ulteriori informazioni, consulta Esegui comandi e script su un cluster Amazon EMR.

Visualizzare file di log di

Amazon EMR e Hadoop generano entrambi file di log quando il cluster è in esecuzione. Puoi accedere a questi file di log da diversi strumenti, in base alla configurazione specificata quando hai avviato il cluster. Per ulteriori informazioni, consulta Configurazione del logging e del debug dei cluster Amazon EMR.

File di log sul nodo master

Ogni cluster pubblica i file di registro nella directorythe /mnt/var/log/sul nodo principale. Questi file di log sono disponibili solo quando il cluster è in esecuzione.

File di log archiviati in Amazon S3

Se avvii il cluster e specifichi un percorso di log di Amazon S3, il cluster copia i file di log archiviatiin /mnt/var/log/sul nodo master su Amazon S3 a intervalli di 5 minuti. Questo assicura l'accesso ai file di log anche dopo la chiusura del cluster. Poiché i file vengono archiviati a intervalli di 5 minuti, gli ultimi minuti di un cluster terminato improvvisamente potrebbero non essere disponibili.

Monitoraggio delle prestazioni del cluster EMR

Amazon EMR fornisce diversi strumenti per controllare le prestazioni del cluster.

Interfacce Web Hadoop

Ogni cluster pubblica una serie di interfacce web sul nodo master che contengono informazioni sul cluster. È possibile accedere a queste pagine Web utilizzando un tunnel SSH per collegarle al nodo master. Per ulteriori informazioni, consulta Visualizzazione di interfacce Web ospitate su cluster Amazon EMR.

CloudWatch metriche

Ogni cluster riporta le metriche a. CloudWatch CloudWatch è un servizio web che tiene traccia delle metriche e che puoi utilizzare per impostare allarmi su tali metriche. Per ulteriori informazioni, consulta Monitoraggio dei parametri di Amazon EMR con CloudWatch.