Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Quali strumenti sono disponibili per la risoluzione dei problemi di un cluster Amazon EMR?
Per identificare e correggere gli errori del cluster, puoi utilizzare gli strumenti descritti in questa pagina. Potrebbe essere necessario inizializzare alcuni strumenti all'avvio del cluster. Per impostazione predefinita, sono disponibili altri strumenti per ogni cluster.
Argomenti
Visualizzazione dei dettagli del cluster EMR
È possibile utilizzare l'API AWS Management Console AWS CLI, o EMR per recuperare informazioni dettagliate su un cluster EMR e sull'esecuzione del processo. Per ulteriori informazioni sull'utilizzo di AWS Management Console and AWS CLI, vedere. Visualizza lo stato e i dettagli del cluster Amazon EMR
Riquadro dei dettagli della console di Amazon EMR
Nell'elenco Cluster sulla console di Amazon EMR puoi visualizzare le informazioni di alto livello sullo stato di ogni cluster nel tuo account e Regione AWS. L'elenco mostra tutti i cluster attivi e terminati che hai avviato negli ultimi due mesi. Dall'elenco Clusters (Cluster) è possibile selezionare un Name (Nome) di cluster per visualizzare i dettagli del cluster. Queste informazioni sono organizzate in diverse categorie per facilitarne la navigazione.
La funzionalità Interfacce utente dell'applicazione, disponibile nella pagina dei dettagli del cluster, può essere utile per risolvere i problemi dei cluster. Fornisce lo stato delle applicazioni YARN e, per alcune di esse, come ad esempio le applicazioni Spark, puoi esplorare diversi parametri e sfaccettature, come ad esempio processi, fasi ed esecutori. Per ulteriori informazioni, consulta Visualizza la cronologia delle applicazioni Amazon EMR. Questa funzionalità è disponibile solo per Amazon EMR versione 5.8.0 e successive.
Interfaccia a riga di comando di Amazon EMR
È possibile individuare i dettagli su un cluster utilizzando l'argomento AWS CLI con l'--describe
argomento.
API Amazon EMR
È possibile individuare i dettagli su un cluster dall'API utilizzando l'azione DescribeJobFlows
.
Visualizzazione dei dettagli degli errori del cluster EMR
Quando un cluster EMR termina con un errore, DescribeCluster
e ListClusters
APIs restituisce un codice di errore e un messaggio di errore. Per alcuni errori del cluster, l'array di dati ErrorDetail
può aiutarti a risolvere l'errore.
Per un elenco dei codici di errore che includono dati ErrorDetail
, consulta Codici di errore con ErrorDetail informazioni in Amazon EMR.
Nota
Per assicurarci di fornirti le informazioni più recenti e pertinenti, miglioriamo continuamente i nostri messaggi di errore. Non è consigliabile analizzare il testo di ErrorMessage
perché è soggetto a modifiche.
Esecuzione di script e configurazione di processi Amazon EMR
Come parte del processo di risoluzione dei problemi, potrebbe essere utile eseguire script personalizzati sul cluster o visualizzare e configurare i processi del cluster.
Visualizzare e riavviare i processi di applicazione
Può essere utile visualizzare i processi in esecuzione sul cluster per diagnosticare potenziali problemi. È possibile arrestare e riavviare i processi del cluster effettuando la connessione al nodo principale del cluster. Per ulteriori informazioni, consulta Visualizzazione e riavvio di Amazon EMR e dei processi applicativi (daemon).
Esegui comandi e script senza connessione SSH
Per eseguire un comando o uno script sul cluster come fase, è possibile utilizzare gli strumenti command-runner.jar
o script-runner.jar
senza stabilire una connessione SSH al nodo principale. Per ulteriori informazioni, consulta Esegui comandi e script su un cluster Amazon EMR.
Visualizzare file di log di
Amazon EMR e Hadoop generano entrambi file di log quando il cluster è in esecuzione. Puoi accedere a questi file di log da diversi strumenti, in base alla configurazione specificata quando hai avviato il cluster. Per ulteriori informazioni, consulta Configurazione del logging e del debug dei cluster Amazon EMR.
File di log sul nodo master
Ogni cluster pubblica i file di registro nella directorythe /mnt/var/log/sul nodo principale. Questi file di log sono disponibili solo quando il cluster è in esecuzione.
File di log archiviati in Amazon S3
Se avvii il cluster e specifichi un percorso di log di Amazon S3, il cluster copia i file di log archiviatiin /mnt/var/log/sul nodo master su Amazon S3 a intervalli di 5 minuti. Questo assicura l'accesso ai file di log anche dopo la chiusura del cluster. Poiché i file vengono archiviati a intervalli di 5 minuti, gli ultimi minuti di un cluster terminato improvvisamente potrebbero non essere disponibili.
Monitoraggio delle prestazioni del cluster EMR
Amazon EMR fornisce diversi strumenti per controllare le prestazioni del cluster.
Interfacce Web Hadoop
Ogni cluster pubblica una serie di interfacce web sul nodo master che contengono informazioni sul cluster. È possibile accedere a queste pagine Web utilizzando un tunnel SSH per collegarle al nodo master. Per ulteriori informazioni, consulta Visualizzazione di interfacce Web ospitate su cluster Amazon EMR.
CloudWatch metriche
Ogni cluster riporta le metriche a. CloudWatch CloudWatch è un servizio web che tiene traccia delle metriche e che puoi utilizzare per impostare allarmi su tali metriche. Per ulteriori informazioni, consulta Monitoraggio dei parametri di Amazon EMR con CloudWatch.