Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Risoluzione dei problemi
Quando lavori con EMR cluster Amazon da notebook Studio o Studio Classic, potresti riscontrare diversi potenziali problemi o sfide durante il processo di connessione o utilizzo. Per aiutarti a risolvere questi errori, questa sezione fornisce indicazioni sui problemi più comuni che possono insorgere.
Di seguito sono riportati gli errori più comuni che potrebbero verificarsi durante la connessione o l'utilizzo di EMR cluster Amazon da notebook Studio o Studio Classic.
Risolvi i problemi relativi alle connessioni Livy che si bloccano o non funzionano
Di seguito sono riportati i problemi di connettività Livy che potrebbero verificarsi durante l'utilizzo di EMR cluster Amazon da notebook Studio o Studio Classic.
-
Il tuo EMR cluster Amazon ha riscontrato un out-of-memory errore.
Un possibile motivo per cui una connessione Livy si blocca o
sparkmagic
non funziona è se il tuo EMR cluster Amazon ha riscontrato un out-of-memory errore.Per impostazione predefinita, il parametro di configurazione del driver Apache Spark,
spark.driver.defaultJavaOptions
, è impostato su-XX:OnOutOfMemoryError='kill -9 %p'
. Ciò significa che l'azione predefinita intrapresa quando il programma driver rileva unOutOfMemoryError
è quella di terminare il programma driver inviando un segnale. SIGKILL Quando il driver Apache Spark viene terminato, qualsiasi connessione Livy tramitesparkmagic
che dipende da quel driver si blocca o fallisce. Ciò avviene perché il driver Spark è responsabile della gestione delle risorse dell'applicazione Spark, ivi comprese la pianificazione e l'esecuzione delle attività. Senza il driver, l'applicazione Spark non può funzionare e qualsiasi tentativo di interagire con essa fallisce.Se sospetti che il tuo cluster Spark abbia problemi di memoria, puoi controllare i EMRlog di Amazon. I contenitori interrotti a causa di out-of-memory errori in genere escono con un codice di.
137
In questi casi, è necessario riavviare l'applicazione Spark e stabilire una nuova connessione Livy per riprendere l'interazione con il cluster Spark.Puoi fare riferimento all'articolo della knowledge base Come posso risolvere l'errore «Container ucciso YARN per aver superato i limiti di memoria» in Spark su Amazon
? EMR qui AWS re:Post per scoprire varie strategie e parametri che possono essere utilizzati per risolvere un out-of-memory problema. Ti consigliamo di consultare le Amazon EMR Best Practices Guides
per le best practice e le indicazioni di ottimizzazione sull'esecuzione dei carichi di lavoro Apache Spark sui tuoi cluster Amazon. EMR -
La tua sessione Livy scade quando ti connetti a un EMR cluster Amazon per la prima volta.
Quando ti connetti inizialmente a un EMR cluster Amazon utilizzando sagemaker-studio-analytics-extension
, che consente la connessione a un cluster Spark (AmazonEMR) remoto tramite la SparkMagic libreria utilizzando Apache Livy , potresti riscontrare un errore di timeout della connessione: An error was encountered: Session 0 did not start up in 60 seconds.
Se il tuo EMR cluster Amazon richiede l'inizializzazione di un'applicazione Spark al momento di stabilire una connessione, c'è una maggiore possibilità di vedere errori di timeout della connessione.
Per ridurre le possibilità di ottenere timeout durante la connessione a un EMR cluster Amazon, utilizza Livy tramite l'estensione di analisi,
sagemaker-studio-analytics-extension
versione0.0.19
e successivamente sostituisci il timeout predefinito della sessione delsparkmagic
server in120
secondi anziché in secondi.60
Consigliamo di aggiornare l'estensione
0.0.18
e prima eseguendo il seguente comando di upgrade.pip install --upgrade sagemaker-studio-analytics-extension
Tieni presente che quando fornisci una configurazione di timeout personalizzata in
sparkmagic
,sagemaker-studio-analytics-extension
rispetta questa sovrascrittura. Tuttavia, l'impostazione del timeout della sessione su60
secondi attiva automaticamente il timeout della sessione del server predefinito pari a120
secondi insagemaker-studio-analytics-extension
.