Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pemecahan Masalah
Saat bekerja dengan EMR klaster Amazon dari notebook Studio atau Studio Classic, Anda mungkin mengalami berbagai masalah atau tantangan potensial selama proses koneksi atau penggunaan. Untuk membantu Anda memecahkan masalah dan mengatasi kesalahan ini, bagian ini memberikan panduan tentang masalah umum yang dapat muncul.
Berikut ini adalah kesalahan umum yang mungkin terjadi saat menghubungkan atau menggunakan EMR klaster Amazon dari notebook Studio atau Studio Classic.
Memecahkan masalah koneksi Livy yang macet atau gagal
Berikut ini adalah masalah konektivitas Livy yang mungkin terjadi saat menggunakan EMR klaster Amazon dari notebook Studio atau Studio Classic.
-
EMRCluster Amazon Anda mengalami out-of-memory kesalahan.
Alasan yang mungkin untuk koneksi Livy melalui
sparkmagic
hang atau kegagalan adalah jika EMR cluster Amazon Anda mengalami kesalahan out-of-memory.Secara default, parameter konfigurasi Java dari driver Apache Spark,
spark.driver.defaultJavaOptions
, diatur ke.-XX:OnOutOfMemoryError='kill -9 %p'
Ini berarti bahwa tindakan default yang diambil ketika program driver bertemuOutOfMemoryError
adalah untuk menghentikan program driver dengan mengirimkan sinyalSIGKILL. Ketika driver Apache Spark dihentikan, koneksi Livy apa pun melaluisparkmagic
itu tergantung pada driver tersebut hang atau gagal. Ini karena driver Spark bertanggung jawab untuk mengelola sumber daya aplikasi Spark, termasuk penjadwalan tugas dan eksekusi. Tanpa driver, aplikasi Spark tidak dapat berfungsi, dan setiap upaya untuk berinteraksi dengannya gagal.Jika Anda mencurigai klaster Spark Anda mengalami masalah memori, Anda dapat memeriksa EMRlog Amazon. Kontainer mati karena out-of-memory kesalahan biasanya keluar dengan kode
137
. Dalam kasus seperti itu, Anda perlu me-restart aplikasi Spark dan membuat koneksi Livy baru untuk melanjutkan interaksi dengan cluster Spark.Anda dapat merujuk ke artikel basis pengetahuan Bagaimana cara mengatasi kesalahan “Wadah mati YARN karena melebihi batas memori” di Spark di Amazon
? EMR AWS re:Post untuk mempelajari berbagai strategi dan parameter yang dapat digunakan untuk mengatasi suatu out-of-memory masalah. Sebaiknya tinjau Panduan Praktik EMR Terbaik Amazon untuk praktik terbaik dan panduan
penyetelan untuk menjalankan beban kerja Apache Spark di klaster Amazon Anda. EMR -
Waktu sesi Livy Anda habis saat menghubungkan ke EMR cluster Amazon untuk pertama kalinya.
Saat Anda pertama kali terhubung ke EMR kluster Amazon menggunakan sagemaker-studio-analytics-extension
, yang memungkinkan koneksi ke cluster Spark (AmazonEMR) jarak jauh melalui SparkMagic pustaka menggunakan Apache Livy , Anda mungkin mengalami kesalahan batas waktu koneksi: An error was encountered: Session 0 did not start up in 60 seconds.
Jika EMR klaster Amazon Anda memerlukan inisialisasi aplikasi Spark saat membuat koneksi, ada kemungkinan lebih besar untuk melihat kesalahan batas waktu koneksi.
Untuk mengurangi kemungkinan mendapatkan batas waktu saat menghubungkan ke EMR klaster Amazon menggunakan Livy melalui ekstensi analitik,
sagemaker-studio-analytics-extension
versi0.0.19
dan yang lebih baru mengganti batas waktu sesi server default ke120
detik, bukan default detik.sparkmagic
60
Kami merekomendasikan untuk memutakhirkan ekstensi Anda
0.0.18
dan lebih cepat dengan menjalankan perintah pemutakhiran berikut.pip install --upgrade sagemaker-studio-analytics-extension
Perhatikan bahwa saat menyediakan konfigurasi batas waktu khusus di
sparkmagic
,sagemaker-studio-analytics-extension
menghormati penggantian ini. Namun, menyetel batas waktu sesi ke60
detik secara otomatis memicu batas waktu sesi server default dalam hitungan detik.120
sagemaker-studio-analytics-extension