Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Saat bekerja dengan kluster EMR Amazon dari notebook Studio atau Studio Classic, Anda mungkin mengalami berbagai masalah atau tantangan potensial selama proses koneksi atau penggunaan. Untuk membantu Anda memecahkan masalah dan mengatasi kesalahan ini, bagian ini memberikan panduan tentang masalah umum yang dapat muncul.
Berikut ini adalah kesalahan umum yang mungkin terjadi saat menghubungkan atau menggunakan kluster EMR Amazon dari notebook Studio atau Studio Classic.
Memecahkan masalah koneksi Livy yang macet atau gagal
Berikut ini adalah masalah konektivitas Livy yang mungkin terjadi saat menggunakan kluster EMR Amazon dari notebook Studio atau Studio Classic.
-
Kluster EMR Amazon Anda mengalami kesalahan out-of-memory.
Alasan yang mungkin untuk koneksi Livy melalui
sparkmagichang atau kegagalan adalah jika cluster EMR Amazon Anda mengalami kesalahan. out-of-memorySecara default, parameter konfigurasi Java dari driver Apache Spark,
spark.driver.defaultJavaOptions, diatur ke.-XX:OnOutOfMemoryError='kill -9 %p'Ini berarti bahwa tindakan default yang diambil ketika program driver bertemuOutOfMemoryErroradalah untuk menghentikan program driver dengan mengirimkan sinyal SIGKILL. Ketika driver Apache Spark dihentikan, koneksi Livy apa pun melaluisparkmagicitu tergantung pada driver tersebut hang atau gagal. Ini karena driver Spark bertanggung jawab untuk mengelola sumber daya aplikasi Spark, termasuk penjadwalan tugas dan eksekusi. Tanpa driver, aplikasi Spark tidak dapat berfungsi, dan setiap upaya untuk berinteraksi dengannya gagal.Jika Anda mencurigai klaster Spark Anda mengalami masalah memori, Anda dapat memeriksa log EMR Amazon. Kontainer mati karena out-of-memory kesalahan biasanya keluar dengan kode
137. Dalam kasus seperti itu, Anda perlu me-restart aplikasi Spark dan membuat koneksi Livy baru untuk melanjutkan interaksi dengan cluster Spark.Anda dapat merujuk ke artikel basis pengetahuan Bagaimana cara mengatasi kesalahan “Wadah yang dibunuh oleh YARN karena melebihi batas memori” di Spark on Amazon EMR
? AWS re:Post untuk mempelajari berbagai strategi dan parameter yang dapat digunakan untuk mengatasi suatu out-of-memory masalah. Sebaiknya tinjau Panduan Praktik Terbaik EMR Amazon untuk praktik terbaik
dan panduan penyetelan dalam menjalankan beban kerja Apache Spark di kluster EMR Amazon Anda. -
Waktu sesi Livy Anda habis saat menghubungkan ke cluster EMR Amazon untuk pertama kalinya.
Saat Anda awalnya terhubung ke kluster EMR Amazon menggunakan sagemaker-studio-analytics-extension
, yang memungkinkan koneksi ke cluster Spark (Amazon EMR) jarak jauh melalui SparkMagic pustaka menggunakan Apache Livy , Anda mungkin mengalami kesalahan batas waktu koneksi: An error was encountered: Session 0 did not start up in 60 seconds.Jika klaster EMR Amazon Anda memerlukan inisialisasi aplikasi Spark saat membuat koneksi, ada kemungkinan lebih besar untuk melihat kesalahan batas waktu koneksi.
Untuk mengurangi kemungkinan mendapatkan batas waktu saat menghubungkan ke kluster EMR Amazon menggunakan Livy melalui ekstensi analitik
sagemaker-studio-analytics-extension,0.0.19versi dan yang lebih baru mengganti batas waktu sesi server default120ke detik, bukansparkmagicdefault detik.60Kami merekomendasikan untuk memutakhirkan ekstensi Anda
0.0.18dan lebih cepat dengan menjalankan perintah pemutakhiran berikut.pip install --upgrade sagemaker-studio-analytics-extensionPerhatikan bahwa saat menyediakan konfigurasi batas waktu khusus di
sparkmagic,sagemaker-studio-analytics-extensionmenghormati penggantian ini. Namun, menyetel batas waktu sesi ke60detik secara otomatis memicu batas waktu sesi server default dalam hitungan detik.120sagemaker-studio-analytics-extension
