Pemecahan Masalah - Amazon SageMaker
Memecahkan masalah koneksi Livy yang macet atau gagal

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pemecahan Masalah

Saat bekerja dengan EMR klaster Amazon dari notebook Studio atau Studio Classic, Anda mungkin mengalami berbagai masalah atau tantangan potensial selama proses koneksi atau penggunaan. Untuk membantu Anda memecahkan masalah dan mengatasi kesalahan ini, bagian ini memberikan panduan tentang masalah umum yang dapat muncul.

Berikut ini adalah kesalahan umum yang mungkin terjadi saat menghubungkan atau menggunakan EMR klaster Amazon dari notebook Studio atau Studio Classic.

Memecahkan masalah koneksi Livy yang macet atau gagal

Berikut ini adalah masalah konektivitas Livy yang mungkin terjadi saat menggunakan EMR klaster Amazon dari notebook Studio atau Studio Classic.

  • EMRCluster Amazon Anda mengalami out-of-memory kesalahan.

    Alasan yang mungkin untuk koneksi Livy melalui sparkmagic hang atau kegagalan adalah jika EMR cluster Amazon Anda mengalami kesalahan out-of-memory.

    Secara default, parameter konfigurasi Java dari driver Apache Spark,spark.driver.defaultJavaOptions, diatur ke. -XX:OnOutOfMemoryError='kill -9 %p' Ini berarti bahwa tindakan default yang diambil ketika program driver bertemu OutOfMemoryError adalah untuk menghentikan program driver dengan mengirimkan sinyalSIGKILL. Ketika driver Apache Spark dihentikan, koneksi Livy apa pun melalui sparkmagic itu tergantung pada driver tersebut hang atau gagal. Ini karena driver Spark bertanggung jawab untuk mengelola sumber daya aplikasi Spark, termasuk penjadwalan tugas dan eksekusi. Tanpa driver, aplikasi Spark tidak dapat berfungsi, dan setiap upaya untuk berinteraksi dengannya gagal.

    Jika Anda mencurigai klaster Spark Anda mengalami masalah memori, Anda dapat memeriksa EMRlog Amazon. Kontainer mati karena out-of-memory kesalahan biasanya keluar dengan kode137. Dalam kasus seperti itu, Anda perlu me-restart aplikasi Spark dan membuat koneksi Livy baru untuk melanjutkan interaksi dengan cluster Spark.

    Anda dapat merujuk ke artikel basis pengetahuan Bagaimana cara mengatasi kesalahan “Wadah mati YARN karena melebihi batas memori” di Spark di Amazon? EMR AWS re:Post untuk mempelajari berbagai strategi dan parameter yang dapat digunakan untuk mengatasi suatu out-of-memory masalah.

    Sebaiknya tinjau Panduan Praktik EMR Terbaik Amazon untuk praktik terbaik dan panduan penyetelan untuk menjalankan beban kerja Apache Spark di klaster Amazon Anda. EMR

  • Waktu sesi Livy Anda habis saat menghubungkan ke EMR cluster Amazon untuk pertama kalinya.

    Saat Anda pertama kali terhubung ke EMR kluster Amazon menggunakan sagemaker-studio-analytics-extension, yang memungkinkan koneksi ke cluster Spark (AmazonEMR) jarak jauh melalui SparkMagicpustaka menggunakan Apache Livy, Anda mungkin mengalami kesalahan batas waktu koneksi:

    An error was encountered: Session 0 did not start up in 60 seconds.

    Jika EMR klaster Amazon Anda memerlukan inisialisasi aplikasi Spark saat membuat koneksi, ada kemungkinan lebih besar untuk melihat kesalahan batas waktu koneksi.

    Untuk mengurangi kemungkinan mendapatkan batas waktu saat menghubungkan ke EMR klaster Amazon menggunakan Livy melalui ekstensi analitik, sagemaker-studio-analytics-extension versi 0.0.19 dan yang lebih baru mengganti batas waktu sesi server default ke 120 detik, bukan default detik. sparkmagic 60

    Kami merekomendasikan untuk memutakhirkan ekstensi Anda 0.0.18 dan lebih cepat dengan menjalankan perintah pemutakhiran berikut.

    pip install --upgrade sagemaker-studio-analytics-extension

    Perhatikan bahwa saat menyediakan konfigurasi batas waktu khusus disparkmagic, sagemaker-studio-analytics-extension menghormati penggantian ini. Namun, menyetel batas waktu sesi ke 60 detik secara otomatis memicu batas waktu sesi server default dalam hitungan detik. 120 sagemaker-studio-analytics-extension