Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pemecahan masalah AI generatif untuk Apache Spark in Glue AWS
| Pemecahan masalah AI generatif untuk pratinjau Apache Spark tersedia untuk pekerjaan yang berjalan di AWS Glue 4.0, dan di AWS Wilayah berikut: US East (N. Virginia), US East (Ohio), US West (Oregon), US West (N. California), Europe (Stockholm), Asia Pacific (Tokyo), Asia Pacific (Mumbai), dan Asia Pacific (Sydney). Fitur pratinjau dapat berubah. |
Pemecahan Masalah AI Generatif untuk pekerjaan Apache Spark di AWS Glue adalah kemampuan baru yang membantu insinyur data dan ilmuwan mendiagnosis dan memperbaiki masalah dalam aplikasi Spark mereka dengan mudah. Memanfaatkan pembelajaran mesin dan teknologi AI generatif, fitur ini menganalisis masalah dalam pekerjaan Spark dan memberikan analisis akar penyebab terperinci bersama dengan rekomendasi yang dapat ditindaklanjuti untuk menyelesaikan masalah tersebut.
Bagaimana cara kerja Pemecahan Masalah Generatif AI untuk Apache Spark?
Untuk pekerjaan Spark Anda yang gagal, Pemecahan Masalah Generatif AI menganalisis metadata pekerjaan dan metrik serta log tepat yang terkait dengan tanda tangan kesalahan pekerjaan Anda untuk menghasilkan analisis akar penyebab, dan merekomendasikan solusi dan praktik terbaik khusus untuk membantu mengatasi kegagalan pekerjaan.
Menyiapkan Pemecahan Masalah AI Generatif untuk Apache Spark untuk pekerjaan Anda
catatan
Selama pratinjau, fitur ini membantu memecahkan masalah pekerjaan AWS Glue 4.0 yang gagal dalam 30 menit pertama dari waktu eksekusi mereka.
Mengonfigurasi izin IAM
Memberikan izin untuk yang APIs digunakan oleh Spark Troubleshooting untuk pekerjaan Anda di Glue AWS memerlukan izin yang sesuai. IAM Anda dapat memperoleh izin dengan melampirkan AWS kebijakan kustom berikut ke IAM identitas (seperti pengguna, peran, atau grup).
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "glue:StartCompletion", "glue:GetCompletion" ], "Resource": [ "arn:aws:glue:*:*:completion/*" ] } ] }
catatan
Selama pratinjau, Pemecahan Masalah Spark tidak APIs tersedia melalui yang dapat Anda gunakan secara AWS SDK terprogram. Dua berikut ini APIs digunakan dalam IAM kebijakan untuk mengaktifkan pengalaman ini melalui AWS Glue Studio Console: StartCompletion danGetCompletion.
Menetapkan izin perpanjangan
Untuk memberikan akses, menambahkan izin ke pengguna, grup, atau peran Anda:
-
Untuk pengguna dan grup di Pusat IAM Identitas: Buat set izin. Ikuti petunjuk di Buat set izin di Panduan Pengguna Pusat IAM Identitas.
-
Untuk pengguna yang dikelola IAM melalui penyedia identitas: Buat peran untuk federasi identitas. Ikuti petunjuk di Membuat peran untuk penyedia identitas pihak ketiga (federasi) di Panduan IAM Pengguna.
-
Untuk IAM pengguna: Buat peran yang dapat diasumsikan oleh pengguna Anda. Ikuti petunjuk dalam Membuat peran bagi IAM pengguna di Panduan IAM Pengguna.
Menjalankan analisis pemecahan masalah dari pekerjaan yang gagal
Anda dapat mengakses fitur pemecahan masalah melalui beberapa jalur di konsol AWS Glue. Berikut cara memulai:
Opsi 1: Dari halaman Daftar Pekerjaan
-
Buka konsol AWS Glue di https://console.aws.amazon.com/glue/
. -
Di panel navigasi, pilih ETLTugas.
-
Temukan tugas gagal di daftar tugas.
-
Pilih tab Runs di bagian detail pekerjaan.
-
Klik pada tugas gagal yang ingin Anda analisis.
-
Pilih Troubleshoot dengan AI untuk memulai analisis.
-
Saat analisis pemecahan masalah selesai, Anda dapat melihat analisis akar penyebab dan rekomendasi di tab Analisis pemecahan masalah di bagian bawah layar.
Opsi 2: Menggunakan halaman Job Run Monitoring
-
Arahkan ke halaman pemantauan Job run.
-
Temukan pekerjaan Anda yang gagal dijalankan.
-
Pilih menu drop-down Actions.
-
Pilih Troubleshoot dengan AI.
Opsi 3: Dari halaman Detail Job Run
-
Arahkan ke halaman detail job run yang gagal dengan mengklik Lihat detail pada proses gagal dari tab Runs atau memilih pekerjaan yang dijalankan dari halaman pemantauan Job run.
-
Di halaman rincian pekerjaan, temukan tab Analisis pemecahan masalah.
Kategori pemecahan masalah yang didukung (pratinjau)
Layanan ini berfokus pada tiga kategori utama masalah yang sering dihadapi oleh insinyur dan pengembang data dalam aplikasi Spark mereka:
-
Penyiapan sumber daya dan kesalahan akses: Saat menjalankan aplikasi Spark di AWS Glue, pengaturan sumber daya dan kesalahan akses adalah salah satu masalah yang paling umum namun menantang untuk didiagnosis. Kesalahan ini sering terjadi ketika aplikasi Spark Anda mencoba berinteraksi dengan AWS sumber daya tetapi mengalami masalah izin, sumber daya yang hilang, atau masalah konfigurasi.
-
Masalah driver Spark dan memori pelaksana: Kesalahan terkait memori dalam pekerjaan Apache Spark bisa rumit untuk didiagnosis dan diselesaikan. Kesalahan ini sering muncul ketika persyaratan pemrosesan data Anda melebihi sumber daya memori yang tersedia, baik pada node driver atau node pelaksana.
-
Masalah kapasitas disk percikan: Kesalahan terkait penyimpanan dalam pekerjaan AWS Glue Spark sering muncul selama operasi shuffle, tumpahan data, atau saat berhadapan dengan transformasi data skala besar. Kesalahan ini bisa sangat rumit karena mungkin tidak terwujud sampai pekerjaan Anda berjalan untuk sementara waktu, berpotensi membuang-buang waktu dan sumber daya komputasi yang berharga.
catatan
Sebelum menerapkan perubahan yang disarankan di lingkungan produksi Anda, tinjau perubahan yang disarankan secara menyeluruh. Layanan ini memberikan rekomendasi berdasarkan pola dan praktik terbaik, tetapi kasus penggunaan spesifik Anda mungkin memerlukan pertimbangan tambahan.
