Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Menyiapkan spark-submit untuk Amazon di EMR EKS
Selesaikan tugas-tugas berikut untuk menyiapkan sebelum Anda dapat menjalankan aplikasi dengan spark-submit di AmazonEMR. EKS Jika Anda sudah mendaftar untuk Amazon Web Services (AWS) dan telah menggunakan AmazonEKS, Anda hampir siap untuk menggunakan EMR AmazonEKS. Jika Anda telah menyelesaikan salah satu prasyarat, Anda dapat melewatinya dan melanjutkan ke yang berikutnya.
-
Instal atau perbarui ke versi terbaru AWS CLI - Jika Anda sudah menginstal AWS CLI, konfirmasikan bahwa Anda memiliki versi terbaru.
-
Siapkan kubectl dan eksctl - eksctl adalah alat baris perintah yang Anda gunakan untuk berkomunikasi dengan Amazon. EKS
-
Memulai Amazon EKS — eksctl — Ikuti langkah-langkah untuk membuat cluster Kubernetes baru dengan node di Amazon. EKS
-
Pilih gambar EMR dasar Amazon URI (rilis 6.10.0 atau lebih tinggi) —
spark-submitperintah ini didukung dengan EMR rilis Amazon 6.10.0 dan yang lebih tinggi. -
Konfirmasikan bahwa akun layanan driver memiliki izin yang sesuai untuk membuat dan menonton pod pelaksana. Untuk informasi selengkapnya, lihat Verifikasi persyaratan keamanan akun layanan driver Spark untuk pengiriman spark.
-
Siapkan profil AWS kredensial lokal Anda.
-
Dari EKS konsol Amazon, pilih EKS klaster Anda, lalu temukan titik akhir EKS cluster, yang terletak di bawah Ikhtisar, Detail, lalu titik akhir API server.
