Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Menyiapkan penskalaan otomatis vertikal untuk Amazon di EMR EKS
Topik ini membantu Anda menyiapkan EKS klaster Amazon untuk mengirimkan pekerjaan Amazon EMR Spark dengan penskalaan otomatis vertikal. Proses penyiapan mengharuskan Anda untuk mengonfirmasi atau menyelesaikan tugas di bagian berikut:
Topik
Prasyarat
Selesaikan tugas-tugas berikut sebelum Anda menginstal operator Kubernetes penskalaan otomatis vertikal di klaster Anda. Jika Anda telah menyelesaikan salah satu prasyarat, Anda dapat melewatinya dan melanjutkan ke yang berikutnya.
-
Instal atau perbarui ke versi terbaru AWS CLI - Jika Anda sudah menginstal AWS CLI, konfirmasikan bahwa Anda memiliki versi terbaru.
-
Instal kubectl — kubectl adalah alat baris perintah yang Anda gunakan untuk berkomunikasi dengan server Kubernetes. API Anda memerlukan kubectl untuk menginstal dan memantau artefak terkait penskalaan otomatis vertikal di klaster Amazon Anda. EKS
-
Instal Operator SDK
— EMR Amazon EKS menggunakan Operator SDK sebagai pengelola paket untuk masa pakai operator penskalaan otomatis vertikal yang Anda instal di cluster Anda. -
Instal Docker
- Anda memerlukan akses ke Docker CLI untuk mengautentikasi dan mengambil gambar Docker terkait penskalaan otomatis vertikal untuk dipasang di cluster Amazon Anda. EKS -
Instal server Metrik Kubernetes — Anda harus menginstal server metrik terlebih dahulu agar autoscaler pod vertikal dapat mengambil metrik dari server Kubernetes. API
-
Memulai Amazon EKS — eksctl (versi 1.24 atau lebih tinggi) — Penskalaan otomatis vertikal didukung dengan Amazon versi 1.24 dan yang lebih tinggi. EKS Setelah Anda membuat cluster, daftarkan untuk digunakan dengan Amazon EMR.
-
Pilih gambar EMR dasar Amazon URI (rilis 6.10.0 atau lebih tinggi) — Penskalaan otomatis vertikal didukung dengan rilis Amazon EMR 6.10.0 dan yang lebih tinggi.
Instal Operator Lifecycle Manager (OLM) di klaster Amazon Anda EKS
Gunakan Operator SDK CLI untuk menginstal Operator Lifecycle Manager (OLM) di Amazon EMR pada EKS cluster tempat Anda ingin mengatur penskalaan otomatis vertikal, seperti yang ditunjukkan pada contoh berikut. Setelah mengaturnya, Anda dapat menggunakannya OLM untuk menginstal dan mengelola siklus hidup operator penskalaan otomatis EMR vertikal Amazon.
operator-sdk olm install
Untuk memvalidasi instalasi, jalankan olm status
perintah:
operator-sdk olm status
Verifikasi bahwa perintah mengembalikan hasil yang sukses, mirip dengan contoh output berikut:
INFO[0007] Successfully got OLM status for version X.XX
Jika instalasi Anda tidak berhasil, lihatMemecahkan masalah Amazon EMR pada EKS penskalaan otomatis vertikal.
Instal Amazon EMR pada operator penskalaan otomatis EKS vertikal
Gunakan langkah-langkah berikut untuk menginstal operator penskalaan otomatis vertikal di klaster Amazon Anda: EKS
-
Siapkan variabel lingkungan berikut yang akan Anda gunakan untuk menyelesaikan instalasi:
-
$REGION
menunjuk ke Wilayah AWS untuk cluster Anda. Misalnya,us-west-2
. -
$ACCOUNT_ID
menunjuk ke ID ECR akun Amazon untuk Wilayah Anda. Untuk informasi selengkapnya, lihat Akun ECR registri Amazon berdasarkan Wilayah. -
$RELEASE
menunjuk ke EMR rilis Amazon yang ingin Anda gunakan untuk cluster Anda. Dengan penskalaan otomatis vertikal, Anda harus menggunakan EMR rilis Amazon 6.10.0 atau lebih tinggi.
-
-
Selanjutnya, dapatkan token otentikasi ke ECRregistri Amazon untuk operator.
aws ecr get-login-password \ --region
region-id
| docker login \ --username AWS \ --password-stdin $ACCOUNT_ID.dkr.ecr.region-id
.amazonaws.com -
Instal Amazon EMR pada operator penskalaan otomatis EKS vertikal dengan perintah berikut:
ECR_URL=$ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com && \ REPO_DEST=dynamic-sizing-k8s-operator-olm-bundle && \ BUNDLE_IMG=emr-$RELEASE-dynamic-sizing-k8s-operator && \ operator-sdk run bundle \ $ECR_URL/$REPO_DEST/$BUNDLE_IMG\:latest
Ini akan membuat rilis operator penskalaan otomatis vertikal di namespace default cluster Amazon Anda. EKS Gunakan perintah ini untuk menginstal di namespace yang berbeda:
operator-sdk run bundle \ $ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com/dynamic-sizing-k8s-operator-olm-bundle/emr-$RELEASE-dynamic-sizing-k8s-operator:latest \ -n
operator-namespace
catatan
Jika namespace yang Anda tentukan tidak ada, tidak OLM akan menginstal operator. Untuk informasi selengkapnya, lihat Namespace Kubernetes tidak ditemukan.
-
Verifikasi bahwa Anda berhasil menginstal operator dengan alat baris perintah kubectl Kubernetes.
kubectl get csv -n
operator-namespace
kubectl
Perintah harus mengembalikan operator autoscaler vertikal yang baru digunakan dengan status Fase Succeeded. Jika Anda mengalami masalah dengan instalasi atau pengaturan, lihatMemecahkan masalah Amazon EMR pada EKS penskalaan otomatis vertikal.