Menyiapkan penskalaan otomatis vertikal untuk Amazon di EMR EKS - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menyiapkan penskalaan otomatis vertikal untuk Amazon di EMR EKS

Topik ini membantu Anda menyiapkan EKS klaster Amazon untuk mengirimkan pekerjaan Amazon EMR Spark dengan penskalaan otomatis vertikal. Proses penyiapan mengharuskan Anda untuk mengonfirmasi atau menyelesaikan tugas di bagian berikut:

Prasyarat

Selesaikan tugas-tugas berikut sebelum Anda menginstal operator Kubernetes penskalaan otomatis vertikal di klaster Anda. Jika Anda telah menyelesaikan salah satu prasyarat, Anda dapat melewatinya dan melanjutkan ke yang berikutnya.

Instal Operator Lifecycle Manager (OLM) di klaster Amazon Anda EKS

Gunakan Operator SDK CLI untuk menginstal Operator Lifecycle Manager (OLM) di Amazon EMR pada EKS cluster tempat Anda ingin mengatur penskalaan otomatis vertikal, seperti yang ditunjukkan pada contoh berikut. Setelah mengaturnya, Anda dapat menggunakannya OLM untuk menginstal dan mengelola siklus hidup operator penskalaan otomatis EMR vertikal Amazon.

operator-sdk olm install

Untuk memvalidasi instalasi, jalankan olm status perintah:

operator-sdk olm status

Verifikasi bahwa perintah mengembalikan hasil yang sukses, mirip dengan contoh output berikut:

INFO[0007] Successfully got OLM status for version X.XX

Jika instalasi Anda tidak berhasil, lihatMemecahkan masalah Amazon EMR pada EKS penskalaan otomatis vertikal.

Instal Amazon EMR pada operator penskalaan otomatis EKS vertikal

Gunakan langkah-langkah berikut untuk menginstal operator penskalaan otomatis vertikal di klaster Amazon Anda: EKS

  1. Siapkan variabel lingkungan berikut yang akan Anda gunakan untuk menyelesaikan instalasi:

    • $REGIONmenunjuk ke Wilayah AWS untuk cluster Anda. Misalnya, us-west-2.

    • $ACCOUNT_IDmenunjuk ke ID ECR akun Amazon untuk Wilayah Anda. Untuk informasi selengkapnya, lihat Akun ECR registri Amazon berdasarkan Wilayah.

    • $RELEASEmenunjuk ke EMR rilis Amazon yang ingin Anda gunakan untuk cluster Anda. Dengan penskalaan otomatis vertikal, Anda harus menggunakan EMR rilis Amazon 6.10.0 atau lebih tinggi.

  2. Selanjutnya, dapatkan token otentikasi ke ECRregistri Amazon untuk operator.

    aws ecr get-login-password \ --region region-id | docker login \ --username AWS \ --password-stdin $ACCOUNT_ID.dkr.ecr.region-id.amazonaws.com
  3. Instal Amazon EMR pada operator penskalaan otomatis EKS vertikal dengan perintah berikut:

    ECR_URL=$ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com && \ REPO_DEST=dynamic-sizing-k8s-operator-olm-bundle && \ BUNDLE_IMG=emr-$RELEASE-dynamic-sizing-k8s-operator && \ operator-sdk run bundle \ $ECR_URL/$REPO_DEST/$BUNDLE_IMG\:latest

    Ini akan membuat rilis operator penskalaan otomatis vertikal di namespace default cluster Amazon Anda. EKS Gunakan perintah ini untuk menginstal di namespace yang berbeda:

    operator-sdk run bundle \ $ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com/dynamic-sizing-k8s-operator-olm-bundle/emr-$RELEASE-dynamic-sizing-k8s-operator:latest \ -n operator-namespace
    catatan

    Jika namespace yang Anda tentukan tidak ada, tidak OLM akan menginstal operator. Untuk informasi selengkapnya, lihat Namespace Kubernetes tidak ditemukan.

  4. Verifikasi bahwa Anda berhasil menginstal operator dengan alat baris perintah kubectl Kubernetes.

    kubectl get csv -n operator-namespace

    kubectlPerintah harus mengembalikan operator autoscaler vertikal yang baru digunakan dengan status Fase Succeeded. Jika Anda mengalami masalah dengan instalasi atau pengaturan, lihatMemecahkan masalah Amazon EMR pada EKS penskalaan otomatis vertikal.