View a markdown version of this page

Menginstal Operator HyperPod Ray Endpoint - Amazon SageMaker AI
PrasyaratCara kerja otentikasiSiapkan penandatanganan KMS (disarankan)Instal Operator HyperPod Ray EndpointHasilkan URL yang telah ditetapkan sebelumnyaMenghapus instalasiLangkah selanjutnya

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menginstal Operator HyperPod Ray Endpoint

Operator HyperPod Ray Endpoint menghasilkan titik akhir publik yang diautentikasi untuk cluster Ray aktif. HyperPod Setelah instalasi, Anda dapat mengakses Dasbor Ray dengan aman dari mana saja dengan akses internet, mengirimkan dan memantau pekerjaan, dan melihat log dan metrik cluster tanpa menyiapkan. kubectl port-forward

penting

Sebelum Anda menginstal, tinjau Praktik terbaik keamanan untuk Operator HyperPod Ray Endpoint panduan tentang mengamankan penerapan Anda.

Prasyarat

  • Add-on SageMaker Spaces Aktif dengan akses browser web diaktifkan. Operator HyperPod Ray Endpoint bergantung padanya. Untuk informasi selengkapnya, lihat Menyiapkan add-on Spaces.

  • kubectldan helm diinstal, dengan kubectl dikonfigurasi untuk cluster Anda.

  • Add-on Amazon EKS Pod Identity Agent diinstal pada klaster Anda (diperlukan untuk penandatanganan KMS). Untuk informasi selengkapnya, lihat Mengatur Agen Identitas Pod EKS di Panduan Pengguna Amazon EKS.

Untuk informasi umum tentang menginstal operator HyperPod, lihat Menginstal operator.

Cara kerja otentikasi

Operator HyperPod Ray Endpoint menggunakan JSON Web Tokens (JWTs) berumur pendek untuk mengautentikasi akses ke dasbor cluster Ray. Saat Anda meminta URL dasbor, operator memverifikasi identitas Anda melalui server Amazon EKS API, mengonfirmasi bahwa Anda membuat kluster Ray, dan mengembalikan URL yang telah ditetapkan sebelumnya. Ketika Anda membuka URL ini, operator menukar token untuk cookie sesi.

Cookie token dan sesi keduanya dicakup ke titik akhir publik kluster Ray tunggal. Mereka tidak dapat digunakan untuk mengakses cluster lain melalui jalur otentikasi HyperPod Ray Endpoint Operator.

JWT ditandatangani dengan tombol yang berputar setiap 30 menit. Ketika AWS KMS kunci dikonfigurasi, rotator menggunakan AWS KMS untuk menghasilkan materi kunci penandatanganan. Ketika tidak ada AWS KMS kunci yang dikonfigurasi, rotator menghasilkan kunci penandatanganan secara lokal. Kami menyarankan Anda mengonfigurasi AWS KMS kunci, karena menyediakan mekanisme pencabutan out-of-band dan jejak CloudTrail audit untuk peristiwa pembuatan kunci.

Siapkan penandatanganan KMS (disarankan)

Operator HyperPod Ray Endpoint memutar kunci penandatanganan setiap 30 menit. Ketika AWS KMS kunci dikonfigurasi, rotator menggunakannya untuk menghasilkan materi kunci penandatanganan baru. Ini memberikan dua kemampuan tambahan yang tidak tersedia dengan kunci yang dihasilkan secara lokal:

  • Anda dapat menonaktifkan AWS KMS kunci untuk mencabut semua sesi tanpa memerlukan akses cluster.

  • CloudTrail mencatat setiap peristiwa pembuatan kunci untuk audit.

Untuk mengatur penandatanganan KMS, selesaikan langkah-langkah berikut.

  1. Buat AWS KMS kunci. Untuk informasi selengkapnya, lihat Membuat kunci di Panduan AWS KMS Pengembang.

    aws kms create-key \
  --key-spec SYMMETRIC_DEFAULT \
  --key-usage ENCRYPT_DECRYPT \
  --description "HyperPod Ray Endpoint Operator JWT signing"

  2. Buat peran IAM dengan kebijakan izin minimum berikut. Untuk informasi selengkapnya, lihat Membuat peran IAM di Panduan Pengguna IAM.

    {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "kms:GenerateDataKey",
      "Resource": "arn:aws:kms:region:account-id:key/key-id"
    }
  ]
}

  3. Buat asosiasi Pod Identity. Untuk informasi selengkapnya, lihat Mengonfigurasi akun layanan Kubernetes untuk mengambil peran IAM dengan EKS Pod Identity di Panduan Pengguna Amazon EKS.

    aws eks create-pod-identity-association \
  --cluster-name eks-cluster-name \
  --namespace hyperpod-ray \
  --service-account hyperpod-ray-endpoint-operator-jwt-rotator \
  --role-arn arn:aws:iam::account-id:role/role-name

Instal Operator HyperPod Ray Endpoint

  1. Kloning sagemaker-hyperpod-cli repositori dan periksa tag rilis terbaru.

    git clone https://github.com/aws/sagemaker-hyperpod-cli.git
cd sagemaker-hyperpod-cli
git checkout $(git tag --sort=-v:refname | head -n 1)

  2. Instal dengan KMS-based penandatanganan (disarankan).

    helm upgrade --install hyperpod-ray-endpoint-operator \
  ./helm_chart/HyperPodHelmChart/charts/hyperpod-ray-endpoint-operator \
  --namespace hyperpod-ray \
  --create-namespace \
  --set region=region \
  --set domain=your-route53-domain \
  --set manager.enableEndpointsByDefault=true|false \
  --set kmsKeyArn="arn:aws:kms:region:account-id:key/key-id"

    Untuk menginstal tanpa KMS (kunci penandatanganan dihasilkan secara lokal):

    helm upgrade --install hyperpod-ray-endpoint-operator \
  ./helm_chart/HyperPodHelmChart/charts/hyperpod-ray-endpoint-operator \
  --namespace hyperpod-ray \
  --create-namespace \
  --set region=region \
  --set domain=your-route53-domain \
  --set manager.enableEndpointsByDefault=true|false

    Di mana:

    • domainadalah domain Route 53 SageMaker tempat add-on Spaces dikonfigurasi.

    • manager.enableEndpointsByDefaultmengontrol apakah titik akhir dasbor yang diautentikasi dibuat secara otomatis untuk setiap sumber daya Ray. Ketika diatur ketrue, semua sumber daya Ray (RayCluster,, RayJobRayService,RayCronJob) mendapatkan titik akhir secara otomatis; sumber daya individu dapat memilih keluar dengan menambahkan access.sagemaker.amazonaws.com/enabled: "false" anotasi metadata mereka. Saat disetel kefalse, tidak ada titik akhir yang dibuat kecuali sumber daya secara eksplisit memilih. access.sagemaker.amazonaws.com/enabled: "true"

  3. Konfirmasikan pod operator sedang berjalan.

    kubectl get pods -n hyperpod-ray

Hasilkan URL yang telah ditetapkan sebelumnya

Setelah Anda menginstal Operator HyperPod Ray Endpoint, buat URL yang telah ditetapkan sebelumnya untuk dasbor cluster Ray dengan menggunakan CLI HyperPod :

hyp create ray-dashboard-connection \
  --cluster-name ray-cluster-name \
  --namespace namespace

Perintah ini mengautentikasi melalui konteks kubeconfig Anda saat ini, memverifikasi bahwa Anda adalah pemilik klaster, dan mengembalikan URL presigned yang berumur pendek. Buka URL di browser untuk mengakses dasbor Ray.

catatan

Untuk membuat URL yang telah ditetapkan sebelumnya, pengguna atau akun layanan Kubernetes Anda harus memiliki izin untuk create RayDashboardConnection sumber daya di grup API. connection.access.sagemaker.amazonaws.com

Untuk pengiriman pekerjaan terprogram, gunakan perpustakaan Python toolkit-for-ray-on-sagemaker-ai di situs web PyPI dengan skema alamat alih-alih membuat URL secara manual: sagemaker_ray://

ray job submit --address "sagemaker_ray://cluster-name/namespace" -- python train.py

Skema sagemaker_ray:// alamat menangani otentikasi tanpa mengekspos URL dalam output terminal atau log.

Menghapus instalasi

helm uninstall hyperpod-ray-endpoint-operator -n hyperpod-ray

Langkah selanjutnya

Setelah instalasi, tinjau Praktik terbaik keamanan untuk Operator HyperPod Ray Endpoint praktik terbaik dalam mengamankan akses in-cluster, mengelola sesi, dan mengaudit penggunaan dasbor.