Panduan Per SageMaker HyperPod intah Esensial Amazon

Amazon SageMaker HyperPod menyediakan fungsionalitas baris perintah yang luas untuk mengelola alur kerja pelatihan. Panduan ini mencakup perintah penting untuk operasi umum, mulai dari menghubungkan ke cluster Anda hingga memantau kemajuan pekerjaan.

Prasyarat

Sebelum menggunakan perintah ini, pastikan Anda telah menyelesaikan pengaturan berikut:

Menginstal Recipe CLI

Arahkan ke root repositori resep Anda sebelum menjalankan perintah instalasi.

Gunakan repositori Hyperpodrecipes jika menggunakan teknik penyesuaian Non Forge, untuk kustomisasi berbasis Forge lihat repositori resep khusus forge.

Jalankan perintah berikut untuk menginstal SageMaker HyperPod CLI:

Jika Anda menggunakan teknik kustomisasi Non Forge, unduh sagemaker-hyperpod-recipes-seperti yang ditunjukkan di bawah ini:

git clone -b release_v2 https://github.com/aws/sagemaker-hyperpod-cli.git
cd sagemaker-hyperpod-cli
pip install -e .
cd ..
root_dir=$(pwd)
export PYTHONPATH=${root_dir}/sagemaker-hyperpod-cli/src/hyperpod_cli/sagemaker_hyperpod_recipes/launcher/nemo/nemo_framework_launcher/launcher_scripts:$PYTHONPATH
curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3
chmod 700 get_helm.sh
./get_helm.sh
rm -f ./get_helm.sh

Jika Anda adalah Pelang gan Forge, Anda harus mengunduh resep menggunakan proses yang disebutkan di bawah ini.

mkdir NovaForgeHyperpodCLI
cd NovaForgeHyperpodCLI
aws s3 cp s3://nova-forge-c7363-206080352451-us-east-1/v1/ ./ --recursive
pip install -e .

curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3
chmod 700 get_helm.sh
./get_helm.sh
rm -f ./get_helm.sh

Tujuan: Mengapa kita melakukannyapip install -e .?

Perintah ini menginstal SageMaker HyperPod CLI dalam mode yang dapat diedit, memungkinkan Anda untuk menggunakan resep yang diperbarui tanpa menginstal ulang setiap kali. Ini juga memungkinkan Anda untuk menambahkan resep baru yang dapat diambil CLI secara otomatis.

Menghubungkan ke cluster Anda

Hubungkan SageMaker HyperPod CLI ke cluster Anda sebelum menjalankan pekerjaan apa pun:

export AWS_REGION=us-east-1 &&  SageMaker HyperPod  connect-cluster --cluster-name <your-cluster-name> --region us-east-1

Kiat pro: Anda dapat lebih lanjut mengkonfigurasi cluster Anda untuk selalu menggunakan kubeflow namespace dengan menambahkan --namespace kubeflow argumen ke perintah Anda sebagai berikut:

export AWS_REGION=us-east-1 && \
hyperpod connect-cluster \
--cluster-name <your-cluster-name> \
--region us-east-1 \
--namespace kubeflow

Ini menghemat upaya menambahkan perintah -n kubeflow di setiap saat berinteraksi dengan pekerjaan Anda.

Memulai pekerjaan pelatihan

label_selector:
  required:
    sagemaker.amazonaws.com/instance-group-name:
      - <rig_group>

Luncurkan pekerjaan pelatihan menggunakan resep dengan penggantian parameter opsional:

hyperpod start-job -n kubeflow \
--recipe fine-tuning/nova/nova_1_0/nova_micro/SFT/nova_micro_1_0_p5_p4d_gpu_lora_sft \
--override-parameters '{
"instance_type": "ml.p5.48xlarge",
    "container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest"
  }'

Output yang diharapkan:

Final command: python3 <path_to_your_installation>/NovaForgeHyperpodCLI/src/hyperpod_cli/sagemaker_hyperpod_recipes/main.py recipes=fine-tuning/nova/nova_micro_p5_gpu_sft cluster_type=k8s cluster=k8s base_results_dir=/local/home/<username>/results cluster.pullPolicy="IfNotPresent" cluster.restartPolicy="OnFailure" cluster.namespace="kubeflow" container="708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-SFT-DATAMIX-latest"

Prepared output directory at /local/home/<username>/results/<job-name>/k8s_templates
Found credentials in shared credentials file: ~/.aws/credentials
Helm script created at /local/home/<username>/results/<job-name>/<job-name>_launch.sh
Running Helm script: /local/home/<username>/results/<job-name>/<job-name>_launch.sh

NAME: <job-name>
LAST DEPLOYED: Mon Sep 15 20:56:50 2025
NAMESPACE: kubeflow
STATUS: deployed
REVISION: 1
TEST SUITE: None
Launcher successfully generated: <path_to_your_installation>/NovaForgeHyperpodCLI/src/hyperpod_cli/sagemaker_hyperpod_recipes/launcher/nova/k8s_templates/SFT

{
 "Console URL": "https://us-east-1.console.aws.amazon.com/sagemaker/home?region=us-east-1#/cluster-management/<your-cluster-name>"
}

Memeriksa status pekerjaan

Pantau pekerjaan berjalan Anda menggunakan kubectl:

kubectl get pods -o wide -w -n kubeflow | (head -n1 ; grep <your-job-name>)

Memahami status pod

Tabel berikut menjelaskan status pod umum:

Memantau log pekerjaan

Anda dapat melihat log Anda salah satu dari tiga cara:

Menggunakan CloudWatch

Log Anda tersedia di AWS akun Anda yang berisi Hyperpodcluster di bawah. CloudWatch Untuk melihatnya di browser Anda, navigasikan ke CloudWatch beranda di akun Anda dan cari nama cluster Anda. Misalnya, jika cluster Anda di my-hyperpod-rig panggil grup log akan memiliki awalan:

Menggunakan CloudWatch Wawasan

Jika Anda memiliki nama pekerjaan Anda dan tidak ingin melalui semua langkah di atas, Anda cukup menanyakan semua log di bawah /aws/sagemaker/Clusters/my-hyperpod-rig/{UUID} untuk menemukan log individu.

CPT:

fields @timestamp, @message, @logStream, @log
| filter @message like /(?i)Starting CPT Job/
| sort @timestamp desc
| limit 100

Untuk penyelesaian pekerjaan ganti Starting CPT Job dengan CPT Job completed

Kemudian Anda dapat mengklik hasil dan memilih salah satu yang mengatakan “Epoch 0" karena itu akan menjadi node master Anda.

Menggunakan AWS CLI

Anda dapat memilih untuk mengekor log Anda menggunakan AWS CLI. Sebelum melakukannya, silakan periksa AWS CLI versi Anda menggunakanaws --version. Disarankan juga untuk menggunakan skrip utilitas ini yang membantu dalam pelacakan log langsung di terminal Anda

untuk V1:

aws logs get-log-events \
--log-group-name /aws/sagemaker/YourLogGroupName \
--log-stream-name YourLogStream \
--start-from-head | jq -r '.events[].message'

untuk V2:

aws logs tail /aws/sagemaker/YourLogGroupName \
 --log-stream-name YourLogStream \
--since 10m \
--follow

Mendaftarkan pekerjaan aktif

Lihat semua pekerjaan yang berjalan di cluster Anda:

hyperpod list-jobs -n kubeflow

Contoh keluaran:

{
  "jobs": [
    {
      "Name": "test-run-nhgza",
      "Namespace": "kubeflow",
      "CreationTime": "2025-10-29T16:50:57Z",
      "State": "Running"
    }
  ]
}

Membatalkan pekerjaan

Hentikan pekerjaan yang sedang berjalan kapan saja:

hyperpod cancel-job --job-name <job-name> -n kubeflow

Menemukan nama pekerjaan Anda

Opsi 1: Dari resep Anda

Nama pekerjaan ditentukan di run blok resep Anda:

run:
  name: "my-test-run"                        # This is your job name
  model_type: "amazon.nova-micro-v1:0:128k"
  ...

Opsi 2: Dari perintah list-jobs

Gunakan hyperpod list-jobs -n kubeflow dan salin Name bidang dari output.

Menjalankan pekerjaan evaluasi

Evaluasi model terlatih atau model dasar menggunakan resep evaluasi.

Prasyarat

Sebelum menjalankan pekerjaan evaluasi, pastikan Anda memiliki:

Perintah

Jalankan perintah berikut untuk memulai pekerjaan evaluasi:

hyperpod start-job -n kubeflow \
  --recipe evaluation/nova/nova_2_0/nova_lite/nova_lite_2_0_p5_48xl_gpu_bring_your_own_dataset_eval \
  --override-parameters '{
    "instance_type": "p5.48xlarge",
    "container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest",
    "recipes.run.name": "<your-eval-job-name>",
    "recipes.run.model_name_or_path": "<checkpoint-s3-uri>",
    "recipes.run.output_s3_path": "s3://<your-bucket>/eval-results/",
    "recipes.run.data_s3_path": "s3://<your-bucket>/eval-data.jsonl"
  }'

Deskripsi parameter:

Tips:

Format data evaluasi

Format masukan (JSONL):

{
  "metadata": "{key:4, category:'apple'}",
  "system": "arithmetic-patterns, please answer the following with no other words: ",
  "query": "What is the next number in this series? 1, 2, 4, 8, 16, ?",
  "response": "32"
}

Format keluaran:

{
  "prompt": "[{'role': 'system', 'content': 'arithmetic-patterns, please answer the following with no other words: '}, {'role': 'user', 'content': 'What is the next number in this series? 1, 2, 4, 8, 16, ?'}]",
  "inference": "['32']",
  "gold": "32",
  "metadata": "{key:4, category:'apple'}"
}

Deskripsi bidang:

Masalah umum