Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Gunakan SageMaker HyperPod resep Amazon untuk memulai pelatihan dan menyempurnakan model foundation yang tersedia untuk umum. Untuk melihat resep yang tersedia, lihat SageMaker HyperPodresep
Resepnya adalah konfigurasi pelatihan yang telah dikonfigurasi sebelumnya untuk keluarga model berikut:
Anda dapat menjalankan resep di dalam SageMaker HyperPod atau sebagai pekerjaan SageMaker pelatihan. Anda menggunakan adaptor SageMaker HyperPod pelatihan Amazon sebagai kerangka kerja untuk membantu Anda menjalankan alur kerja end-to-end pelatihan. Adaptor pelatihan dibangun di atas NeMokerangka kerja NVIDIA dan paket

Anda juga dapat melatih model Anda sendiri dengan mendefinisikan resep khusus Anda sendiri.
Tabel berikut menguraikan resep yang telah ditentukan dan meluncurkan skrip yang SageMaker HyperPod saat ini mendukung.
Model | Size | Urutan | Simpul | Instans | Akselerator | Resep | Skrip |
---|---|---|---|---|---|---|---|
Llama3.2 | 11b | 8192 | 4 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.2 | 90b | 8192 | 32 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.2 | 1b | 8192 | 1 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.2 | 3b | 8192 | 1 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | 70b | 16384 | 32 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | 70b | 16384 | 64 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | 70b | 8192 | 32 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | 70b | 8192 | 64 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3 | 70b | 8192 | 16 | ml.trn1.32xbesar | AWS TRN | tautan |
tautan |
Llama3.1 | 8b | 16384 | 16 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | 8b | 16384 | 32 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | 8b | 8192 | 16 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | 8b | 8192 | 32 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3 | 8b | 8192 | 4 | ml.trn1.32xbesar | AWS TRN | tautan |
tautan |
Llama3.1 | 8b | 8192 | 16 | ml.p5.48xbesar | Nvidia H100 | tautan |
N/A |
Mistral | 7b | 16384 | 16 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Mistral | 7b | 16384 | 32 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Mistral | 7b | 8192 | 16 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Mistral | 7b | 8192 | 32 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Mixtral | 22b | 16384 | 32 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Mixtral | 22b | 16384 | 64 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Mixtral | 22b | 8192 | 32 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Mixtral | 22b | 8192 | 64 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Mixtral | 7b | 16384 | 16 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Mixtral | 7b | 16384 | 32 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Mixtral | 7b | 8192 | 16 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Mixtral | 7b | 8192 | 32 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Model | Metode | Size | Panjang urutan | Simpul | Instans | Akselerator | Resep | Skrip |
---|---|---|---|---|---|---|---|---|
Llama3.1 | QLoRA | 405b | 131072 | 2 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | LoRa | 405b | 16384 | 6 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | QLoRA | 405b | 16384 | 2 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | LoRa | 405b | 16384 | 6 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | QLoRA | 405b | 8192 | 2 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | SFT | 70b | 16384 | 16 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | LoRa | 70b | 16384 | 2 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | SFT | 70b | 8192 | 10 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | LoRa | 70b | 8192 | 1 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | SFT | 8b | 16384 | 1 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | LoRa | 8b | 16384 | 1 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | SFT | 8b | 8192 | 1 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | LoRa | 8b | 8192 | 1 | ml.p5.48xbesar | Nvidia H100 | tautan |
tautan |
Llama3.1 | SFT | 70b | 8192 | 32 | ml.p4d.24xlarge | Nvidia A100 | tautan |
tautan |
Llama3.1 | LoRa | 70b | 8192 | 20 | ml.p4d.24xlarge | Nvidia A100 | tautan |
tautan |
Llama3.1 | SFT | 8b | 8192 | 4 | ml.p4d.24xlarge | Nvidia A100 | tautan |
tautan |
Llama3.1 | LoRa | 8b | 8192 | 1 | ml.p4d.24xlarge | Nvidia A100 | tautan |
tautan |
Llama3 | SFT | 8b | 8192 | 1 | ml.trn1.32xbesar | AWS TRN | tautan |
tautan |
Untuk memulai dengan tutorial, lihatTutorial.