Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Mulai menerapkan alat Machine Learning di EKS
Untuk beralih ke Machine LearningEKS, mulailah dengan memilih dari pola preskriptif ini untuk dengan cepat menyiapkan perangkat lunak dan perangkat keras EKS cluster dan ML. untuk mulai menjalankan beban kerja ML. Sebagian besar pola ini didasarkan pada cetak biru Terraform yang tersedia dari situs Data di Amazon. EKS
-
GPUsatau contoh Neuron diperlukan untuk menjalankan prosedur ini. Kurangnya ketersediaan sumber daya ini dapat menyebabkan prosedur ini gagal selama pembuatan cluster atau penskalaan otomatis node.
-
Neuron SDK (contoh berbasis Tranium dan Inferensia) dapat menghemat uang dan lebih banyak tersedia daripada. NVIDIA GPUs Jadi, ketika beban kerja Anda mengizinkannya, kami sarankan Anda mempertimbangkan untuk menggunakan Neutron untuk beban kerja Machine Learning Anda (lihat Selamat Datang
di Neuron). AWS -
Beberapa pengalaman memulai di sini mengharuskan Anda mendapatkan data melalui akun Hugging
Face Anda sendiri.
Untuk memulai, pilih dari pilihan pola berikut yang dirancang untuk membantu Anda mulai menyiapkan infrastruktur untuk menjalankan beban kerja Machine Learning Anda:
-
JupyterHub on EKS
: Jelajahi JupyterHub cetak biru , yang menampilkan Time Slicing dan MIG fitur, serta konfigurasi multi-tenant dengan profil. Ini sangat ideal untuk menyebarkan JupyterHub platform skala besar diEKS. -
Model Bahasa Besar pada AWS Neuron dan RayServe
: Gunakan AWS Neuron untuk menjalankan model bahasa besar (LLMs) di Amazon EKS dan akselerator AWS Trainium dan AWS Inferentia. Lihat Melayani LLMs dengan RayServe dan v LLM di AWS Neuron untuk instruksi tentang menyiapkan platform untuk membuat permintaan inferensi, dengan komponen yang meliputi: -
AWS SDKToolkit neuron untuk pembelajaran mendalam
-
AWS Akselerator inferensia dan Trainium
-
v LLM - model bahasa panjang variabel (lihat situs dokumentasi v LLM
) -
RayServe pustaka penyajian model yang dapat diskalakan (lihat situs Ray Serve: Scalable and Programmable
Serving) -
Model bahasa Llama-3, menggunakan akun Hugging Face
Anda sendiri. -
Observabilitas dengan AWS CloudWatch dan Neuron Monitor
-
Buka WebUI
-
-
Model Bahasa Besar di NVIDIA dan Triton
: Terapkan beberapa model bahasa besar () LLMs di Amazon dan. EKS NVIDIA GPUs Lihat Menerapkan Beberapa Model Bahasa Besar dengan NVIDIA Triton Server dan v LLM untuk instruksi untuk menyiapkan platform untuk membuat permintaan inferensi, dengan komponen yang mencakup: -
NVIDIAServer Inferensi Triton (lihat situs Server Inferensi Triton
) GitHub -
v LLM - model bahasa panjang variabel (lihat situs dokumentasi v LLM
) -
Dua model bahasa: mistralai/Mistral-7B-Instruct-v0.2 and meta-llama/Llama -2-7b-chat-hf, menggunakan akun Hugging Face
Anda sendiri.
-
Melanjutkan dengan ML pada EKS
Seiring dengan memilih dari cetak biru yang dijelaskan di halaman ini, ada cara lain Anda dapat melanjutkan melalui ML pada EKS dokumentasi jika Anda mau. Sebagai contoh, Anda dapat:
-
Coba tutorial untuk ML EKS — Jalankan end-to-end tutorial lain untuk membangun dan menjalankan model Machine Learning Anda sendiriEKS. Lihat Coba tutorial untuk menerapkan beban kerja dan platform Machine Learning EKS.
Untuk meningkatkan pekerjaan Anda dengan ML aktifEKS, lihat yang berikut ini:
-
Mempersiapkan untuk ML — Pelajari cara mempersiapkan ML EKS dengan fitur seperti kustom AMIs dan GPU reservasi. Lihat Bersiaplah untuk membuat EKS cluster untuk Machine Learning.
