Bantu tingkatkan halaman ini

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Untuk berkontribusi pada panduan pengguna ini, pilih Edit halaman ini pada GitHub tautan yang terletak di panel kanan setiap halaman.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Sumber daya untuk memulai AI/ML di Amazon EKS

Untuk terjun ke Machine Learning di EKS, mulailah dengan memilih dari pola preskriptif ini untuk dengan cepat mendapatkan cluster EKS dan perangkat lunak dan perangkat lunak dan perangkat keras yang siap untuk mulai menjalankan beban kerja ML.

Lokakarya

AI Generatif di Amazon EKS Workshop

Pelajari cara memulai aplikasi dan inferensi Large Language Model (LLM) di Amazon EKS. Temukan cara menerapkan dan mengelola beban kerja LLM tingkat produksi. Melalui lab langsung, Anda akan menjelajahi cara memanfaatkan Amazon EKS bersama dengan AWS layanan dan alat sumber terbuka untuk menciptakan solusi LLM yang tangguh. Lingkungan lokakarya menyediakan semua infrastruktur dan alat yang diperlukan, memungkinkan Anda untuk fokus pada pembelajaran dan implementasi.

AI generatif di Amazon EKS menggunakan Neuron

Pelajari cara memulai aplikasi dan inferensi Large Language Model (LLM) di Amazon EKS. Temukan cara menerapkan dan mengelola beban kerja LLM tingkat produksi, menerapkan pola RAG tingkat lanjut dengan database vektor, dan membangun aplikasi LLM yang didukung data menggunakan kerangka kerja sumber terbuka. Melalui lab langsung, Anda akan menjelajahi cara memanfaatkan Amazon EKS bersama dengan AWS layanan dan alat sumber terbuka untuk menciptakan solusi LLM yang tangguh. Lingkungan lokakarya menyediakan semua infrastruktur dan alat yang diperlukan, memungkinkan Anda untuk fokus pada pembelajaran dan implementasi.

Praktik Terbaik

Topik AI/ML terfokus dalam panduan Praktik Terbaik Amazon EKS memberikan rekomendasi terperinci di seluruh area berikut untuk mengoptimalkan AI/ML beban kerja Anda di Amazon EKS.

AI/ML Komputasi dan Penskalaan Otomatis

Bagian ini menguraikan praktik terbaik untuk mengoptimalkan AI/ML komputasi dan penskalaan otomatis di Amazon EKS, dengan fokus pada manajemen sumber daya GPU, ketahanan node, dan penskalaan aplikasi. Ini menyediakan strategi seperti penjadwalan beban kerja dengan label terkenal dan afinitas simpul, menggunakan Blok Kapasitas ML atau Reservasi On-Demand Kapasitas, dan menerapkan pemeriksaan kesehatan simpul dengan alat seperti Agen Pemantauan Node EKS.

AI/ML Jaringan

Bagian ini menguraikan praktik terbaik untuk mengoptimalkan AI/ML jaringan di Amazon EKS untuk meningkatkan kinerja dan skalabilitas, termasuk strategi seperti memilih instans dengan bandwidth jaringan yang lebih tinggi atau Elastic Fabric Adapter (EFA) untuk pelatihan terdistribusi, menginstal alat seperti MPI dan NCCL, dan memungkinkan delegasi awalan untuk meningkatkan alamat IP dan meningkatkan waktu peluncuran pod.

AI/ML Keamanan

Bagian ini berfokus pada pengamanan penyimpanan data dan memastikan kepatuhan terhadap AI/ML beban kerja di Amazon EKS, termasuk praktik seperti menggunakan Amazon S3 AWS dengan Key Management Service (KMS) untuk enkripsi sisi server SSE-KMS (), mengonfigurasi bucket dengan kunci KMS regional dan Kunci Bucket S3 untuk mengurangi biaya, memberikan izin IAM untuk tindakan KMS seperti dekripsi ke pod EKS, dan audit dengan log. AWS CloudTrail

AI/ML Penyimpanan

Bagian ini memberikan praktik terbaik untuk mengoptimalkan penyimpanan dalam AI/ML beban kerja di Amazon EKS, termasuk praktik seperti menerapkan model menggunakan driver CSI untuk memasang layanan seperti S3, FSx for Lustre, atau EFS sebagai Volume Persisten, memilih penyimpanan berdasarkan kebutuhan beban kerja (misalnya, FSx for Lustre untuk pelatihan terdistribusi dengan opsi seperti atau), dan mengaktifkan fitur seperti kompresi data dan striksi ping. Scratch-SSD Persistent-SSD

AI/ML Observabilitas

Bagian ini berfokus pada pemantauan dan pengoptimalan pemanfaatan GPU untuk AI/ML beban kerja di Amazon EKS guna meningkatkan efisiensi dan mengurangi biaya, termasuk strategi seperti menargetkan penggunaan GPU tinggi dengan alat CloudWatch seperti Container Insights dan NVIDIA yang terintegrasi DCGM-Exporter dengan Prometheus dan Grafana, dan metrik yang kami sarankan untuk menganalisis beban kerja Anda. AI/ML

AI/ML Kinerja

Bagian ini berfokus pada peningkatan penskalaan aplikasi dan kinerja untuk beban AI/ML kerja di Amazon EKS melalui manajemen gambar kontainer dan pengoptimalan startup, termasuk praktik seperti menggunakan gambar dasar ringan kecil atau AWS Deep Learning Containers dengan build multi-tahap, pramuat gambar melalui snapshot EBS atau pra-penarikan ke cache runtime menggunakan atau Deployment. DaemonSets

Arsitektur Referensi

Jelajahi GitHub repositori ini untuk arsitektur referensi, kode sampel, dan utilitas untuk menerapkan pelatihan terdistribusi dan inferensi untuk beban kerja AI/ML di Amazon EKS dan layanan lainnya. AWS

AWSome Pelatihan Terdistribusi

Repositori ini menawarkan kumpulan praktik terbaik, arsitektur referensi, contoh pelatihan model, dan utilitas untuk melatih model besar. AWS Ini mendukung pelatihan terdistribusi dengan Amazon EKS, termasuk CloudFormation template untuk kluster EKS, AMI kustom dan build kontainer, kasus uji untuk kerangka kerja seperti PyTorch (, MegatronLMDDP/FSDP, NeMo) dan JAX, dan alat untuk validasi, observabilitas, dan pemantauan kinerja seperti eksportir EFA Prometheus dan Nvidia Nsight Systems.

Inferensi AWSome

Repositori ini menyediakan arsitektur referensi dan kasus pengujian untuk mengoptimalkan solusi inferensi AWS, dengan fokus pada Amazon EKS dan instans EC2 yang dipercepat. Ini mencakup pengaturan infrastruktur untuk cluster VPC dan EKS, proyek untuk kerangka kerja seperti NVIDIA NIMS,, Triton Inference Server, dan TensorRT-LLM, dengan contoh untuk model seperti dan RayService Llama 3.1 405B. Llama3-8B Menampilkan penerapan multi-node menggunakan K8 LeaderWorkerSet, EKS autoscaling, Multi-Instance GPU (MIG), dan kasus penggunaan kehidupan nyata seperti bot audio untuk ASR, inferensi, dan TTS.

Tutorial

Jika Anda tertarik untuk menyiapkan platform dan kerangka kerja Machine Learning di EKS, jelajahi tutorial yang dijelaskan di bagian ini. Tutorial ini mencakup segala sesuatu mulai dari pola untuk memanfaatkan prosesor GPU sebaik-baiknya hingga memilih alat pemodelan hingga membangun kerangka kerja untuk industri khusus.

Bangun platform AI generatif di EKS

Jalankan kerangka kerja AI generatif khusus di EKS

Maksimalkan kinerja GPU NVIDIA untuk ML di EKS

Jalankan beban kerja pengkodean video di EKS

Mempercepat pemuatan gambar untuk beban kerja inferensi

Memantau beban kerja ML