View a markdown version of this page

Ikhtisar Kecerdasan Buatan dan Machine Learning di Amazon EKS - Amazon EKS
Mengapa menggunakan Amazon EKS untuk AI/MLKasus penggunaan kunciStudi kasusStruktur panduanMulai gunakan AI/ML di Amazon EKS

Bantu tingkatkan halaman ini

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Untuk berkontribusi pada panduan pengguna ini, pilih Edit halaman ini pada GitHub tautan yang terletak di panel kanan setiap halaman.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Ikhtisar Kecerdasan Buatan dan Machine Learning di Amazon EKS

Tip

Daftar untuk AI/ML lokakarya Amazon EKS mendatang.

Amazon Elastic Kubernetes Service (Amazon EKS) adalah layanan Kubernetes terkelola yang memberdayakan organisasi untuk menyebarkan, mengelola, dan menskalakan beban kerja kecerdasan buatan (AI) dan pembelajaran mesin (ML) dengan fleksibilitas dan kontrol yang tak tertandingi. Karena Amazon EKS dibangun di atas Kubernetes hulu, Anda dapat menerapkan keahlian Kubernetes yang ada sambil berintegrasi secara mulus dengan alat dan layanan open source. AWS

Baik Anda melatih model skala besar, menjalankan inferensi online real-time, atau menerapkan aplikasi AI generatif, Amazon EKS memberikan kinerja, skalabilitas, dan efisiensi biaya yang diminta proyek Anda. AI/ML

Mengapa menggunakan Amazon EKS untuk AI/ML

Amazon EKS menyediakan kontrol, integrasi, kinerja, dan skalabilitas yang diperlukan untuk AI/ML proyek. Dibangun di atas Kubernetes hulu dan terintegrasi dengan layanan AWS , Amazon EKS membantu Anda menggunakan keahlian Kubernetes yang ada saat mengatur beban kerja yang kompleks. Untuk tim yang baru mengenal AI/ML penerapan, keterampilan Kubernetes yang ada ditransfer tanpa kurva pembelajaran yang curam.

Amazon EKS mendukung segala hal mulai dari penyesuaian sistem operasi hingga penskalaan komputasi, dan mempromosikan fleksibilitas teknologi yang mempertahankan pilihan untuk keputusan infrastruktur masa depan. Platform ini menyediakan opsi kinerja dan penyetelan yang dibutuhkan AI/ML beban kerja, termasuk fitur-fitur berikut:

  • Kontrol cluster penuh: Fine-tune biaya dan konfigurasi tanpa abstraksi tersembunyi.

  • Sub-second latency: Jalankan beban kerja inferensi real-time dalam produksi.

  • Kustomisasi lanjutan: Konfigurasikan GPU multi-instance, penyetelan jaringan, dan penyetelan tingkat sistem operasi.

  • Orkestrasi terpadu: Mengorkestrasi lintas AI/ML jaringan pipa dan lingkungan lokal, tepi, dan cloud.

  • Optimalisasi biaya: Gunakan penskalaan otomatis, penjadwalan GPU asli, dan beragam jenis instans GPU dan akselerator.

Kasus penggunaan kunci

Amazon EKS mendukung berbagai AI/ML beban kerja, termasuk kasus penggunaan umum berikut:

  • Inferensi: Self-host model di Amazon EKS untuk kasus penggunaan yang memerlukan waktu respons latensi rendah.

  • Inferensi Batch: Memproses kumpulan data besar secara efisien melalui pekerjaan terjadwal.

  • Pelatihan model: Latih model kompleks pada kumpulan data besar selama periode waktu yang lama.

  • Model fine-tuning: Tingkatkan model open source dengan pengetahuan domain eksklusif.

  • Pipeline retrieval augmented generation (RAG): Mengintegrasikan proses pengambilan dan pembuatan.

  • Agentic AI: Menyebarkan agen dengan model yang dihosting di Amazon Bedrock, pihak ketiga, atau di Amazon EKS.

Studi kasus

Pelanggan memilih Amazon EKS karena berbagai alasan, seperti mengoptimalkan penggunaan GPU atau menjalankan beban kerja inferensi dengan latensi sub-detik, seperti yang ditunjukkan dalam studi kasus berikut. Untuk daftar semua studi kasus untuk Amazon EKS, lihat Kisah Sukses AWS Pelanggan.

  • BMW Group mengoperasikan salah satu armada terhubung terbesar di dunia, dengan lebih dari 25 juta kendaraan yang terhubung, membangun Platform AI Terhubung di Amazon EKS dengan Ray untuk pelatihan terdistribusi dan Karpenter untuk penskalaan otomatis GPU, mengurangi waktu pelatihan model dari jam menjadi 30 menit dengan harga €5 per pelatihan berjalan sambil mendukung 550+ pengembang di 60+ kasus penggunaan AI.

  • Booking.com, salah satu platform perjalanan terkemuka di dunia, memigrasikan sistem inferensi peringkat pencariannya ke Amazon EKS untuk membuka skalabilitas untuk eksperimen, memproses hingga 250K permintaan per detik dengan latensi 40 ms p99.9.

  • Unitary memproses 26 juta video setiap hari menggunakan AI untuk moderasi konten. Perusahaan membutuhkan throughput tinggi, inferensi latensi rendah dan mencapai pengurangan 80% dalam waktu boot kontainer, yang memastikan respons cepat terhadap peristiwa penskalaan saat lalu lintas berfluktuasi.

  • Synthesia menawarkan pembuatan video AI generatif sebagai layanan bagi pelanggan untuk membuat video realistis dari petunjuk teks. Perusahaan mencapai peningkatan 30x dalam throughput pelatihan model ML.

  • Ada Support, sebuah perusahaan otomatisasi layanan AI-powered pelanggan, mencapai pengurangan 15% dalam biaya komputasi di samping peningkatan 30% dalam efisiensi komputasi.

  • Snorkel AI melengkapi perusahaan untuk membangun dan mengadaptasi model pondasi dan model bahasa besar. Perusahaan mencapai penghematan biaya lebih dari 40% dengan menerapkan mekanisme penskalaan cerdas untuk sumber daya GPU.

  • Artera menggunakan Amazon Elastic File System (Amazon EFS) dan Amazon EKS untuk melatih model ML yang mempersonalisasi pengobatan kanker menggunakan gambar biopsi resolusi tinggi.

  • Anthropic menjalankan keluarga model yayasan Claude andalan mereka di Amazon EKS dan mengoperasikan beberapa kluster EKS terbesar dalam produksi, yang terdiri dari instance AWS Trainium (trn2) dan GPU NVIDIA untuk beban kerja AI bersama prosesor Graviton untuk pemrosesan data intensif CPU. AWS

Struktur panduan

Panduan ini mencakup serangkaian panduan langsung yang dapat Anda ikuti langkah demi langkah untuk menerapkan dan mengelola AI/ML beban kerja di Amazon EKS. Setiap panduan memberikan instruksi dan konfigurasi yang dapat Anda terapkan langsung di lingkungan Anda.

Di samping instruksi, panduan ini memberikan latar belakang yang diperlukan dan konsep dasar untuk setiap topik. Ini juga mencakup tautan ke AWS dokumentasi dan sumber daya yang relevan untuk detail teknis yang lebih dalam yang diperlukan.

Mulai gunakan AI/ML di Amazon EKS

Untuk mulai merencanakan dan menggunakan AI/ML platform dan beban kerja di Amazon EKS, ikuti Siapkan klaster Amazon EKS untuk beban AI/ML kerja bagian untuk membuat klaster Amazon EKS, termasuk komponen Kubernetes yang diperlukan, di akun Anda. AWS Setelah lingkungan Anda aktif dan berjalan, Anda dapat melanjutkan ke langkah berikutnya: