View a markdown version of this page

Terapkan model untuk inferensi - Amazon SageMaker AI
Memilih fitur

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Terapkan model untuk inferensi

Dengan Amazon SageMaker AI, Anda dapat mulai mendapatkan prediksi, atau kes impulan, dari model pembelajaran mesin terlatih Anda. SageMaker AI menyediakan berbagai pilihan infrastruktur ML dan opsi penerapan model untuk membantu memenuhi semua kebutuhan inferensi ML Anda. Dengan SageMaker AI Inference, Anda dapat meningkatkan skala penerapan model, mengelola model secara lebih efektif dalam produksi, dan mengurangi beban operasional. SageMaker AI memberi Anda berbagai opsi inferensi, seperti titik akhir real-time untuk mendapatkan inferensi latensi rendah, titik akhir tanpa server untuk infrastruktur yang dikelola sepenuhnya dan penskalaan otomatis, dan titik akhir asinkron untuk kumpulan permintaan. Dengan memanfaatkan opsi inferensi yang sesuai untuk kasus penggunaan Anda, Anda dapat memastikan penerapan dan inferensi model yang efisien.

Memilih fitur

Ada beberapa kasus penggunaan untuk menerapkan model ML dengan SageMaker AI. Bagian ini menjelaskan kasus penggunaan tersebut, serta fitur SageMaker AI yang kami rekomendasikan untuk setiap kasus penggunaan.

Kasus penggunaan

Berikut ini adalah kasus penggunaan utama untuk menerapkan model ML dengan SageMaker AI.

  • Kasus penggunaan 1: Menerapkan model pembelajaran mesin di lingkungan kode rendah atau tanpa kode. Untuk pemula atau yang baru mengenal SageMaker AI, Anda dapat menerapkan model pra-terlatih menggunakan Amazon SageMaker JumpStart melalui antarmuka Amazon SageMaker Studio, tanpa perlu konfigurasi yang rumit.

  • Kasus penggunaan 2: Gunakan kode untuk menerapkan model pembelajaran mesin dengan lebih banyak fleksibilitas dan kontrol. Praktisi ML berpengalaman dapat menerapkan model mereka sendiri dengan pengaturan khusus untuk kebutuhan aplikasi mereka menggunakan ModelBuilder kelas di SageMaker AI Python SDK, yang memberikan kontrol halus atas berbagai pengaturan, seperti jenis instance, isolasi jaringan, dan alokasi sumber daya.

  • Kasus penggunaan 3: Terapkan model pembelajaran mesin dalam skala besar. Untuk pengguna dan organisasi tingkat lanjut yang ingin mengelola model dalam skala besar dalam produksi, gunakan AWS SDK for Python (Boto3) dan CloudFormation bersama dengan Infrastructure as Code (IAc) yang Anda inginkan dan CI/CD alat untuk menyediakan sumber daya dan mengotomatiskan manajemen sumber daya.

Tabel berikut menjelaskan pertimbangan utama dan pertukaran untuk fitur SageMaker AI yang sesuai dengan setiap kasus penggunaan.

Kasus penggunaan 1 Kasus penggunaan 2 Kasus penggunaan 3
SageMaker Fitur AI Gunakan JumpStart di Studio untuk mempercepat penerapan model dasar Anda. Menyebarkan model menggunakan ModelBuilder dari SageMaker Python SDK. Menyebarkan dan mengelola model dalam skala besar dengan CloudFormation.
Deskripsi Gunakan UI Studio untuk menerapkan model pra-terlatih dari katalog ke titik akhir inferensi yang telah dikonfigurasi sebelumnya. Opsi ini sangat ideal untuk ilmuwan data warga, atau bagi siapa saja yang ingin menerapkan model tanpa mengkonfigurasi pengaturan yang rumit. Gunakan ModelBuilder kelas dari Amazon SageMaker AI Python SDK untuk menerapkan model Anda sendiri dan mengonfigurasi pengaturan penerapan. Opsi ini sangat ideal untuk ilmuwan data berpengalaman, atau bagi siapa saja yang memiliki model sendiri untuk diterapkan dan membutuhkan kontrol yang halus. Gunakan CloudFormation dan Infrastruktur sebagai Kode (IAc) untuk kontrol terprogram dan otomatisasi untuk menyebarkan dan mengelola SageMaker model AI. Opsi ini sangat ideal untuk pengguna tingkat lanjut yang membutuhkan penerapan yang konsisten dan berulang.
Dioptimalkan untuk Penerapan model open source populer yang cepat dan efisien Menyebarkan model Anda sendiri Manajemen model yang berkelanjutan dalam produksi
Pertimbangan-pertimbangan Kurangnya penyesuaian untuk pengaturan kontainer dan kebutuhan aplikasi tertentu Tidak ada UI, mengharuskan Anda merasa nyaman mengembangkan dan memelihara kode Python Membutuhkan manajemen infrastruktur dan sumber daya organisasi, dan juga membutuhkan keakraban dengan AWS SDK for Python (Boto3) atau dengan CloudFormation template.
Lingkungan yang direkomendasikan Dom SageMaker ain AI Lingkungan pengembangan Python yang dikonfigurasi dengan AWS kredenSIAL Anda dan SageMaker Python SDK diinstal, atau IDE SageMaker AI seperti SageMaker JupyterLab Lingkungan pembangunan lokal AWS CLI, dan Infrastruktur sebagai Kode (IAc) dan alat CI/CD

Opsi tambahan

SageMaker AI menyediakan berbagai opsi untuk kasus penggunaan inferensi Anda, memberi Anda pilihan atas luasnya teknis dan kedalaman penerapan Anda:

  • Menyebarkan model ke titik akhir. Saat menerapkan model Anda, pertimbangkan opsi berikut:

    • Real-time inferensi. Real-time inferensi sangat ideal untuk beban kerja inferensi di mana Anda memiliki persyaratan latensi rendah yang interaktif.

    • Terapkan model dengan Amazon SageMaker Serverless Inference. Gunakan Inferensi Tanpa Server untuk menerapkan model tanpa mengonfigurasi atau mengelola infrastruktur yang mendasarinya. Opsi ini sangat ideal untuk beban kerja yang memiliki periode idle antara semburan lalu lintas dan dapat mentolerir start dingin.

    • Inferensi asinkron. Mengantri permintaan masuk dan memprosesnya secara asinkron. Opsi ini ideal untuk permintaan dengan ukuran muatan besar (hingga 1GB), waktu pemrosesan yang lama (hingga satu jam), dan persyaratan latensi hampir real-time.

  • Optimalisasi biaya. Untuk mengoptimalkan biaya inferensi Anda, pertimbangkan opsi berikut:

    • Optimalisasi kinerja model dengan SageMaker Neo. Gunakan SageMaker Neo untuk mengoptimalkan dan menjalankan model pembelajaran mesin Anda dengan kinerja dan efisiensi yang lebih baik, membantu Anda meminimalkan biaya komputasi dengan secara otomatis mengoptimalkan model untuk dijalankan di lingkungan seperti chip AWS Inferentia.

    • Penskalaan otomatis model Amazon SageMaker AI. Gunakan penskalaan otomatis untuk menyesuaikan sumber daya komputasi secara dinamis untuk titik akhir berdasarkan pola lalu lintas masuk, yang membantu Anda mengoptimalkan biaya dengan hanya membayar sumber daya yang Anda gunakan pada waktu tertentu.