Pilih preferensi cookie Anda

Kami menggunakan cookie penting serta alat serupa yang diperlukan untuk menyediakan situs dan layanan. Kami menggunakan cookie performa untuk mengumpulkan statistik anonim sehingga kami dapat memahami cara pelanggan menggunakan situs dan melakukan perbaikan. Cookie penting tidak dapat dinonaktifkan, tetapi Anda dapat mengklik “Kustom” atau “Tolak” untuk menolak cookie performa.

Jika Anda setuju, AWS dan pihak ketiga yang disetujui juga akan menggunakan cookie untuk menyediakan fitur situs yang berguna, mengingat preferensi Anda, dan menampilkan konten yang relevan, termasuk iklan yang relevan. Untuk menerima atau menolak semua cookie yang tidak penting, klik “Terima” atau “Tolak”. Untuk membuat pilihan yang lebih detail, klik “Kustomisasi”.

Sumber daya untuk menggunakan Triton Inference Server dengan Amazon AI SageMaker

Mode fokus
Sumber daya untuk menggunakan Triton Inference Server dengan Amazon AI SageMaker - Amazon SageMaker AI

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

SageMaker AI memungkinkan pelanggan untuk menerapkan model menggunakan kode khusus dengan NVIDIA Triton Inference Server. Gunakan sumber daya berikut untuk mempelajari cara menggunakan Triton Inference Server dengan AI. SageMaker

Fungsi ini tersedia melalui pengembangan Triton Inference Server Containers. Wadah ini termasuk NVIDIA Triton Inference Server, dukungan untuk kerangka kerja MS umum, dan variabel lingkungan berguna yang memungkinkan Anda mengoptimalkan kinerja pada AI. SageMaker Untuk daftar semua gambar Deep Learning Containers yang tersedia, lihat Gambar Deep Learning Containers yang Tersedia. Gambar Deep Learning Containers dipertahankan dan diperbarui secara berkala dengan patch keamanan.

Anda dapat menggunakan Triton Inference Server Container dengan SageMaker Python SDK seperti halnya wadah lain dalam model AI Anda. SageMaker Namun, menggunakan SageMaker Python SDK adalah opsional. Anda dapat menggunakan Triton Inference Server Containers dengan dan. AWS CLI AWS SDK untuk Python (Boto3)

Untuk informasi lebih lanjut tentang NVIDIA Triton Inference Server lihat dokumentasi Triton.

Inferensi

catatan

Backend Triton Python menggunakan memori bersama (SHMEM) untuk menghubungkan kode Anda ke Triton. SageMaker AI Inference menyediakan hingga setengah dari memori instans sebagai SHMEM sehingga Anda dapat menggunakan instance dengan lebih banyak memori untuk ukuran SHMEM yang lebih besar.

Untuk inferensi, Anda dapat menggunakan model MLmu yang terlatih dengan Triton Inference Server untuk menerapkan pekerjaan inferensi dengan AI. SageMaker

Beberapa fitur utama dari Triton Inference Server Container adalah:

  • Support untuk beberapa kerangka kerja: Triton dapat digunakan untuk menyebarkan model dari semua kerangka kerja MS utama. Triton mendukung TensorFlow GraphDef dan SavedModel, ONNX,, PyTorch TorchScript TensorRT, dan format model Python/C++ kustom.

  • Pipa model: Ansambel model Triton mewakili pipa dari satu model dengan logika pemrosesan pra/pasca dan koneksi tensor input dan output di antara keduanya. Permintaan inferensi tunggal ke ansambel memicu eksekusi seluruh pipeline.

  • Eksekusi model bersamaan: Beberapa instance dari model yang sama dapat berjalan secara bersamaan pada GPU yang sama atau pada beberapa. GPUs

  • Batching dinamis: Untuk model yang mendukung batching, Triton memiliki beberapa algoritma penjadwalan dan batching bawaan yang menggabungkan permintaan inferensi individu bersama-sama untuk meningkatkan throughput inferensi. Keputusan penjadwalan dan batching ini transparan bagi klien yang meminta inferensi.

  • Dukungan CPU dan GPU yang beragam: Model dapat dijalankan pada CPUs atau GPUs untuk fleksibilitas maksimum dan untuk mendukung persyaratan komputasi heterogen.

Apa yang ingin kau lakukan?

Saya ingin menerapkan PyTorch model terlatih saya di SageMaker AI.

Untuk contoh Notebook Jupyter, lihat contoh Menerapkan model PyTorch Resnet50 Anda dengan Triton Inference Server contoh.

Saya ingin menerapkan model Hugging Face terlatih saya di AI. SageMaker

Untuk contoh Notebook Jupyter, lihat contoh Menerapkan model PyTorch BERT Anda dengan Triton Inference Server contoh.

PrivasiSyarat situsPreferensi cookie
© 2025, Amazon Web Services, Inc. atau afiliasinya. Semua hak dilindungi undang-undang.