Rekomendasi SageMaker Inferensi Amazon - Amazon SageMaker
Cara kerjanyaCara MemulaiNotebook contoh

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Rekomendasi SageMaker Inferensi Amazon

Amazon SageMaker Inference Recommender adalah kemampuan Amazon SageMaker yang mengurangi waktu yang diperlukan untuk mendapatkan model machine learning (ML) dalam produksi dengan mengotomatiskan pengujian beban dan penyetelan model di seluruh instans ML. SageMaker Anda dapat menggunakan Inference Recommender untuk menyebarkan model Anda ke titik akhir inferensi real-time atau tanpa server yang memberikan kinerja terbaik dengan biaya terendah. Inference Recommender membantu Anda memilih jenis dan konfigurasi instans terbaik (seperti jumlah instans, parameter kontainer, dan pengoptimalan model) atau konfigurasi tanpa server (seperti konkurensi maks dan ukuran memori) untuk model dan beban kerja MLmu.

Amazon SageMaker Inference Recommender hanya menagih Anda untuk instans yang digunakan saat pekerjaan Anda dijalankan.

Cara kerjanya

Untuk menggunakan Amazon SageMaker Inference Recommender, Anda dapat membuat SageMaker model atau mendaftarkan model ke registri model dengan SageMaker artefak model Anda. Gunakan AWS SDK for Python (Boto3) atau SageMaker konsol untuk menjalankan tugas benchmarking untuk konfigurasi SageMaker titik akhir yang berbeda. Pekerjaan Inference Recommender membantu Anda mengumpulkan dan memvisualisasikan metrik di seluruh kinerja dan pemanfaatan sumber daya untuk membantu Anda memutuskan jenis dan konfigurasi titik akhir mana yang akan dipilih.

Cara Memulai

Jika Anda adalah pengguna pertama kali Amazon SageMaker Inference Recommender, kami sarankan Anda melakukan hal berikut:

  1. Baca Prasyarat bagian untuk memastikan Anda telah memenuhi persyaratan untuk menggunakan Amazon SageMaker Inference Recommender.

  2. Baca Lowongan kerja rekomendasi bagian untuk meluncurkan pekerjaan rekomendasi Inference Recommender pertama Anda.

  3. Jelajahi contoh buku catatan pengantar Amazon SageMaker Inference Recommender Jupyter, atau tinjau contoh buku catatan di bagian berikut.

Notebook contoh

Contoh notebook Jupyter berikut dapat membantu Anda dengan alur kerja untuk beberapa kasus penggunaan di Inference Recommender:

  • Jika Anda menginginkan buku catatan pengantar yang membandingkan TensorFlow model, lihat buku catatan SageMaker Inference Recommender. TensorFlow

  • Jika Anda ingin melakukan benchmark HuggingFace model, lihat SageMaker Inference Recommender untuk notebook. HuggingFace

  • Jika Anda ingin membandingkan model XGBoost, lihat notebook SageMaker Inference Recommender XGBoost.

  • Jika Anda ingin meninjau CloudWatch metrik untuk pekerjaan Inference Recommender, lihat buku catatan metrik SageMaker Inference Recommender. CloudWatch