Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Fitur Wadah Inferensi

Wadah SageMaker inferensi Amazon Nova menyertakan serangkaian fitur yang dapat Anda aktifkan untuk menyesuaikan perilaku model selama inferensi. Setiap fitur diperkenalkan dalam versi wadah tertentu dan mungkin memerlukan variabel lingkungan, parameter permintaan, atau keduanya untuk mengaktifkan.

Halaman ini mencantumkan fitur yang tersedia dalam wadah inferensi, menjelaskan cara mengaktifkan masing-masing, dan mengidentifikasi versi wadah di mana fitur diperkenalkan. Gunakan referensi ini untuk menentukan fitur mana yang tersedia untuk penerapan Anda dan cara mengonfigurasinya.

Fitur yang diaktifkan melalui variabel lingkungan diatur saat Anda membuat SageMaker model atau konfigurasi titik akhir. Sertakan mereka dalam Environment parameter panggilan CreateModel API. Fitur yang diaktifkan melalui parameter permintaan diatur per pemanggilan di badan permintaan.

Ringkasan fitur

Tabel berikut memberikan referensi singkat dari semua fitur yang didukung dalam wadah SageMaker inferensi Amazon Nova.

Suhu default

Menetapkan suhu sampling default untuk semua permintaan inferensi yang dikirim ke titik akhir. Suhu mengontrol seberapa acak atau dapat diprediksi output model. Nilai 0 membuat model selalu memilih kata berikutnya yang paling mungkin, menghasilkan output yang konsisten dan berulang. Nilai yang lebih tinggi (hingga2) membuat model lebih bersedia memilih kata-kata yang kurang mungkin, menghasilkan tanggapan yang lebih kreatif dan bervariasi.

Kapan menggunakan: Tur unkan suhu (misalnya, 0.1 ke0.3) untuk tugas yang membutuhkan jawaban faktual dan konsisten seperti klasifikasi atau ekstraksi data. Tingkatkan (misalnya, 0.7 ke1.0) untuk tugas-tugas kreatif seperti menulis cerita atau brainstorming. Suhu bekerja bersama dengan top-p dan top-k — ketiganya mengontrol bagaimana model memilih token, dan Anda dapat menggabungkannya untuk menyempurnakan perilaku keluaran.

Variabel lingkungan

"Environment": {
    "DEFAULT_TEMPERATURE": "0.7"
}

Top-p default

Menetapkan nilai top-p default untuk semua permintaan inferensi. Top-p mengontrol keragaman keluaran dengan membatasi pilihan model ke subset dari kata-kata yang paling mungkin. Secara khusus, model mengurutkan semua kemungkinan kata berikutnya berdasarkan probabilitas dan hanya mempertimbangkan kelompok terkecil yang probabilitas gabungannya mencapai nilai top-p. Misalnya, top-p 0.9 berarti model hanya mempertimbangkan kata-kata yang bersama-sama menyumbang 90% dari probabilitas, mengabaikan opsi yang tidak mungkin tersisa.

Kapan menggunakan: Gunakan nilai top-p yang lebih rendah (misalnya,0.5) untuk membuat model tetap pada kata-kata dengan keyakinan tinggi, menghasilkan output yang lebih terfokus. Gunakan nilai yang lebih tinggi (misalnya,0.95) untuk memungkinkan lebih banyak variasi. Top-p sering digunakan sebagai alternatif suhu — keduanya mengontrol keragaman output, tetapi top-p beradaptasi secara dinamis berdasarkan kepercayaan model pada setiap langkah. Anda dapat menggunakan keduanya bersama-sama, dalam hal ini model menerapkan batasan mana pun yang lebih membatasi pada setiap langkah.

Variabel lingkungan

"Environment": {
    "DEFAULT_TOP_P": "0.9"
}

Standar top-k

Menetapkan nilai top-k default untuk semua permintaan inferensi. Top-k membatasi pilihan model ke jumlah tetap dari kata-kata berikutnya yang paling mungkin. Misalnya, top-k 50 berarti model hanya mempertimbangkan 50 kata yang paling mungkin pada setiap langkah, terlepas dari probabilitas masing-masing. Nilai menonaktifkan -1 batas ini, memungkinkan model untuk mempertimbangkan semua kata yang mungkin.

Kapan menggunakan: Gunakan top-k ketika Anda ingin batas keras pada jumlah pilihan kata yang dipertimbangkan model. Nilai yang lebih rendah (misalnya,10) menghasilkan output yang lebih dapat diprediksi, sementara nilai yang lebih tinggi memungkinkan lebih banyak variasi. Top-k dapat dikombinasikan dengan suhu dan top-p - ketika beberapa kontrol pengambilan sampel aktif, model menerapkan semuanya, menggunakan mana yang paling membatasi pada setiap langkah.

Variabel lingkungan

"Environment": {
    "DEFAULT_TOP_K": "50"
}

Token baru maksimum default

Menetapkan jumlah maksimum token default (kata atau potongan kata) yang dihasilkan model dalam respons. Nilai ini berlaku untuk semua permintaan kecuali diganti. Gunakan ini untuk mengontrol panjang respons dan mengelola biaya di seluruh titik akhir Anda.

Kapan menggunakan: Tet apkan ini saat Anda ingin menerapkan panjang respons maksimum yang konsisten di semua permintaan. Misalnya, atur untuk tugas jawaban 256 singkat atau 2048 untuk pembuatan konten yang lebih lama. Nilai maksimum yang diizinkan tergantung pada CONTEXT_LENGTH konfigurasi untuk titik akhir Anda, karena token input ditambah token keluaran tidak dapat melebihi panjang konteks.

Variabel lingkungan

"Environment": {
    "DEFAULT_MAX_NEW_TOKENS": "512"
}

Logprobs default

Menetapkan jumlah default probabilitas log untuk dikembalikan untuk setiap token yang dihasilkan. Probabilitas log adalah skor numerik yang menunjukkan seberapa yakin model dalam memilih setiap kata. Saat diaktifkan, respons menyertakan skor ini untuk setiap token keluaran, yang berguna untuk mengevaluasi kepercayaan model, membandingkan pilihan kata alternatif, dan perilaku pembuatan debugging.

Kapan menggunakan: Aktifkan logprobs saat Anda perlu menilai seberapa yakin model dalam outputnya — misalnya, untuk menandai respons kepercayaan rendah untuk tinjauan manusia, atau untuk membandingkan kemungkinan penyelesaian yang berbeda. Mengaktifkan logprobs dapat sedikit meningkatkan latensi respons dan ukuran muatan respons.

Variabel lingkungan

"Environment": {
    "DEFAULT_LOGPROBS": "5"
}

Penguraian kode spekulatif Eagle3

Eagle3 decoding spekulatif adalah teknik pengoptimalan yang mempercepat pembuatan teks. Ini bekerja dengan menggunakan model draf yang lebih kecil dan lebih cepat untuk memprediksi beberapa token ke depan, kemudian memeriksa prediksi tersebut terhadap model utama dalam satu langkah. Ketika prediksi benar, model secara efektif menghasilkan beberapa token dalam waktu yang biasanya diperlukan untuk menghasilkannya. Model utama selalu memverifikasi draf token, sehingga output akhir identik dengan apa yang akan dihasilkan model utama sendiri — hanya perubahan kecepatan, bukan kualitasnya.

Kapan menggunakan: Penguraian kode spekulatif Eagle3 diaktifkan secara default dan menguntungkan sebagian besar beban kerja. Pertimbangkan untuk menonaktifkannya hanya jika Anda mengamati perilaku yang tidak terduga atau perlu mengisolasi karakteristik kinerja selama debugging.

Variabel lingkungan

Contoh berikut menonaktifkan decoding spekulatif Eagle3:

"Environment": {
    "DISABLE_SPECULATIVE_DECODING": "true"
}

Jenis data cache KV

Menetapkan tipe data untuk cache nilai kunci (KV) yang digunakan selama inferensi. Cache KV menyimpan memori model token sebelumnya dalam percakapan, memungkinkannya menghasilkan setiap token baru tanpa memproses ulang seluruh input. Untuk urutan yang panjang, cache ini dapat mengkonsumsi memori GPU yang signifikan. Mengatur cache KV ke tipe data presisi rendah seperti FP8 mengurangi penggunaan memori dan dapat meningkatkan throughput, dengan mengorbankan perbedaan numerik kecil dalam output.

Kapan menggunakan: Aktifkan cache FP8 KV saat Anda perlu mendukung panjang konteks yang lebih panjang atau konkurensi yang lebih tinggi pada instans Anda. Ini sangat berguna pada instans GPU dengan memori terbatas. Uji kasus penggunaan Anda untuk memverifikasi bahwa kualitas output memenuhi persyaratan Anda, karena presisi yang lebih rendah dapat menghasilkan hasil yang sedikit berbeda.

Variabel lingkungan

"Environment": {
    "KV_CACHE_DTYPE": "fp8"
}

Kuantisasi

Menetapkan tipe data kuantisasi untuk bobot model. Kuantisasi memampatkan bobot model ke dalam format presisi lebih rendah (FP8 alih-alih presisi default yang lebih tinggi), yang mengurangi jumlah memori GPU yang dibutuhkan model. Ini dapat meningkatkan throughput inferensi dan memungkinkan model yang lebih besar agar sesuai dengan jenis instans yang lebih kecil, dengan dampak minimal pada kualitas keluaran.

Kapan menggunakan: Gunakan kuantisasi FP8 ketika Anda ingin mengurangi penggunaan memori untuk mendukung konkurensi yang lebih tinggi atau menyesuaikan model pada jenis instance yang lebih kecil. Perhatikan bahwa beberapa kombinasi tipe model dan instance memerlukan kuantisasi FP8 secara otomatis — lihat peringatan di bawah ini.

Variabel lingkungan

"Environment": {
    "QUANTIZATION_DTYPE": "fp8"
}

Jumlah token spekulatif

Mengontrol berapa banyak token yang diprediksi model draf ke depan selama setiap langkah decoding spekulatif Eagle3. Nilai yang lebih tinggi berarti draf model mencoba memprediksi lebih banyak token sekaligus, yang dapat meningkatkan throughput ketika prediksi akurat. Jika prediksi rancangan model sering menyimpang dari model utama, nilai yang lebih rendah mungkin lebih efisien.

Kapan menggunakan: Ting katkan nilai ini saat beban kerja Anda menghasilkan pola keluaran yang dapat diprediksi (misalnya, data terstruktur atau teks templat) di mana model draf cenderung menebak dengan benar. Kurangi untuk output kreatif atau sangat bervariasi di mana prediksi kurang dapat diandalkan.

Variabel lingkungan

"Environment": {
    "NUM_SPECULATIVE_TOKENS": "5"
}

Penguraian akhiran

Penguraian akhiran adalah metode alternatif untuk mempercepat pembuatan teks. Alih-alih menggunakan model draf terpisah (seperti yang dilakukan Eagle3), decoding akhiran mencari pola berulang dalam teks yang telah dihasilkan atau di prompt input, dan menggunakan kembali pola-pola tersebut untuk memprediksi token masa depan. Pendekatan ini bekerja dengan baik ketika output cenderung berisi frasa berulang, format terstruktur, atau konten yang mencerminkan input.

Kapan menggunakan: Gunakan decoding akhiran untuk tugas di mana output berisi pola berulang, seperti menghasilkan data terstruktur, mengisi templat, atau meringkas konten yang menggunakan kembali frasa dari sumbernya. Untuk generasi tujuan umum di mana output sangat bervariasi, metode Eagle3 default biasanya memberikan throughput yang lebih baik.

Variabel lingkungan

"Environment": {
    "SPECULATIVE_DECODING_METHOD": "suffix"
}