View a markdown version of this page

Rekayasa cepat untuk model pondasi - Amazon SageMaker AI
Zero-shot belajarFew-shot belajarParameter inferensi yang didukung

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Rekayasa cepat untuk model pondasi

Rekayasa cepat adalah proses merancang dan menyempurnakan petunjuk atau rangsangan input untuk model bahasa untuk menghasilkan jenis output tertentu. Rekayasa cepat melibatkan pemilihan kata kunci yang tepat, memberikan konteks, dan membentuk input dengan cara yang mendorong model untuk menghasilkan respons yang diinginkan dan merupakan teknik penting untuk secara aktif membentuk perilaku dan output model pondasi.

Rekayasa cepat yang efektif sangat penting untuk mengarahkan perilaku model dan mencapai respons yang diinginkan. Melalui rekayasa cepat, Anda dapat mengontrol nada, gaya, dan keahlian domain model tanpa langkah-langkah penyesuaian yang lebih terlibat seperti penyempurnaan. Sebaiknya mendedikasikan waktu untuk mendorong rekayasa sebelum Anda mempertimbangkan untuk menyempurnakan model pada data tambahan. Tujuannya adalah untuk memberikan konteks dan panduan yang memadai untuk model sehingga dapat menggeneralisasi dan berkinerja baik pada skenario data yang tidak terlihat atau terbatas.

Zero-shot belajar

Zero-shot pembelajaran melibatkan pelatihan model untuk menggeneralisasi dan membuat prediksi pada kelas atau tugas yang tidak terlihat. Untuk melakukan rekayasa cepat di lingkungan pembelajaran zero-shot, kami sarankan membuat prompt yang secara eksplisit memberikan informasi tentang tugas target dan format keluaran yang diinginkan. Misalnya, jika Anda ingin menggunakan model dasar untuk klasifikasi teks zero-shot pada satu set kelas yang tidak dilihat model selama pelatihan, prompt yang direkayasa dengan baik dapat berupa: "Classify the following text as either sports, politics, or entertainment: [input text]." Dengan secara eksplisit menentukan kelas target dan format keluaran yang diharapkan, Anda dapat memandu model untuk membuat prediksi yang akurat bahkan pada kelas yang tidak terlihat.

Few-shot belajar

Few-shot pembelajaran melibatkan pelatihan model dengan jumlah data terbatas untuk kelas atau tugas baru. Rekayasa yang cepat di lingkungan belajar beberapa kali berfokus pada perancangan petunjuk yang secara efektif menggunakan data pelatihan terbatas yang tersedia. Misalnya, jika Anda menggunakan model dasar untuk tugas klasifikasi gambar dan hanya memiliki beberapa contoh kelas gambar baru, Anda dapat merekayasa prompt yang menyertakan contoh berlabel yang tersedia dengan placeholder untuk kelas target. Misalnya, promptnya bisa berupa:"[image 1], [image 2], and [image 3] are examples of [target class]. Classify the following image as [target class]". Dengan memasukkan contoh berlabel terbatas dan secara eksplisit menentukan kelas target, Anda dapat memandu model untuk menggeneralisasi dan membuat prediksi yang akurat bahkan dengan data pelatihan minimal.

Parameter inferensi yang didukung

Mengubah parameter inferensi juga dapat memengaruhi respons terhadap prompt Anda. Meskipun Anda dapat mencoba menambahkan spesifisitas dan konteks sebanyak mungkin ke prompt Anda, Anda juga dapat bereksperimen dengan parameter inferensi yang didukung. Berikut ini adalah contoh dari beberapa parameter inferensi yang umum didukung:

Parameter Inferensi Deskripsi

max_new_tokens

Panjang output maksimum dari respons model pondasi. Nilai yang valid: integer, rentang: Integer positif.

temperature

Mengontrol keacakan dalam output. Suhu yang lebih tinggi menghasilkan urutan keluaran dengan kata-kata probabilitas rendah dan suhu yang lebih rendah menghasilkan urutan keluaran dengan kata-kata probabilitas tinggi. Jikatemperature=0, responsnya hanya terdiri dari kata-kata probabilitas tertinggi (decoding serakah). Nilai yang valid: float, range: Positive float.

top_p

Dalam setiap langkah pembuatan teks, model mengambil sampel dari kumpulan kata sekecil mungkin dengan probabilitas kumulatiftop_p. Nilai yang valid: float, rentang: 0.0, 1.0.

return_full_text

JikaTrue, maka teks input adalah bagian dari teks keluaran yang dihasilkan. Nilai yang valid: boolean, default: False.

Untuk informasi lebih lanjut tentang inferensi model dasar, lihatMenyebarkan model dasar yang tersedia untuk umum dengan ModelBuilder kelas.

Jika rekayasa cepat tidak cukup untuk menyesuaikan model dasar Anda dengan kebutuhan bisnis tertentu, bahasa khusus domain, tugas target, atau persyaratan lainnya, Anda dapat mempertimbangkan untuk menyempurnakan model Anda pada data tambahan atau menggunakan Retrieval Augmented Generation (RAG) untuk menambah arsitektur model Anda dengan konteks yang ditingkatkan dari sumber pengetahuan yang diarsipkan. Untuk informasi selengkapnya, lihat Model pondasi dan hyperparameter untuk penyempurnaan atau Pengambilan Augmented Generation.