Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pra-pelatihan lanjutan (CPT)
Pra-pelatihan lanjutan (CPT) adalah teknik pelatihan yang memperluas fase pra-pelatihan model pondasi dengan mengeksposnya ke teks tanpa label tambahan dari domain atau korpus tertentu. Tidak seperti penyempurnaan yang diawasi, yang memerlukan pasangan input-output berlabel, CPT melatih dokumen mentah untuk membantu model memperoleh pengetahuan yang lebih dalam tentang domain baru, mempelajari terminologi khusus domain dan pola penulisan, dan beradaptasi dengan jenis konten atau area subjek tertentu.
Pendekatan ini sangat berharga ketika Anda memiliki volume besar (puluhan miliar token) data teks khusus domain, seperti dokumen hukum, literatur medis, dokumentasi teknis, atau konten bisnis eksklusif, dan Anda ingin model mengembangkan kefasihan asli dalam domain tersebut. Umumnya, setelah tahap CPT, model perlu menjalani tahap penyetelan instruksi tambahan untuk memungkinkan model menggunakan pengetahuan yang baru diperoleh dan menyelesaikan tugas-tugas yang berguna.
Kapan menggunakan CPT
Gunakan CPT saat Anda perlu mengajarkan pengetahuan khusus domain model yang tidak terwakili dengan baik dalam data pelatihan aslinya. CPT sangat ideal ketika:
-
Anda memiliki volume besar teks khusus domain (konten hukum, medis, teknis, atau eksklusif)
-
Anda ingin model mengembangkan kefasihan asli dalam terminologi khusus dan pola penulisan
-
Kasus penggunaan Anda membutuhkan pemahaman bahasa standar tanpa penalaran lanjutan
Model yang didukung
CPT tersedia untuk model Amazon Nova berikut:
-
Nova 1.0 (Mikro, Lite, Pro)
-
Nova 2.0 (Lite)
Kapan menggunakan Nova 1.0 versus Nova 2.0
Keluarga model Amazon Nova menawarkan beberapa titik operasi harga-kinerja untuk mengoptimalkan antara akurasi, kecepatan, dan biaya.
Pilih Nova 2.0 saat Anda membutuhkan yang berikut:
-
Kemampuan penalaran tingkat lanjut untuk tugas-tugas analitis yang kompleks
-
Kinerja unggul dalam pengkodean, matematika, dan pemecahan masalah ilmiah
-
Dukungan panjang konteks yang lebih panjang
-
Kinerja multibahasa yang lebih baik
Pilih Nova 1.0 ketika:
-
Anda ingin mengoptimalkan biaya pelatihan dan inferensi yang lebih rendah
-
Kasus penggunaan Anda membutuhkan pemahaman bahasa standar tanpa penalaran lanjutan
-
Anda telah memvalidasi kinerja di Nova 1.0 dan tidak memerlukan kemampuan tambahan
catatan
Model yang lebih besar tidak selalu lebih baik. Pertimbangkan pertukaran biaya-kinerja dan persyaratan bisnis spesifik Anda saat memilih antara model Nova 1.0 dan Nova 2.0.
