Pedoman untuk kustomisasi model - Amazon Bedrock
Amazon Titan Teks Premier

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pedoman untuk kustomisasi model

Parameter ideal untuk menyesuaikan model bergantung pada kumpulan data dan tugas yang menjadi tujuan model tersebut. Anda harus bereksperimen dengan nilai untuk menentukan parameter mana yang paling cocok untuk kasus spesifik Anda. Untuk membantu, evaluasi model Anda dengan menjalankan pekerjaan evaluasi model. Untuk informasi selengkapnya, lihat Pilih model berkinerja terbaik menggunakan evaluasi Amazon Bedrock.

Topik ini memberikan pedoman dan nilai yang direkomendasikan sebagai dasar untuk kustomisasi Amazon Titan Model teks Premier. Untuk model lain, periksa dokumentasi penyedia.

Gunakan metrik pelatihan dan validasi dari file keluaran yang dihasilkan saat Anda mengirimkan pekerjaan fine-tuning untuk membantu Anda menyesuaikan parameter. Temukan file-file ini di bucket Amazon S3 tempat Anda menulis outputnya, atau gunakan operasinya. GetCustomModel

Amazon Titan Teks Premier

Pedoman berikut adalah untuk Titan text-to-textModel model teks Premier. Untuk informasi tentang hyperparameters yang dapat Anda atur, lihatHiperparameter kustomisasi model Titan teks Amazon.

Dampak pada jenis tugas lain

Secara umum, semakin besar dataset pelatihan, semakin baik kinerja untuk tugas tertentu. Namun, pelatihan untuk tugas tertentu mungkin membuat model berkinerja lebih buruk pada tugas yang berbeda, terutama jika Anda menggunakan banyak contoh. Misalnya, jika kumpulan data pelatihan untuk tugas ringkasan berisi 100.000 sampel, model mungkin berkinerja lebih buruk pada tugas klasifikasi).

Ukuran model

Secara umum, semakin besar model, semakin baik tugas melakukan data pelatihan yang diberikan terbatas.

Jika Anda menggunakan model untuk tugas klasifikasi, Anda mungkin melihat keuntungan yang relatif kecil untuk fine-tuning beberapa tembakan (kurang dari 100 sampel), terutama jika jumlah kelas relatif kecil (kurang dari 100).

Zaman

Sebaiknya gunakan metrik berikut untuk menentukan jumlah epoch yang akan ditetapkan:

  1. Akurasi keluaran validasi - Atur jumlah epoch ke salah satu yang menghasilkan akurasi tinggi.

  2. Kehilangan pelatihan dan validasi — Tentukan jumlah zaman setelah pelatihan dan kehilangan validasi menjadi stabil. Ini sesuai dengan ketika model konvergen. Temukan nilai kehilangan pelatihan di validation_metrics.csv file step_wise_training_metrics.csv dan.

Ukuran batch

Saat Anda mengubah ukuran batch, kami sarankan Anda mengubah tingkat pembelajaran menggunakan rumus berikut:

newLearningRate = oldLearningRate x newBatchSize / oldBatchSize

Model Titan Text Premier saat ini hanya mendukung ukuran mini-batch 1 untuk finetuning pelanggan.

Tingkat pembelajaran

Untuk mendapatkan hasil terbaik dari kemampuan finetuning, kami sarankan menggunakan tingkat pembelajaran antara 1.00E-07 dan 1.00E-05. Titik awal yang baik adalah nilai default yang direkomendasikan 1.00E-06. Tingkat pembelajaran yang lebih besar dapat membantu pelatihan bertemu lebih cepat, namun, hal itu dapat berdampak buruk pada kemampuan model inti.

Validasi data pelatihan Anda dengan sub-sampel kecil - Untuk memvalidasi kualitas data pelatihan Anda, sebaiknya bereksperimen dengan kumpulan data yang lebih kecil (~100-an sampel) dan memantau metrik validasi, sebelum mengirimkan pekerjaan pelatihan dengan kumpulan data pelatihan yang lebih besar.

Mempelajari langkah-langkah pemanasan

Kami merekomendasikan nilai default 5.