Hyperparameter untuk mengoptimalkan proses pembelajaran model pembuatan teks Anda

Epoch Count: epochCount Hyperparameter menentukan berapa kali model melewati seluruh dataset pelatihan. Ini mempengaruhi durasi pelatihan dan dapat mencegah overfit ketika diatur dengan tepat. Sejumlah besar zaman dapat meningkatkan keseluruhan runtime pekerjaan penyempurnaan. Kami merekomendasikan pengaturan besar di MaxAutoMLJobRuntimeInSeconds dalam CompletionCriteria TextGenerationJobConfig untuk menghindari pekerjaan penyempurnaan berhenti sebelum waktunya.

Ukuran Batch: batchSize Hyperparameter mendefinisikan jumlah sampel data yang digunakan dalam setiap iterasi pelatihan. Hal ini dapat mempengaruhi kecepatan konvergensi dan penggunaan memori. Dengan ukuran batch yang besar, risiko kesalahan kehabisan memori (OOM) meningkat, yang dapat muncul sebagai kesalahan server internal di Autopilot. Untuk memeriksa kesalahan tersebut, periksa grup /aws/sagemaker/TrainingJobs log untuk pekerjaan pelatihan yang diluncurkan oleh pekerjaan Autopilot Anda. Anda dapat mengakses log masuk CloudWatch tersebut dari konsol AWS manajemen. Pilih Log, lalu pilih grup /aws/sagemaker/TrainingJobs log. Untuk memperbaiki kesalahan OOM, kurangi ukuran batch.

Sebaiknya mulai dengan ukuran batch 1, lalu tingkatkan secara bertahap sampai terjadi kesalahan kehabisan memori. Sebagai referensi, 10 zaman biasanya membutuhkan waktu hingga 72 jam untuk menyelesaikannya.

Tingkat Pem belajaran: learningRate Hyperparameter mengontrol ukuran langkah di mana parameter model diperbarui selama pelatihan. Ini menentukan seberapa cepat atau lambat parameter model diperbarui selama pelatihan. Tingkat pembelajaran yang tinggi berarti bahwa parameter diperbarui dengan ukuran langkah yang besar, yang dapat menyebabkan konvergensi lebih cepat tetapi juga dapat menyebabkan proses pengoptimalan melampaui solusi optimal dan menjadi tidak stabil. Tingkat pembelajaran yang rendah berarti bahwa parameter diperbarui dengan ukuran langkah kecil, yang dapat menyebabkan konvergensi yang lebih stabil tetapi dengan mengorbankan pembelajaran yang lebih lambat.

Langkah Pemanasan Tingkat Pem belajaran: learningRateWarmupSteps Hyperparameter menentukan jumlah langkah pelatihan di mana tingkat pembelajaran meningkat secara bertahap sebelum mencapai target atau nilai maksimumnya. Ini membantu model konvergen lebih efektif dan menghindari masalah seperti divergensi atau konvergensi lambat yang dapat terjadi dengan tingkat pembelajaran yang awalnya tinggi.