View a markdown version of this page

Lacak dan atur kriteria penyelesaian untuk pekerjaan penyetelan Anda - Amazon SageMaker AI
Tetapkan kriteria penyelesaian untuk pekerjaan penyetelan AndaLacak kemajuan pekerjaan penyetelanMenghentikan pekerjaan penyetelan Anda secara manual

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Lacak dan atur kriteria penyelesaian untuk pekerjaan penyetelan Anda

Anda dapat menggunakan kriteria penyelesaian untuk menginstruksikan penyetelan model otomatis (AMT) untuk menghentikan pekerjaan penyetelan jika kondisi tertentu terpenuhi. Dengan kondisi ini, Anda dapat menetapkan kinerja model minimum atau jumlah maksimum pekerjaan pelatihan yang tidak meningkat saat dievaluasi terhadap metrik objektif. Anda juga dapat melacak kemajuan pekerjaan penyetelan Anda dan memutuskan untuk membiarkannya berlanjut atau menghentikannya secara manual. Panduan ini menunjukkan cara mengatur kriteria penyelesaian, memeriksa kemajuan, dan menghentikan pekerjaan penyetelan Anda secara manual.

Tetapkan kriteria penyelesaian untuk pekerjaan penyetelan Anda

Selama optimasi hyperparameter, pekerjaan penyetelan akan meluncurkan beberapa pekerjaan pelatihan di dalam loop. Pekerjaan penyetelan akan melakukan hal berikut.

  • Periksa pekerjaan pelatihan Anda untuk penyelesaian dan perbarui statistik yang sesuai

  • Tentukan kombinasi hyperparameter apa yang akan dievaluasi selanjutnya.

AMT akan terus memeriksa pekerjaan pelatihan yang diluncurkan dari pekerjaan penyetelan Anda untuk memperbarui statistik. Statistik ini termasuk runtime pekerjaan penyetelan dan pekerjaan pelatihan terbaik. Kemudian, AMT menentukan apakah harus menghentikan pekerjaan sesuai dengan kriteria penyelesaian Anda. Anda juga dapat memeriksa statistik ini dan menghentikan pekerjaan Anda secara manual. Untuk informasi selengkapnya tentang menghentikan pekerjaan secara manual, lihat Menghentikan pekerjaan penyetelan Anda secara manual bagian ini.

Misalnya, jika pekerjaan penyetelan Anda memenuhi tujuan Anda, Anda dapat menghentikan penyetelan lebih awal untuk menghemat sumber daya atau memastikan kualitas model. AMT memeriksa kinerja pekerjaan Anda terhadap kriteria penyelesaian Anda dan menghentikan pekerjaan penyetelan jika ada yang telah dipenuhi.

Anda dapat menentukan jenis kriteria penyelesaian berikut:

  • MaxNumberOfTrainingJobs— Jumlah maksimum pekerjaan pelatihan yang harus dijalankan sebelum penyetelan dihentikan.

  • MaxNumberOfTrainingJobsNotImprovingJumlah maksimum pekerjaan pelatihan yang tidak meningkatkan kinerja terhadap metrik objektif dari pekerjaan pelatihan terbaik saat ini. Sebagai contoh, jika pekerjaan pelatihan terbaik mengembalikan metrik objektif yang memiliki akurasi90%, dan MaxNumberOfTrainingJobsNotImproving diatur ke10. Dalam contoh ini, penyetelan akan berhenti setelah pekerjaan 10 pelatihan gagal mengembalikan akurasi yang lebih tinggi dari90%.

  • MaxRuntimeInSeconds- Batas atas waktu jam dinding dalam detik dari berapa lama pekerjaan penyetelan dapat berjalan.

  • TargetObjectiveMetricValue— Nilai metrik objektif yang digunakan untuk mengevaluasi pekerjaan penyetelan. Setelah nilai ini terpenuhi, AMT menghentikan pekerjaan penyetelan.

  • CompleteOnConvergence— Bendera untuk menghentikan penyetelan setelah algoritma internal menentukan bahwa pekerjaan penyetelan tidak mungkin meningkat lebih dari 1% dibandingkan metrik objektif dari pekerjaan pelatihan terbaik.

Memilih kriteria penyelesaian

Anda dapat memilih satu atau beberapa kriteria penyelesaian untuk menghentikan pekerjaan penyetelan hyperparameter Anda setelah kondisi terpenuhi. Petunjuk berikut menunjukkan cara memilih kriteria penyelesaian dan bagaimana memutuskan mana yang paling tepat untuk kasus penggunaan Anda.

  • Gunakan MaxNumberOfTrainingJobs di ResourceLimits API untuk menetapkan batas atas jumlah pekerjaan pelatihan yang dapat dijalankan sebelum pekerjaan penyetelan Anda dihentikan. Mulailah dengan jumlah besar dan sesuaikan berdasarkan kinerja model terhadap tujuan pekerjaan penyetelan Anda. Sebagian besar pengguna memasukkan nilai sekitar 50 atau lebih pekerjaan pelatihan untuk menemukan konfigurasi hyperparameter yang optimal. Pengguna yang mencari tingkat kinerja model yang lebih tinggi akan menggunakan 200 atau lebih banyak pekerjaan pelatihan.

  • Gunakan MaxNumberOfTrainingJobsNotImproving di bidang BestObjectiveNotImproving API untuk menghentikan pelatihan jika kinerja model gagal meningkat setelah sejumlah pekerjaan tertentu. Kinerja model dievaluasi terhadap fungsi objektif. Setelah MaxNumberOfTrainingJobsNotImproving terpenuhi, AMT akan menghentikan pekerjaan penyetelan. Pekerjaan tuning cenderung membuat kemajuan paling besar di awal pekerjaan. Meningkatkan kinerja model terhadap fungsi objektif akan membutuhkan lebih banyak pekerjaan pelatihan menjelang akhir penyetelan. Pilih nilai untuk MaxNumberOfTrainingJobsNotImproving dengan memeriksa kinerja pekerjaan pelatihan serupa terhadap metrik tujuan Anda.

  • Gunakan MaxRuntimeInSeconds di ResourceLimits API untuk menetapkan batas atas jumlah waktu jam dinding yang mungkin diperlukan oleh pekerjaan penyetelan. Gunakan bidang ini untuk memenuhi tenggat waktu di mana pekerjaan penyetelan harus diselesaikan atau untuk membatasi sumber daya komputasi.

    Untuk mendapatkan perkiraan total waktu komputasi dalam detik untuk pekerjaan penyetelan, gunakan rumus berikut:

    Perkiraan waktu komputasi maksimal dalam detik= * * MaxRuntimeInSeconds MaxParallelTrainingJobs MaxInstancesPerTrainingJob

    catatan

    Durasi aktual pekerjaan penyetelan mungkin sedikit menyimpang dari nilai yang ditentukan dalam bidang ini.

  • Gunakan TargetObjectiveMetricValue di TuningJobCompletionCriteria API untuk menghentikan pekerjaan penyetelan Anda. Anda menghentikan pekerjaan penyetelan setelah pekerjaan pelatihan apa pun yang diluncurkan oleh pekerjaan penyetelan mencapai nilai metrik objektif ini. Gunakan bidang ini jika kasus penggunaan Anda bergantung pada pencapaian tingkat kinerja tertentu, daripada menghabiskan sumber daya komputasi untuk menemukan model terbaik.

  • Gunakan CompleteOnConvergence di TuningJobCompletionCriteria API untuk menghentikan pekerjaan penyetelan setelah AMT mendeteksi bahwa pekerjaan penyetelan telah menyatu, dan tidak mungkin membuat kemajuan signifikan lebih lanjut. Gunakan bidang ini jika tidak jelas nilai apa untuk kriteria penyelesaian lainnya yang harus digunakan. AMT menentukan konvergensi berdasarkan algoritma yang dikembangkan dan diuji pada berbagai tolok ukur yang beragam. Pekerjaan tuning didefinisikan sebagai telah konvergen ketika tidak ada pekerjaan pelatihan yang mengembalikan peningkatan yang signifikan (1% atau kurang). Peningkatan diukur terhadap metrik objektif yang dikembalikan oleh pekerjaan dengan kinerja tertinggi, sejauh ini.

Menggabungkan kriteria penyelesaian yang berbeda

Anda juga dapat menggabungkan salah satu kriteria penyelesaian yang berbeda dalam pekerjaan penyetelan yang sama. AMT akan menghentikan pekerjaan penyetelan ketika salah satu kriteria penyelesaian terpenuhi. Misalnya, jika Anda ingin menyetel model hingga memenuhi metrik objektif, tetapi tidak ingin terus menyetel jika pekerjaan Anda telah konvergen, gunakan panduan berikut.

  • Tentukan TargetObjectiveMetricValue di TuningJobCompletionCriteria API untuk menetapkan nilai metrik sasaran target yang akan dijangkau.

  • Set CompleteOnConvergence el Enabled untuk menghentikan pekerjaan penyetelan jika AMT telah menentukan bahwa kinerja model tidak mungkin meningkat.

Lacak kemajuan pekerjaan penyetelan

Anda dapat menggunakan DescribeHyperParameterTuningJob API untuk melacak kemajuan pekerjaan penyetelan Anda kapan saja saat sedang berjalan. Anda tidak perlu menentukan kriteria penyelesaian untuk mendapatkan informasi pelacakan untuk pekerjaan penyetelan Anda. Gunakan bidang berikut untuk mendapatkan statistik tentang pekerjaan penyetelan Anda.

  • BestTrainingJob— Objek yang menggambarkan pekerjaan pelatihan terbaik yang diperoleh sejauh ini, dievaluasi terhadap metrik objektif Anda. Gunakan bidang ini untuk memeriksa kinerja model Anda saat ini dan nilai metrik objektif dari pekerjaan pelatihan terbaik ini.

  • ObjectiveStatusCounters— Objek yang menentukan jumlah total pekerjaan pelatihan yang diselesaikan dalam pekerjaan penyetelan. Untuk memperkirakan durasi rata-rata pekerjaan penyetelan, gunakan ObjectiveStatusCounters dan total runtime pekerjaan penyetelan. Anda dapat menggunakan durasi rata-rata untuk memperkirakan berapa lama pekerjaan penyetelan Anda akan berjalan.

  • ConsumedResources— Total sumber daya, sepertiRunTimeInSeconds, yang dikonsumsi oleh pekerjaan penyetelan Anda. BandingkanConsumedResources, ditemukan di DescribeHyperParameterTuningJob API, BestTrainingJob dengan API yang sama. Anda juga dapat memband ConsumedResources ingkan dengan respons dari ListTrainingJobsForHyperParameterTuningJob API untuk menilai apakah pekerjaan penyetelan Anda membuat kemajuan yang memuaskan mengingat sumber daya yang dikonsumsi.

  • TuningJobCompletionDetails— Informasi penyelesaian pekerjaan penyetelan yang mencakup hal-hal berikut:

    • Stempel waktu saat konvergensi terdeteksi jika pekerjaan telah konvergen.

    • Jumlah pekerjaan pelatihan yang belum meningkatkan kinerja model. Kinerja model dievaluasi terhadap metrik objektif dari pekerjaan pelatihan terbaik.

    Gunakan kriteria penyelesaian pekerjaan penyetelan untuk menilai seberapa besar kemungkinan pekerjaan penyetelan Anda meningkatkan kinerja model Anda. Kinerja model dievaluasi terhadap metrik objektif terbaik jika berjalan hingga selesai.

Menghentikan pekerjaan penyetelan Anda secara manual

Anda dapat menentukan apakah Anda harus membiarkan pekerjaan penyetelan berjalan hingga selesai atau apakah Anda harus menghentikan pekerjaan penyetelan secara manual. Untuk menentukan ini, gunakan informasi yang dikembalikan oleh parameter di DescribeHyperParameterTuningJob API, seperti yang ditunjukkan pada bagian kemajuan pekerjaan penyetelan pelacakan sebelumnya. Sebagai contoh, jika kinerja model Anda tidak membaik setelah beberapa pekerjaan pelatihan selesai, Anda dapat memilih untuk menghentikan pekerjaan penyetelan. Kinerja model dievaluasi terhadap metrik objektif terbaik.

Untuk menghentikan pekerjaan penyetelan secara manual, gunakan StopHyperParameterTuningJob API dan berikan nama pekerjaan penyetelan yang akan dihentikan.