Menganalisis hasil pekerjaan kustomisasi model - Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menganalisis hasil pekerjaan kustomisasi model

Setelah pekerjaan kustomisasi model selesai, Anda dapat menganalisis hasil proses pelatihan dengan melihat file di folder output S3 yang Anda tentukan saat Anda mengirimkan pekerjaan atau melihat detail tentang model. Amazon Bedrock menyimpan model khusus Anda dalam penyimpanan AWS terkelola yang tercakup ke akun Anda.

Anda juga dapat mengevaluasi model Anda dengan menjalankan pekerjaan evaluasi model. Untuk informasi selengkapnya, lihat Evaluasi kinerja sumber daya Amazon Bedrock.

Output S3 untuk pekerjaan kustomisasi model berisi file output berikut di folder S3 Anda. Artefak validasi hanya muncul jika Anda menyertakan kumpulan data validasi.

- model-customization-job-training-job-id/ - training_artifacts/ - step_wise_training_metrics.csv - validation_artifacts/ - post_fine_tuning_validation/ - validation_metrics.csv

Gunakan step_wise_training_metrics.csv dan validation_metrics.csv file untuk menganalisis pekerjaan penyesuaian model dan untuk membantu Anda menyesuaikan model seperlunya.

Kolom dalam step_wise_training_metrics.csv file adalah sebagai berikut.

  • step_number — Langkah dalam proses pelatihan. Mulai dari 0.

  • epoch_number — Epoch dalam proses pelatihan.

  • training_loss - Menunjukkan seberapa baik model sesuai dengan data pelatihan. Nilai yang lebih rendah menunjukkan kecocokan yang lebih baik.

  • kebingungan — Menunjukkan seberapa baik model dapat memprediksi urutan token. Nilai yang lebih rendah menunjukkan kemampuan prediksi yang lebih baik.

Kolom dalam validation_metrics.csv file sama dengan file pelatihan, kecuali bahwa validation_loss (seberapa baik model sesuai dengan data validasi) muncul sebagai pengganti. training_loss

Anda dapat menemukan file output dengan membuka https://console.aws.amazon.com/s3 secara langsung atau dengan menemukan tautan ke folder output dalam detail model Anda. Pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:

Console
  1. Masuk ke AWS Management Console menggunakan IAMperan dengan izin Amazon Bedrock, dan buka konsol Amazon Bedrock di. https://console.aws.amazon.com/bedrock/

  2. Dari panel navigasi kiri, pilih Model khusus di bawah model Foundation.

  3. Di tab Model, pilih model untuk melihat detailnya. Nama Job dapat ditemukan di bagian Detail Model.

  4. Untuk melihat file output S3, pilih lokasi S3 di bagian Data keluaran.

  5. Temukan file metrik pelatihan dan validasi di folder yang namanya cocok dengan nama Job untuk model.

API

Untuk mencantumkan informasi tentang semua model kustom Anda, kirim permintaan ListCustomModels(lihat tautan untuk format permintaan dan respons serta detail bidang) dengan titik akhir bidang kontrol Amazon Bedrock. Lihat filter ListCustomModelsyang dapat Anda gunakan.

Untuk mencantumkan semua tag untuk model kustom, kirim ListTagsForResourcepermintaan dengan titik akhir bidang kontrol Amazon Bedrock dan sertakan Amazon Resource Name (ARN) model kustom.

Untuk memantau status pekerjaan penyesuaian model, kirim permintaan GetCustomModel(lihat tautan untuk format permintaan dan respons serta detail bidang) dengan titik akhir bidang kontrol Amazon Bedrock denganmodelIdentifier, yang merupakan salah satu dari berikut ini.

  • Nama yang Anda berikan pada model.

  • ARNDari model.

Anda dapat melihat trainingMetrics dan validationMetrics untuk pekerjaan kustomisasi model baik di GetModelCustomizationJobatau GetCustomModelrespons.

Untuk mengunduh file metrik pelatihan dan validasi, ikuti langkah-langkah di Mengunduh objek. Gunakan S3 yang URI Anda berikan di. outputDataConfig

Lihat contoh kode