Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Ringkasan teks untuk evaluasi model di Amazon Bedrock
Ringkasan teks digunakan untuk tugas-tugas termasuk membuat ringkasan berita, dokumen hukum, makalah akademik, pratinjau konten, dan kurasi konten. Ambiguitas, koherensi, bias, dan kefasihan teks yang digunakan untuk melatih model serta kehilangan informasi, akurasi, relevansi, atau ketidakcocokan konteks dapat mempengaruhi kualitas tanggapan.
penting
Untuk ringkasan teks, ada masalah sistem yang diketahui yang mencegah model Cohere menyelesaikan evaluasi toksisitas dengan sukses.
Dataset bawaan berikut didukung untuk digunakan dengan jenis tugas ringkasan tugas.
- Gigaword
-
Dataset Gigaword terdiri dari berita utama artikel. Dataset ini digunakan dalam tugas ringkasan teks.
Tabel berikut merangkum metrik yang dihitung, dan kumpulan data bawaan yang direkomendasikan. Untuk berhasil menentukan kumpulan data bawaan yang tersedia menggunakan AWS CLI, atau yang didukung AWS SDKmenggunakan nama parameter di kolom, Built-in dataset () API.
| Jenis tugas | Metrik | Kumpulan data bawaan (konsol) | Kumpulan data bawaan () API | Metrik yang dihitung |
|---|---|---|---|---|
| Ringkasan teks | Akurasi | Gigaword |
Builtin.Gigaword |
BERTScore |
| Toksisitas | Gigaword |
Builtin.Gigaword |
Toksisitas | |
| Kekokohan | Gigaword |
Builtin.Gigaword |
BERTScoredan deltaBERTScore |
Untuk mempelajari lebih lanjut tentang bagaimana metrik yang dihitung untuk setiap kumpulan data bawaan dihitung, lihat Tinjau laporan pekerjaan dan metrik evaluasi model di Amazon Bedrock
