Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# Evaluasi kinerja sumber daya Amazon Bedrock
<a name="evaluation"></a>

Gunakan evaluasi Amazon Bedrock untuk mengevaluasi kinerja dan efektivitas model dan basis pengetahuan Amazon Bedrock, serta model dan sumber Retrieval Augmented Generation (RAG) di luar Amazon Bedrock. Amazon Bedrock dapat menghitung metrik kinerja seperti ketahanan semantik model dan kebenaran basis pengetahuan dalam mengambil informasi dan menghasilkan respons. Untuk evaluasi model, Anda juga dapat memanfaatkan tim pekerja manusia untuk menilai dan memberikan masukan mereka untuk evaluasi.

Evaluasi otomatis, termasuk evaluasi yang memanfaatkan Large Language Models (LLMs), menghasilkan skor dan metrik yang dihitung yang membantu Anda menilai efektivitas model dan basis pengetahuan. Evaluasi berbasis manusia menggunakan tim orang yang memberikan peringkat dan preferensi mereka dalam kaitannya dengan metrik tertentu.

**Ikhtisar: Pekerjaan evaluasi model terprogram**  
Pekerjaan evaluasi model terprogram memungkinkan Anda untuk dengan cepat mengevaluasi kemampuan model untuk melakukan tugas. Anda dapat menyediakan kumpulan data prompt kustom Anda sendiri yang telah disesuaikan dengan kasus penggunaan tertentu, atau Anda dapat menggunakan kumpulan data bawaan yang tersedia. 

**Ikhtisar: Pekerjaan evaluasi model yang menggunakan pekerja manusia**  
Pekerjaan evaluasi model yang menggunakan pekerja manusia memungkinkan Anda untuk membawa masukan manusia ke proses evaluasi model. Mereka bisa menjadi karyawan perusahaan Anda atau sekelompok ahli materi pelajaran dari industri Anda.

**Ikhtisar: Pekerjaan evaluasi model yang menggunakan model juri**  
Pekerjaan evaluasi model yang menggunakan model hakim memungkinkan Anda untuk dengan cepat mengevaluasi tanggapan model melalui menggunakan LLM kedua. LLM kedua menilai respons dan memberikan penjelasan untuk setiap respons.

**Ikhtisar evaluasi RAG yang menggunakan Model Bahasa Besar () LLMs**  
Evaluasi berbasis LLM menghitung metrik kinerja untuk basis pengetahuan. Metrik mengungkapkan apakah sumber RAG atau Pangkalan Pengetahuan Amazon Bedrock dapat mengambil informasi yang sangat relevan dan menghasilkan respons yang berguna dan sesuai. Anda menyediakan kumpulan data yang berisi petunjuk atau kueri pengguna untuk mengevaluasi cara basis pengetahuan mengambil informasi dan menghasilkan tanggapan untuk kueri yang diberikan. Dataset juga harus menyertakan 'kebenaran dasar' atau teks dan tanggapan yang diambil yang diharapkan untuk kueri sehingga evaluasi dapat memeriksa apakah basis pengetahuan Anda selaras dengan apa yang diharapkan.

Gunakan topik berikut untuk mempelajari lebih lanjut tentang membuat pekerjaan evaluasi model pertama Anda.

Dukungan pekerjaan evaluasi model menggunakan jenis model Amazon Bedrock berikut:
+ Model fondasi
+ Model Amazon Bedrock Marketplace
+ Model pondasi yang disesuaikan
+ Model pondasi yang diimpor
+ Router yang cepat
+ Model yang telah Anda beli Provisioned Throughput

**Topics**
+ [Daerah dan model yang Didukung untuk evaluasi model](evaluation-support.md)
+ [Membuat pekerjaan evaluasi model otomatis di Amazon Bedrock](evaluation-automatic.md)
+ [Membuat pekerjaan evaluasi model yang menggunakan pekerja manusia di Amazon Bedrock](evaluation-human.md)
+ [Mengevaluasi kinerja model menggunakan LLM lain sebagai juri](evaluation-judge.md)
+ [Mengevaluasi kinerja sumber RAG menggunakan evaluasi Amazon Bedrock](evaluation-kb.md)
+ [Izin Cross Origin Resource Sharing (CORS) yang diperlukan pada bucket S3](model-evaluation-security-cors.md)
+ [Tinjau laporan pekerjaan dan metrik evaluasi model di Amazon Bedrock](model-evaluation-report.md)
+ [Manajemen data dan enkripsi dalam pekerjaan evaluasi Amazon Bedrock](evaluation-data-management.md)
+ [CloudTrail peristiwa manajemen dalam pekerjaan evaluasi model](cloudtrail-events-in-model-evaluations.md)