Membuat pekerjaan evaluasi model otomatis - Amazon Bedrock
PrasyaratTutorial: Buat pekerjaan evaluasi model otomatis

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat pekerjaan evaluasi model otomatis

Evaluasi model otomatis memungkinkan Anda mengevaluasi respons dari satu model menggunakan metrik yang direkomendasikan. Anda juga dapat menggunakan kumpulan data prompt bawaan atau menggunakan kumpulan data prompt kustom Anda sendiri. Anda dapat memiliki maksimal 10 pekerjaan evaluasi model otomatis Sedang berlangsung di akun Anda per Wilayah AWS.

Saat Anda menyiapkan pekerjaan evaluasi model otomatis, metrik yang tersedia dan kumpulan data bawaan yang paling cocok untuk jenis tugas yang dipilih akan ditambahkan secara otomatis ke pekerjaan. Anda dapat menambahkan atau menghapus salah satu metrik atau kumpulan data yang telah dipilih sebelumnya. Anda juga dapat menyediakan dataset prompt kustom Anda sendiri.

Prasyarat

Untuk membuat pekerjaan evaluasi model pertama Anda menggunakan konsol Amazon Bedrock, Anda harus melakukan hal berikut.

catatan

Saat membuat lowongan evaluasi model menggunakan konsol Amazon Bedrock, Anda harus menyiapkan CORS izin yang benar di bucket Amazon S3 yang Anda tentukan.

  1. Anda harus memiliki akses ke model di Amazon Bedrock.

  2. Anda harus memiliki peran layanan Amazon Bedrock. Jika Anda belum memiliki peran layanan yang telah dibuat, Anda dapat membuat di konsol Amazon Bedrock saat menyiapkan pekerjaan evaluasi model Anda. Jika Anda ingin membuat kebijakan khusus, kebijakan terlampir harus memberikan akses ke sumber daya berikut; Bucket S3 apa pun yang digunakan dalam pekerjaan evaluasi model, dan model yang ditentukan dalam pekerjaan. ARN Peran layanan juga harus memiliki Amazon Bedrock yang didefinisikan sebagai prinsip layanan dalam kebijakan kepercayaan peran. Untuk mempelajari selengkapnya, lihat Izin yang diperlukan.

  3. Pengguna, grup, atau peran yang mengakses konsol Amazon Bedrock harus memiliki izin yang diperlukan untuk mengakses bucket Amazon S3 yang diperlukan. Untuk mempelajari selengkapnya, lihat Izin yang diperlukan

  4. Bucket Amazon S3 keluaran, dan bucket kumpulan data prompt khusus apa pun harus memiliki CORS izin yang diperlukan yang ditambahkan ke dalamnya. Untuk mempelajari lebih lanjut tentang CORS izin yang diperlukan, lihatIzin Cross Origin Resource Sharing (CORS) yang diperlukan pada bucket S3.

Tutorial: Buat pekerjaan evaluasi model otomatis

Prosedur berikut adalah tutorial. Tutorial ini mencakup pembuatan pekerjaan evaluasi model otomatis yang menggunakan model Amazon Titan Text G1 - Lite, dan membuat peran IAM layanan.

Melihat hasil pekerjaan evaluasi model menggunakan konsol Amazon Bedrock

Saat pekerjaan evaluasi model selesai, hasilnya disimpan di Amazon S3bucket yang Anda tentukan. Jika Anda mengubah lokasi hasil dengan cara apa pun, kartu laporan evaluasi model tidak lagi terlihat di konsol.

(Tutorial) Untuk membuat evaluasi model otomatis menggunakan Amazon Titan Text G1 - Lite

  1. Buka konsol Amazon Bedrock: https://console.aws.amazon.com/bedrock/.

  2. Di panel navigasi, pilih Evaluasi model.

  3. Dalam Buat kartu evaluasi, di bawah Otomatis pilih Buat evaluasi otomatis.

  4. Pada halaman Buat evaluasi otomatis, berikan informasi berikut:

    1. Nama evaluasi — Berikan nama pekerjaan evaluasi model yang menggambarkan pekerjaan. Nama ini ditampilkan di tabel pekerjaan evaluasi model.Nama harus unik di Akun AWS dalam file Anda. Wilayah AWS

    2. Deskripsi (Opsional) - Berikan deskripsi opsional.

    3. Pemilih model - Pilih model Amazon Titan Text G1 - Lite.

      Untuk mempelajari lebih lanjut tentang model yang tersedia dan mengaksesnya di Amazon Bedrock, lihat. Kelola akses ke model fondasi Amazon Bedrock

    4. (Opsional) Untuk mengubah konfigurasi inferensi pilih perbarui.

      Mengubah konfigurasi inferensi mengubah respons yang dihasilkan oleh model yang dipilih. Untuk mempelajari lebih lanjut tentang parameter inferensi yang tersedia, lihatParameter inferensi untuk model pondasi.

    5. Jenis tugas - Pilih General text generation.

    6. Di kartu Metrik dan kumpulan data — Anda dapat melihat daftar metrik yang tersedia dan kumpulan data prompt bawaan. Dataset berubah berdasarkan tugas yang Anda pilih. Dalam tutorial ini biarkan opsi default dipilih.

    7. Hasil evaluasi - Tentukan S3 URI direktori tempat Anda ingin hasil pekerjaan evaluasi model Anda disimpan. Pilih Jelajahi S3 untuk mencari lokasi di Amazon S3.

    8. IAMPeran Amazon Bedrock — Pilih tombol radio Buat peran baru.

    9. (Opsional) Di bawah nama peran Layanan, ubah akhiran peran yang akan dibuat atas nama Anda. Peran yang dibuat dengan cara ini akan selalu dimulai dengan Amazon-Bedrock- -Role- IAM.

    10. Bucket Output selalu diperlukan untuk pekerjaan evaluasi model otomatis, dan harus spesifik dalam peran IAM layanan. Jika Anda telah menentukan bucket di Hasil evaluasi, bidang ini sudah diisi sebelumnya.

    11. Selanjutnya, pilih Buat peran.

  5. Untuk memulai pekerjaan evaluasi model Anda, pilih Buat.

Setelah pekerjaan berhasil dimulai, status berubah menjadi Sedang berlangsung. Ketika pekerjaan telah selesai, status berubah menjadi Selesai.

Untuk menghentikan pekerjaan evaluasi model yang saat ini sedang berlangsung pilih Hentikan evaluasi. Status pekerjaan evaluasi model akan berubah dari Sedang berlangsung menjadi Berhenti. Setelah status pekerjaan berubah menjadi Berhenti.

Untuk mempelajari cara mengevaluasi, melihat, dan mengunduh hasil pekerjaan evaluasi model Anda, lihatHasil pekerjaan evaluasi model.