Gunakan fmeval pustaka untuk menjalankan evaluasi otomatis

Prasyarat

• Untuk menjalankan evaluasi model di UI Studio, peran AWS Identity and Access Management (IAM) dan kumpulan data input apa pun harus memiliki izin yang benar. Jika Anda tidak memiliki SageMaker Domain atau IAM peran, ikuti langkah-langkahnyaPanduan untuk mengatur dengan Amazon SageMaker.

Untuk menyetel izin untuk bucket Amazon S3 Anda

Setelah domain dan peran Anda dibuat, gunakan langkah-langkah berikut untuk menambahkan izin yang diperlukan untuk mengevaluasi model Anda.

1. Buka SageMaker konsol Amazon di https://console.aws.amazon.com/sagemaker/.

2. Di panel navigasi, masuk S3 ke bilah pencarian di bagian atas halaman.

3. Pilih S3 di bawah Layanan.

4. Pilih Bucket dari panel navigasi.

5. Di bagian Bucket tujuan umum, di bawah Nama, pilih nama bucket S3 yang ingin Anda gunakan untuk menyimpan input dan output model Anda di konsol. Jika Anda tidak memiliki bucket S3, lakukan hal berikut:

   1. Pilih Buat ember untuk membuka halaman Bucket Buat baru.

   2. Di bagian Konfigurasi umum, di bawah AWS Wilayah, pilih AWS wilayah tempat model pondasi Anda berada.

   3. Beri nama bucket S3 Anda di kotak input di bawah nama Bucket.

   4. Terima semua pilihan default.

   5. Pilih Buat ember.

   6. Di bagian Bucket tujuan umum, di bawah Nama, pilih nama bucket S3 yang Anda buat.

6. Pilih tab Izin.

7. Gulir ke bagian Cross-origin resource sharing (CORS) di bagian bawah jendela. Pilih Edit.

8. Untuk menambahkan izin ke bucket Anda untuk evaluasi foundation, pastikan kode berikut muncul di kotak input. Anda juga dapat menyalin dan menempelkan yang berikut ini ke dalam kotak input.

   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]

9. Pilih Simpan perubahan.

Untuk menambahkan izin ke kebijakan Anda IAM

1. Di bilah pencarian di bagian atas halaman, masukkanIAM.

2. Di bawah Layanan, pilih Identity and Access Management (IAM).

3. Pilih Kebijakan dari panel navigasi.

4. Masukkan AmazonSageMakerFullAccesske dalam bilah pencarian. Pilih tombol radio di sebelah kebijakan yang muncul. Tombol Actions sekarang dapat dipilih.

5. Pilih panah bawah di sebelah Tindakan. Dua opsi muncul.

6. Pilih Lampirkan.

7. Di IAM daftar yang muncul, cari nama peran yang Anda buat. Pilih kotak centang di sebelah nama.

8. Pilih Lampirkan kebijakan.

Mulai menggunakan Studio

1. Di bilah pencarian di bagian atas halaman, masukkanSageMaker.

2. Di bawah Layanan, pilih Amazon SageMaker.

3. Pilih Studio dari panel navigasi.

4. Pilih domain Anda dari bagian Memulai, setelah memperluas panah bawah di bawah Pilih Domain.

5. Pilih profil pengguna Anda dari bagian Memulai setelah memperluas panah bawah di bawah Pilih profil pengguna.

6. Pilih Open Studio untuk membuka landing page Studio.

7. Pilih browser file dari panel navigasi dan arahkan ke direktori root.

8. Pilih Buat buku catatan.

9. Di kotak dialog lingkungan notebook yang terbuka, pilih gambar Data Science 3.0.

10. Pilih Pilih.

11. Instal fmeval paket di lingkungan pengembangan Anda, seperti yang ditunjukkan pada contoh kode berikut:

    !pip install fmeval

    catatan

    Instal fmeval perpustakaan ke lingkungan yang menggunakan Python 3.10. Untuk informasi selengkapnya tentang persyaratan yang diperlukan untuk menjalankanfmeval, lihat fmevaldependensi.

Tentukan JumpStart model dan konfigurasikan ModelRunner

1. Berikan titik akhir dengan melakukan salah satu dari hal berikut:

   • Tentukan EndpointNameke JumpStart titik akhir yang ada,model_id, danmodel_version.

   • Tentukan model_id dan model_version untuk model Anda, dan buat JumpStart titik akhir.

   Contoh kode berikut menunjukkan bagaimana membuat titik akhir untuk Llama 2 foundation modelyang tersedia melalui JumpStart.

   import sagemaker
   from sagemaker.jumpstart.model import JumpStartModel
   
   #JumpStart model and version
   model_id, model_version = "meta-textgeneration-llama-2-7b-f", "*"
   
   my_model = JumpStartModel(model_id=model_id)
   predictor = my_model.deploy()
   endpoint_name = predictor.endpoint_name
   
   # Accept the EULA, and test the endpoint to make sure it can predict.
   predictor.predict({"inputs": [[{"role":"user", "content": "Hello how are you?"}]]}, custom_attributes='accept_eula=true')

   Contoh kode sebelumnya mengacu padaEULA, yang merupakan singkatan dari end-use-license-agreement (EULA). EULADapat ditemukan dalam deskripsi kartu model model yang Anda gunakan. Untuk menggunakan beberapa JumpStart model, Anda harus menentukanaccept_eula=true, seperti yang ditunjukkan pada panggilan sebelumnya kepredict. Untuk informasi selengkapnyaEULA, lihat bagian Lisensi dan sumber model diSumber model dan perjanjian lisensi.

   Anda dapat menemukan daftar JumpStart model yang tersedia di Algoritma Bawaan dengan Tabel Model yang telah dilatih sebelumnya.

2. Konfigurasikan ModelRunner dengan menggunakanJumpStartModelRunner, seperti yang ditunjukkan pada contoh konfigurasi berikut:

   from fmeval.model_runners.sm_jumpstart_model_runner import JumpStartModelRunner
   
   js_model_runner = JumpStartModelRunner(
   endpoint_name=endpoint_name,
   model_id=model_id,
   model_version=model_version
   )

   Dalam contoh konfigurasi sebelumnya, gunakan nilai yang sama untukendpoint_name,model_id, dan model_version yang Anda gunakan untuk membuat titik akhir.

3. Uji AndaModelRunner. Kirim permintaan sampel ke model Anda seperti yang ditunjukkan pada contoh kode berikut:

   js_model_runner.predict("What is the capital of London")

Tentukan model Amazon Bedrock dan konfigurasikan ModelRunner

1. Untuk menentukan dan mencetak detail model, gunakan contoh kode berikut untuk model Titan yang tersedia melalui Amazon Bedrock:

   import boto3
   import json
   bedrock = boto3.client(service_name='bedrock')
   bedrock_runtime = boto3.client(service_name='bedrock-runtime')
   
   model_id = "amazon.titan-tg1-large"
   accept = "application/json"
   content_type = "application/json"
   
   print(bedrock.get_foundation_model(modelIdentifier=modelId).get('modelDetails'))

   Dalam contoh kode sebelumnya, accept parameter menentukan format data yang ingin Anda gunakan untuk mengevaluasi AndaLLM. contentTypeMenentukan format data input dalam permintaan. Hanya MIME_TYPE_JSON didukung untuk accept dan contentType untuk model Amazon Bedrock. Untuk informasi selengkapnya tentang parameter ini, lihat InvokeModelWithResponseStream.

2. Untuk mengkonfigurasiModelRunner, gunakanBedrockModelRunner, seperti yang ditunjukkan dalam contoh konfigurasi berikut:

   from fmeval.model_runners.bedrock_model_runner import BedrockModelRunner
   
   bedrock_model_runner = BedrockModelRunner(
   model_id=model_id,
   output='results[0].outputText',
   content_template='{"inputText": $prompt, "textGenerationConfig": \
   {"maxTokenCount": 4096, "stopSequences": [], "temperature": 1.0, "topP": 1.0}}',
   )

   Parametrize ModelRunner konfigurasi sebagai berikut.

   • Gunakan nilai yang sama untuk model_id yang Anda gunakan untuk menyebarkan model.

   • Gunakan output untuk menentukan format json respons yang dihasilkan. Sebagai contoh, jika Anda LLM memberikan respons[{"results": "this is the output"}], maka output='results[0].outputText' kembalithis is the output.

   • Gunakan content_template untuk menentukan bagaimana Anda LLM berinteraksi dengan permintaan. Template konfigurasi berikut dirinci semata-mata untuk menjelaskan contoh konfigurasi sebelumnya, dan itu tidak diperlukan.

     • Dalam contoh konfigurasi sebelumnya, variabel inputText menentukan prompt, yang menangkap permintaan yang dibuat oleh pengguna.

     • Variabel textGenerationConfig menentukan bagaimana LLM menghasilkan tanggapan sebagai berikut:

       • Parameter maxTokenCount ini digunakan untuk membatasi panjang respons dengan membatasi jumlah token yang dikembalikan olehLLM.

       • Parameter stopSequences ini digunakan untuk menentukan daftar urutan karakter yang memberitahu Anda LLM untuk berhenti menghasilkan respons. Output model dihentikan saat pertama kali salah satu string yang terdaftar ditemui dalam output. Sebagai contoh, Anda dapat menggunakan urutan pengembalian carriage untuk membatasi respons model ke satu baris.

       • Parameter topP mengontrol keacakan dengan membatasi kumpulan token untuk dipertimbangkan saat membuat token berikutnya. Parameter ini menerima nilai antara 0.0 dan1.0. Nilai yang lebih tinggi dari topP memungkinkan untuk satu set yang berisi kosakata yang lebih luas dan nilai yang lebih rendah membatasi kumpulan token ke kata-kata yang lebih mungkin.

       • Parameter temperature mengontrol keacakan teks yang dihasilkan, dan menerima nilai positif. Nilai yang lebih tinggi dari temperature menginstruksikan model untuk menghasilkan respons yang lebih acak dan beragam. Nilai yang lebih rendah menghasilkan respons yang lebih dapat diprediksi. Rentang khas untuk temperature kebohongan antara 0.2 dan2.0.

       Untuk informasi selengkapnya tentang parameter untuk model pondasi Amazon Bedrock tertentu, lihat Parameter inferensi untuk model pondasi.

     Format parameter content_template tergantung pada input dan parameter yang didukung oleh Anda. LLM Sebagai contoh, .Anthropic’s Claude 2 model dapat mendukung yang berikutcontent_template:

     "content_template": "{\"prompt\": $prompt, \"max_tokens_to_sample\": 500}"

     Sebagai contoh lain, model Falcon 7b dapat mendukung yang berikut ini. content_template

     "content_template": "{\"inputs\": $prompt, \"parameters\":{\"max_new_tokens\": \
     10, \"top_p\": 0.9, \"temperature\": 0.8}}"

     Terakhir, uji AndaModelRunner. Kirim permintaan sampel ke model Anda seperti yang ditunjukkan pada contoh kode berikut:

     bedrock_model_runner.predict("What is the capital of London?")