Mengevaluasi SageMaker AI-trained model Anda

Resep-resep ini memungkinkan Anda mengevaluasi kemampuan mendasar model Amazon Nova di seluruh rangkaian tolok ukur teks saja yang komprehensif.

Format resep:xxx_general_text_benchmark_eval.yaml.

Resep ini memungkinkan Anda membawa kumpulan data Anda sendiri untuk pembandingan dan membandingkan keluaran model untuk referensi jawaban menggunakan berbagai jenis metrik.

Format resep:xxx_ bring_your_own_dataset_eval.yaml.

Bawa persyaratan dataset Anda sendiri

Format berkas:

Persyaratan format skema - Setiap baris dalam .jsonl file harus berupa objek JSON dengan bidang berikut.

Entri contoh

{
"system":"You are an English major with top marks in class who likes to give minimal word responses: ",
   "query":"What is the symbol that ends the sentence as a question",
   "response":"?"
}{
"system":"You are a pattern analysis specialist who provides succinct answers: ",
   "query":"What is the next number in this series? 1, 2, 4, 8, 16, ?",
   "response":"32"
}{
"system":"You have great attention to detail and follow instructions accurately: ",
   "query":"Repeat only the last two words of the following: I ate a hamburger today and it was kind of dry",
   "response":"of dry"
}{
"system": "Image inference: ",
  "query": "What is the number in the image? Please just use one English word to answer.",
  "response": "two",
  "images": [
    {
      "data": "data:image/png;Base64,iVBORw0KGgoA ..."
    }
  ]
}

Untuk menggunakan kumpulan data kustom Anda, ubah resep evaluasi Anda dengan menambahkan kolom wajib berikut tanpa mengubah konfigurasi yang ada:

evaluation:
  task: gen_qa 
  strategy: gen_qa 
  metric: all

Batasan

Bawa metrik Anda sendiri

Anda dapat membawa metrik Anda sendiri untuk sepenuhnya menyesuaikan alur kerja evaluasi model Anda dengan kemampuan prapemrosesan, pasca pemrosesan, dan metrik khusus. Prapemrosesan memungkinkan Anda memproses data input sebelum mengirimkannya ke server inferensi, dan postprocessing memungkinkan Anda menyesuaikan perhitungan metrik dan mengembalikan metrik khusus berdasarkan kebutuhan Anda.

Ikuti langkah-langkah berikut untuk membawa metrik Anda sendiri dengan SDK evaluasi khusus.

Batasan

Nova LLM Judge adalah fitur evaluasi model yang memungkinkan Anda membandingkan kualitas tanggapan dari satu model terhadap respons model dasar menggunakan kumpulan data khusus. Ini menerima kumpulan data yang berisi prompt, tanggapan dasar, dan tanggapan penantang, kemudian menggunakan model Nova Judge untuk memberikan metrik tingkat kemenangan berdasarkan Bradley-Terry probabilitas melalui perbandingan berpasangan. Format resep:xxx_llm_judge_eval.yaml.

Persyaratan dataset Nova LLM

Format file:

Format skema - Setiap baris dalam .jsonl file harus berupa objek JSON dengan bidang berikut.

Entri contoh

{
"prompt": "What is the most effective way to combat climate change?",
"response_A": "The most effective way to combat climate change is through a combination of transitioning to renewable energy sources and implementing strict carbon pricing policies. This creates economic incentives for businesses to reduce emissions while promoting clean energy adoption.",
"response_B": "We should focus on renewable energy. Solar and wind power are good. People should drive electric cars. Companies need to pollute less."
}
{
"prompt": "Explain how a computer's CPU works",
"response_A": "CPU is like brain of computer. It does math and makes computer work fast. Has lots of tiny parts inside.",
"response_B": "A CPU (Central Processing Unit) functions through a fetch-execute cycle, where instructions are retrieved from memory, decoded, and executed through its arithmetic logic unit (ALU). It coordinates with cache memory and registers to process data efficiently using binary operations."
}
{
"prompt": "How does photosynthesis work?",
"response_A": "Plants do photosynthesis to make food. They use sunlight and water. It happens in leaves.",
"response_B": "Photosynthesis is a complex biochemical process where plants convert light energy into chemical energy. They utilize chlorophyll to absorb sunlight, combining CO2 and water to produce glucose and oxygen through a series of chemical reactions in chloroplasts."
}           

Untuk menggunakan kumpulan data kustom Anda, ubah resep evaluasi Anda dengan bidang wajib berikut, jangan ubah konten apa pun:

evaluation:
  task: llm_judge
  strategy: judge
  metric: all

Batasan

Nova LLM sebagai Juri untuk resep tolok ukur multi-modal (gambar)

Nova LLM Judge untuk multi-modal (gambar), kependekan dari Nova MM_LLM Judge, adalah fitur evaluasi model yang memungkinkan Anda membandingkan kualitas tanggapan dari satu model terhadap respons model dasar menggunakan kumpulan data khusus. Ini menerima kumpulan data yang berisi prompt, respons dasar, dan respons penantang, dan gambar dalam bentuk Base64-encoded string, kemudian menggunakan model Nova Judge untuk memberikan metrik tingkat kemenangan berdasarkan Bradley-Terry probabilitas melalui perbandingan berpasangan. Format resep:xxx_mm_llm_judge_eval.yaml.

Persyaratan dataset Nova LLM

Format file:

Format skema - Setiap baris dalam .jsonl file harus berupa objek JSON dengan bidang berikut.

Entri contoh

Untuk keterbacaan, contoh berikut mencakup baris dan lekukan baru, tetapi dalam kumpulan data aktual, setiap catatan harus berada pada satu baris.

{
  "prompt": "What is in the image?",
  "images": [
    {
      "data": "data:image/jpeg;Base64,/9j/2wBDAAQDAwQDAwQEAwQFBAQFBgo..."
    }
  ],
  "response_A": "a dog.",
  "response_B": "a cat.",
} 
{
  "prompt": "How many animals are in each of the images?",
  "images": [
    {
      "data": "data:image/jpeg;Base64,/9j/2wBDAAQDAwQDAwQEAwQFBAQFBgo..."
    },
    {
      "data": "data:image/jpeg;Base64,/DKEafe3gihn..."
    }
  ],
  "response_A": "The first image contains one cat and the second image contains one dog",
  "response_B": "The first image has one aminal and the second has one animal"
}           

Untuk menggunakan kumpulan data kustom Anda, ubah resep evaluasi Anda dengan bidang wajib berikut, jangan ubah konten apa pun:

evaluation:
  task: mm_llm_judge
  strategy: judge
  metric: all

Batasan

Evaluasi pada model CPT (berkelanjutan pra-terlatih) dapat menjadi lebih menantang daripada model yang telah menjalani SFT (fine tuning) karena model CPT secara teratur tidak memiliki kemampuan untuk mengikuti instruksi. Alih-alih mengikuti instruksi, model CPT akan beroperasi sebagai model penyelesaian, yang berarti mereka hanya akan mencoba melanjutkan pola yang disediakan dengan urutan token input. Mengingat keterbatasan ini, kumpulan data evaluasi tipikal mungkin tidak berfungsi dengan benar karena format “Tanya Jawab” dari input — alih-alih menjawab pertanyaan, model hanya akan mencoba melanjutkan pertanyaan yang sama. Namun, dengan memformat kumpulan data dengan cara tertentu untuk meminta model dalam gaya penyelesaian, kita bisa mendapatkan pemahaman tentang kinerja model.

Ikuti langkah-langkah di bawah ini untuk memahami cara melakukan evaluasi pada model pra-terlatih berkelanjutan menggunakan alur kerja evaluasi Nova Forge.

Persiapan dan Pemformatan Dataset

Mengevaluasi model CPT memanfaatkan alur kerja Bring Your Own Dataset yang sudah ada yang sudah disediakan dalam pengalaman evaluasi model Nova Forge. Namun, kueri dalam dataset harus diformat dalam format “penyelesaian” murni karena model CPT tidak akan menanggapi permintaan gaya pertanyaan standar dengan cara yang sama seperti model SFT.

Keterbatasan penting lainnya dari model yang telah mengalami CPT semata-mata adalah ketidakmampuan mereka untuk menghasilkan token STOP atau akhir urutan — ini berarti bahwa model akan terus menghasilkan token sampai dihentikan secara paksa (seperti dengan parameter max_new_tokens). Mengingat keterbatasan ini, praktik terbaik adalah mengevaluasi model menggunakan respons token tunggal (seperti pilihan ganda) untuk memastikan model tidak terus menghasilkan output sampah yang tidak diperlukan setelah diminta.

Misalnya, kumpulan data evaluasi tipikal (seperti MMLU, GPQA, MATH, dll), mungkin meminta model dengan pertanyaan seperti:

Early settlements and high population density along coastlines and rivers are 
best attributed to which of the following?
A: "Poor climate conditions"
B: "Limited forest cover"
C: "Cars"
D: "Access to trade routes" 

(Expected answer is D.)

Namun, model CPT tidak akan mengerti bagaimana menanggapi pertanyaan ini dengan benar karena kurangnya penyetelan halus pada instruksi berikut. Oleh karena itu, model CPT harus diminta dalam gaya penyelesaian, seperti:

Early settlements and high population density along coastlines and rivers 
are best attributed to which of the following?
A: Poor climate conditions
B: Limited forest cover
C: Cars
D: Access to trade routes
The correct answer to this question is option 

(Expected answer is D.)

Setelah inferensi memeriksa logprob keluaran yang dihasilkan oleh model akan memberikan detail tentang apakah model memproses input dengan benar dan menghasilkan respons yang benar. Tidak dijamin bahwa model akan selalu menghasilkan respons yang tepat (dalam hal ini, huruf D) yang diharapkan, namun, model tersebut harus ada di dalam logprobs jika model berfungsi dengan benar.

Contoh prompt gaya penyelesaian pilihan non-ganda lainnya:

The capital of France is

(Expected answer of Paris)

Kami berharap model menghasilkan respons “Paris” atau melihat token yang sesuai dengan “Paris” di suatu tempat di output logprobs.

Pemformatan Dataset

Evaluasi CPT memanfaatkan alur kerja Bring Your Own Dataset yang ada. Data harus diformat dalam format “respons kueri” dalam file JSONL yang dipisahkan oleh baris baru.

Contoh dataset dengan 4 entri di dalamnya:

{"query": "The capital of France is", "response": "Paris"}
{"query": "2 + 2 =", "response": "4"}
{"query": "The mitochondria is the powerhouse of the", "response": "cell"}
{"query": "What is the largest planet?\nA: Mars\nB: Jupiter\nC: Saturn\nD: Earth\nAnswer:", "response": "B"}

Setiap baris harus berisi:

Model akan menerima input teks mentah tanpa pemformatan obrolan. Model CPT biasanya belum dilatih pada token khusus dan tidak akan merespons templat obrolan dengan benar, jadi ketika meminta model HANYA string yang disediakan dalam kueri yang akan dikirim ke model (dengan [BOS] token tambahan ditambahkan padanya secara otomatis.)

Konfigurasi Resep

Berikut adalah contoh resep yang dikonfigurasi untuk mengevaluasi model CPT:

run:
  name: cpt_eval_job
  model_type: amazon.nova-2-lite-v1:0:256k
  model_name_or_path: s3://bucket/path/to/cpt-checkpoint/

evaluation:
  task: gen_qa  # Required for CPT - bring your own dataset
  strategy: gen_qa
  metric: all  # Returns rouge1, rouge2, rougeL, exact_match, f1_score, bleu

inference:
  checkpoint_is_instruction_tuned: "false"  # Required for CPT checkpoints
  top_logprobs: 5 # Change to desired amount of logprobs to calculate
  max_new_tokens: 1 # Keep low for completion tasks
  temperature: 0.0

Perubahan utama untuk evaluasi CPT:

Parameter Kunci