Sempurnakan model bahasa besar (LLM) menggunakan adaptasi domain - Amazon SageMaker
Mempersiapkan dan mengunggah data pelatihan untuk penyesuaian penyesuaian domainBuat pekerjaan pelatihan untuk fine-tuning berbasis instruksiNotebook contoh

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Sempurnakan model bahasa besar (LLM) menggunakan adaptasi domain

Penyetelan penyesuaian domain memungkinkan Anda memanfaatkan model fondasi yang telah dilatih sebelumnya dan menyesuaikannya dengan tugas tertentu menggunakan data spesifik domain terbatas. Jika upaya rekayasa yang cepat tidak memberikan penyesuaian yang cukup, Anda dapat menggunakan penyesuaian penyesuaian domain untuk membuat model Anda bekerja dengan bahasa khusus domain, seperti jargon industri, istilah teknis, atau data khusus lainnya. Proses fine-tuning ini memodifikasi bobot model.

Untuk menyempurnakan model Anda pada kumpulan data khusus domain:

  1. Siapkan data pelatihan Anda. Untuk petunjuk, silakan lihat Mempersiapkan dan mengunggah data pelatihan untuk penyesuaian penyesuaian domain.

  2. Buat pekerjaan pelatihan fine-tuning Anda. Untuk petunjuk, silakan lihat Buat pekerjaan pelatihan untuk fine-tuning berbasis instruksi.

Anda dapat menemukan end-to-end contoh diNotebook contoh.

Penyetelan penyesuaian domain tersedia dengan model fondasi berikut:

catatan

Beberapa model JumpStart dasar, seperti Llama 2 7B, memerlukan penerimaan perjanjian lisensi pengguna akhir sebelum menyempurnakan dan melakukan inferensi. Untuk informasi selengkapnya, lihat Perjanjian lisensi pengguna akhir.

  • Mekar 3B

  • Mekar 7B1

  • BloomZ 3B FP16

  • BloomZ 7B1 FP16

  • GPT-2 XL

  • GPT-J 6B

  • GPT-Neo 1.3B

  • GPT-Neo 125M

  • GPT- NEO 2.7B

  • Llama 2 13B

  • Llama 2 13B Obrolan

  • Llama 2 13B Neuron

  • Llama 2 70B

  • Llama 2 70B Obrolan

  • Llama 2 7B

  • Llama 2 7B Obrolan

  • Llama 2 7B Neuron

Mempersiapkan dan mengunggah data pelatihan untuk penyesuaian penyesuaian domain

Data pelatihan untuk fine-tuning adaptasi domain dapat disediakan dalamCSV,JSON, atau TXT format file. Semua data pelatihan harus dalam satu file dalam satu folder.

Data pelatihan diambil dari kolom Teks untuk CSV atau file data JSON pelatihan. Jika tidak ada kolom yang diberi label Teks, maka data pelatihan diambil dari kolom pertama untuk CSV atau file data JSON pelatihan.

Berikut ini adalah contoh isi TXT file yang akan digunakan untuk fine-tuning:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of ....

Pisahkan data untuk pelatihan dan pengujian

Anda dapat secara opsional menyediakan folder lain yang berisi data validasi. Folder ini juga harus menyertakan satuCSV,JSON, atau TXT file. Jika tidak ada kumpulan data validasi yang disediakan, maka sejumlah data pelatihan disisihkan untuk tujuan validasi. Anda dapat menyesuaikan persentase data pelatihan yang digunakan untuk validasi ketika Anda memilih hyperparameters untuk menyempurnakan model Anda.

Unggah data fine-tuning ke Amazon S3

Unggah data yang sudah disiapkan ke Amazon Simple Storage Service (Amazon S3) untuk digunakan saat JumpStart menyempurnakan model foundation. Anda dapat menggunakan perintah berikut untuk mengunggah data Anda:

from sagemaker.s3 import S3Uploader
import sagemaker
import random

output_bucket = sagemaker.Session().default_bucket()
local_data_file = "train.txt"
train_data_location = f"s3://{output_bucket}/training_folder"
S3Uploader.upload(local_data_file, train_data_location)
S3Uploader.upload("template.json", train_data_location)
print(f"Training data: {train_data_location}")

Buat pekerjaan pelatihan untuk fine-tuning berbasis instruksi

Setelah data Anda diunggah ke Amazon S3, Anda dapat menyempurnakan dan menerapkan model foundation Anda. JumpStart Untuk menyempurnakan model Anda di Studio, lihat. Sempurnakan model di Studio Untuk menyempurnakan model Anda menggunakan SageMaker Python SDK, lihatSempurnakan model foundation yang tersedia untuk umum dengan kelasnya JumpStartEstimator.

Notebook contoh

Untuk informasi selengkapnya tentang fine-tuning adaptasi domain, lihat contoh buku catatan berikut: