Siapkan dataset

Untuk text-to-text model, siapkan kumpulan data pelatihan dan validasi opsional. Setiap JSON objek adalah sampel yang berisi a prompt dan completion bidang. Gunakan 6 karakter per token sebagai perkiraan untuk jumlah token. Formatnya adalah sebagai berikut.

{"prompt": "<prompt1>", "completion": "<expected generated text>"}
{"prompt": "<prompt2>", "completion": "<expected generated text>"}
{"prompt": "<prompt3>", "completion": "<expected generated text>"}      

Berikut ini adalah item contoh untuk tugas tanya jawab:

{"prompt": "what is AWS", "completion": "it's Amazon Web Services"}

Untuk text-to-image atau image-to-embedding model, siapkan dataset pelatihan. Kumpulan data validasi tidak didukung. Setiap JSON objek adalah sampel yang berisiimage-ref, Amazon S3 URI untuk gambar, dan caption yang bisa menjadi prompt untuk gambar.

Gambar harus dalam JPEG atau PNG format.

{"image-ref": "s3://bucket/path/to/image001.png", "caption": "<prompt text>"}
{"image-ref": "s3://bucket/path/to/image002.png", "caption": "<prompt text>"}
{"image-ref": "s3://bucket/path/to/image003.png", "caption": "<prompt text>"}    

Berikut ini adalah item contoh:

{"image-ref": "s3://amzn-s3-demo-bucket/my-pets/cat.png", "caption": "an orange cat with white spots"}

Untuk mengizinkan Amazon Bedrock mengakses file gambar, tambahkan IAM kebijakan yang mirip dengan yang ada di Izin untuk mengakses file pelatihan dan validasi dan untuk menulis file output di S3 peran layanan penyesuaian model Amazon Bedrock yang Anda atur atau yang disiapkan secara otomatis untuk Anda di konsol. Jalur Amazon S3 yang Anda berikan dalam kumpulan data pelatihan harus berada di folder yang Anda tentukan dalam kebijakan.

Untuk melaksanakan Pra-pelatihan Lanjutan pada suatu text-to-text model, siapkan kumpulan data pelatihan dan validasi opsional. Karena Pra-pelatihan Lanjutan melibatkan data yang tidak berlabel, setiap JSON baris adalah sampel yang hanya berisi bidang. input Gunakan 6 karakter per token sebagai perkiraan untuk jumlah token. Formatnya adalah sebagai berikut.

{"input": "<input text>"}
{"input": "<input text>"}
{"input": "<input text>"}

Berikut ini adalah contoh item yang bisa ada dalam data pelatihan.

{"input": "AWS stands for Amazon Web Services"}

Untuk menyempurnakan text-to-text model menggunakan format pesan satu putaran, siapkan kumpulan data pelatihan dan validasi opsional. Kedua file data harus dalam JSONL format. Setiap baris menentukan sampel data lengkap dalam format json; dan setiap sampel data harus diformat menjadi 1 baris (hapus semua '\n' dalam setiap sampel). Satu baris dengan beberapa sampel data atau membagi sampel data melalui beberapa baris tidak akan berfungsi.

Bidang

Aturan

{"system": "<system message>","messages":[{"role": "user", "content": "<user query>"},{"role": "assistant", "content": "<expected generated text>"}]}

Contoh

{"system": "You are an helpful assistant.","messages":[{"role": "user", "content": "what is AWS"},{"role": "assistant", "content": "it's Amazon Web Services."}]}

Untuk menyempurnakan text-to-text model menggunakan format pesan multi-putaran, siapkan kumpulan data pelatihan dan validasi opsional. Kedua file data harus dalam JSONL format. Setiap baris menentukan sampel data lengkap dalam format json; dan setiap sampel data harus diformat menjadi 1 baris (hapus semua '\n' dalam setiap sampel). Satu baris dengan beberapa sampel data atau membagi sampel data melalui beberapa baris tidak akan berfungsi.

Bidang

Aturan

{"system": "<system message>","messages":[{"role": "user", "content": "<user query 1>"},{"role": "assistant", "content": "<expected generated text 1>"}, {"role": "user", "content": "<user query 2>"},{"role": "assistant", "content": "<expected generated text 2>"}]}

Contoh

{"system": "system message","messages":[{"role": "user", "content": "Hello there."},{"role": "assistant", "content": "Hi, how can I help you?"},{"role": "user", "content": "what are LLMs?"},{"role": "assistant", "content": "LLM means large language model."},]}