Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Anda harus menambahkan data inferensi batch ke lokasi S3 yang akan Anda pilih atau tentukan saat mengirimkan pekerjaan pemanggilan model. Lokasi S3 harus berisi item berikut:
-
Setidaknya satu file JSONL yang mendefinisikan input model. Sebuah JSONL berisi baris objek JSON. File JSONL Anda harus diakhiri dengan ekstensi.jsonl dan dalam format berikut:
{ "recordId" : "11 character alphanumeric string", "modelInput" :{JSON body}} ...Setiap baris berisi objek JSON dengan
recordIdbidang danmodelInputbidang yang berisi badan permintaan untuk input yang ingin Anda kirimkan. Format objekmodelInputJSON harus cocok denganbodybidang untuk model yang Anda gunakan dalamInvokeModelpermintaan. Untuk informasi selengkapnya, lihat Parameter permintaan inferensi dan bidang respons untuk model pondasi.catatan
-
Jika Anda menghilangkan
recordIdbidang, Amazon Bedrock menambahkannya di output. -
Anda menentukan model yang ingin Anda gunakan saat membuat pekerjaan inferensi batch.
-
-
(Jika Anda mendefinisikan konten input sebagai lokasi Amazon S3) Beberapa model memungkinkan Anda untuk menentukan konten input sebagai lokasi S3. Jika Anda memilih opsi ini, pastikan bahwa lokasi S3 yang akan Anda tentukan berisi konten dan file JSONL Anda. Konten dan file JSONL Anda dapat bersarang di folder di lokasi S3 yang Anda tentukan. Sebagai contoh, lihat Contoh masukan video untuk Amazon Nova.
Pastikan input Anda sesuai dengan kuota inferensi batch. Anda dapat mencari kuota berikut di kuota layanan Amazon Bedrock:
-
Jumlah minimum catatan per pekerjaan inferensi batch - Jumlah minimum catatan (objek JSON) di seluruh file JSONL dalam pekerjaan.
-
Rekaman per file input per pekerjaan inferensi batch - Jumlah maksimum catatan (objek JSON) dalam satu file JSONL dalam pekerjaan.
-
Rekaman per pekerjaan inferensi batch — Jumlah maksimum catatan (objek JSON) di seluruh file JSONL dalam pekerjaan.
-
Ukuran file input inferensi Batch — Ukuran maksimum satu file dalam pekerjaan.
-
Ukuran pekerjaan inferensi Batch — Ukuran kumulatif maksimum dari semua file input.
Untuk lebih memahami cara mengatur input inferensi batch Anda, lihat contoh berikut:
Contoh masukan teks untuk Anthropic Claude 3 Haiku
Jika Anda berencana untuk menjalankan inferensi batch menggunakan format Messages API untuk Anthropic Claude 3 Haiku model, Anda mungkin menyediakan file JSONL yang berisi objek JSON berikut sebagai salah satu baris:
{
"recordId": "CALL0000001",
"modelInput": {
"anthropic_version": "bedrock-2023-05-31",
"max_tokens": 1024,
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "Summarize the following call transcript: ..."
}
]
}
]
}
}Contoh masukan video untuk Amazon Nova
Jika Anda berencana untuk menjalankan inferensi batch pada input video menggunakan Amazon Nova Lite atau Amazon Nova Pro model, Anda memiliki opsi untuk mendefinisikan video dalam byte atau sebagai lokasi S3 di file JSONL. Misalnya, Anda mungkin memiliki bucket S3 yang jalurnya s3://batch-inference-input-bucket dan berisi file-file berikut:
videos/ video1.mp4 video2.mp4 ... video50.mp4 input.jsonl
Contoh catatan dari input.jsonl file tersebut adalah sebagai berikut:
{
"recordId": "RECORD01",
"modelInput": {
"messages": [
{
"role": "user",
"content": [
{
"text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
},
{
"video": {
"format": "mp4",
"source": {
"s3Location": {
"uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
"bucketOwner": "111122223333"
}
}
}
}
]
}
]
}
}Saat Anda membuat pekerjaan inferensi batch, Anda dapat menentukan s3://batch-inference-input-bucket sebagai lokasi S3. Inferensi Batch akan memproses input.jsonl file di lokasi, selain file video di dalam videos folder yang direferensikan dalam file JSONL.
Sumber daya berikut memberikan informasi lebih lanjut tentang mengirimkan input video untuk inferensi batch:
-
Untuk mempelajari cara memvalidasi Amazon URIs S3 secara proaktif dalam permintaan input, lihat blog Parsing URL Amazon S3
. -
Untuk informasi lebih lanjut tentang cara mengatur catatan doa untuk pemahaman video dengan Nova, lihat Amazon Nova pedoman yang mendorong visi.
Topik berikut menjelaskan cara mengatur akses S3 dan izin inferensi batch untuk identitas agar dapat melakukan inferensi batch.
