View a markdown version of this page

Memformat dan mengunggah data inferensi batch Anda - Amazon Bedrock
Contoh masukan teks untuk Antropik Claude 3 HaikuContoh input video untuk Amazon NovaContoh input Converse

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memformat dan mengunggah data inferensi batch Anda

Anda harus menambahkan data inferensi batch ke lokasi S3 yang akan Anda pilih atau tentukan saat mengirimkan pekerjaan pemanggilan model. Lokasi S3 harus berisi item berikut:

  • Setidaknya satu file JSONL yang mendefinisikan input model. Sebuah JSONL berisi baris objek JSON. File JSONL Anda harus diakhiri dengan ekstensi.jsonl dan dalam format berikut:

    { "recordId" : "string", "modelInput" : {JSON body} }
...

    Setiap baris berisi objek JSON dengan recordId bidang dan modelInput bidang. Format objek modelInput JSON tergantung pada jenis pemanggilan model yang Anda pilih saat membuat pekerjaan inferensi batch. Jika Anda menggunakan InvokeModel tipe (default), format harus cocok dengan body bidang untuk model yang Anda gunakan dalam InvokeModel permintaan (lihatParameter permintaan inferensi dan bidang respons untuk model fondasi). Jika Anda menggunakan Converse tipe, formatnya harus sesuai dengan isi permintaan API Converse.

    catatan

    • Jika Anda menghilangkan recordId bidang tersebut, Amazon Bedrock menambahkannya di output.

    • Urutan catatan dalam file JSONL keluaran tidak dijamin cocok dengan urutan catatan dalam file JSONL input.

    • Anda menentukan model yang ingin Anda gunakan saat membuat pekerjaan inferensi batch.

  • (Jika konten input Anda berisi lokasi Amazon S3) Beberapa model memungkinkan Anda untuk menentukan konten input sebagai lokasi S3. Lihat Contoh input video untuk Amazon Nova.

    Awas

    Saat menggunakan URI S3 dalam petunjuk Anda, semua sumber daya harus berada di bucket dan folder S3 yang sama. InputDataConfigParameter harus menentukan jalur folder yang berisi semua sumber daya yang ditautkan (seperti video atau gambar), bukan hanya .jsonl file individual. Perhatikan bahwa jalur S3 peka huruf besar/kecil, jadi pastikan URI Anda cocok dengan struktur folder yang tepat.

Pastikan input Anda sesuai dengan kuota inferensi batch. Anda dapat mencari kuota berikut di kuota layanan Amazon Bedrock:

  • Jumlah minimum catatan per tugas inferensi batch — Jumlah minimum catatan (objek JSON) di seluruh file JSONL dalam pekerjaan.

  • Rekaman per file input per tugas inferensi batch — Jumlah maksimum catatan (objek JSON) dalam satu file JSONL dalam pekerjaan.

  • Rekaman per tugas inferensi batch — Jumlah maksimum catatan (objek JSON) di seluruh file JSONL dalam pekerjaan.

  • Ukuran file input inferensi batch — Ukuran maksimum satu file dalam pekerjaan.

  • Ukuran pekerjaan inferensi batch — Ukuran kumulatif maksimum semua file input.

Untuk lebih memahami cara mengatur input inferensi batch Anda, lihat contoh berikut:

Contoh masukan teks untuk Antropik Claude 3 Haiku

Jika Anda berencana untuk menjalankan inferensi batch menggunakan format Messages API untuk Anthropic Claude 3 Haiku model, Anda dapat menyediakan file JSONL yang berisi objek JSON berikut sebagai salah satu baris:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Contoh input video untuk Amazon Nova

Jika Anda berencana untuk menjalankan inferensi batch pada input video menggunakan Amazon Nova Pro model Amazon Nova Lite atau, Anda memiliki opsi untuk menentukan video dalam byte atau sebagai lokasi S3 dalam file JSONL. Misalnya, Anda mungkin memiliki bucket S3 yang jalurnya adalah s3://batch-inference-input-bucket dan berisi file berikut:

s3://batch-inference-input-bucket/
├── videos/
│   ├── video1.mp4
│   ├── video2.mp4
│   ├── ...
│   └── video50.mp4
└── input.jsonl

Contoh catatan dari input.jsonl file adalah sebagai berikut:

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
                                    "bucketOwner": "111122223333"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

Saat Anda membuat pekerjaan inferensi batch, Anda harus menentukan jalur folder s3://batch-inference-input-bucket di InputDataConfig parameter Anda. Inferensi batch akan memproses input.jsonl file di lokasi ini, bersama dengan sumber daya yang direferensikan (seperti file video di videos subfolder).

Sumber daya berikut memberikan informasi selengkapnya tentang mengirimkan input video untuk inferensi batch:

  • Untuk mempelajari cara memvalidasi URI Amazon S3 dalam permintaan masukan, lihat blog Penguraian URL Amazon S3.

  • Untuk informasi selengkapnya tentang cara mengatur rekaman pemanggilan untuk pemahaman video dengan Nova, lihat pedoman Amazon Nova dorongan visi.

Contoh input Converse

Jika Anda menyetel tipe pemanggilan model ke Converse saat membuat pekerjaan inferensi batch, modelInput bidang harus menggunakan format permintaan API Converse. Contoh berikut menunjukkan catatan JSONL untuk pekerjaan inferensi batch Converse:

{
    "recordId": "CALL0000001",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "Summarize the following call transcript: ..."
                    }
                ]
            }
        ],
        "inferenceConfig": {
            "maxTokens": 1024
        }
    }
}

Untuk daftar lengkap bidang yang didukung di badan permintaan Converse, lihat Converse di referensi API.

Topik berikut menjelaskan cara mengatur akses S3 dan izin inferensi batch untuk identitas agar dapat melakukan inferensi batch.