Format dan unggah data inferensi batch Anda - Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Format dan unggah data inferensi batch Anda

Untuk menyiapkan input untuk inferensi batch, buat file.jsonl dalam format berikut:

{ "recordId" : "11 character alphanumeric string", "modelInput" : {JSON body} }
...

Setiap baris berisi objek JSON dengan recordId bidang dan modelInput bidang yang berisi badan permintaan untuk input yang ingin Anda kirimkan. Format objek modelInput JSON harus cocok dengan body bidang untuk model yang Anda gunakan dalam InvokeModel permintaan. Untuk informasi selengkapnya, lihat Parameter permintaan inferensi dan bidang respons untuk model pondasi.

catatan

  • Jika Anda menghilangkan recordId bidang, Amazon Bedrock menambahkannya di output.

  • Anda menentukan model yang ingin Anda gunakan saat membuat pekerjaan inferensi batch.

Misalnya, Anda mungkin memberikan file JSONL yang berisi baris berikut jika Anda berencana untuk menjalankan inferensi batch menggunakan Anthropic Claude 3 Haiku model:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Setelah menyiapkan file input Anda, unggah ke bucket S3. Lampirkan izin berikut ke peran layanan inferensi batch Anda dan ganti ${{s3-bucket-input}} dengan bucket tempat Anda mengunggah file input dan ${{s3-bucket-output}} dengan bucket tempat Anda ingin menulis file output.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::${{s3-bucket-input}}", 
                "arn:aws:s3:::${{s3-bucket-input}}/*",
                "arn:aws:s3:::${{s3-bucket-output}}",
                "arn:aws:s3:::${{s3-bucket-output}}/*"
            ],
            "Effect": "Allow"
        }
    ]
}

Jika Anda menggunakan inferensi batch untuk pemahaman video dengan model Nova Lite dan Nova Pro, pastikan bahwa jalur Amazon S3 yang disediakan di InputDataConfig bidang input API adalah folder Amazon S3 yang berisi semua file JSONL input yang ingin Anda proses dan semua objek video yang direferensikan oleh catatan input. CreateModelInvocationJob

Misalnya, jika Anda menyediakan jalur Amazon S3 s3://batch-inference-input-data/job-input-folder-data/ sebagai InputDataConfig untuk pekerjaan batch, penyiapan data yang sesuai akan menyerupai berikut ini:

batch-inference-input-data/
job-input-folder-data/
input.jsonl
video.mp4

Sampel s3://batch-inference-input-data/job-input-folder-data/input.jsonl dengan catatan pemanggilan untuk memproses objek video ditunjukkan di bawah ini. Perhatikan bagaimana URI Amazon S3 objek video terletak di bawah objek Amazon S3 yang sama dengan file JSONL di sini.

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/job-input-folder-data/video.mp4",
                                    "bucketOwner": "123456789012"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

Dengan asumsi jalur URI Amazon S3 yang valid, objek video dapat disarangkan di mana saja di bawah jalur URI Amazon InputDataConfig S3 yang disediakan. Lihat blog Parsing URL Amazon S3 ini untuk mempelajari cara memvalidasi Amazon S3 secara proaktif dalam permintaan input. URIs

Lihat pedoman petunjuk visi Amazon Nova untuk informasi lebih lanjut tentang cara menyiapkan catatan doa untuk pemahaman video dengan Nova.