Format dan unggah data inferensi batch Anda

Untuk menyiapkan input untuk inferensi batch, buat file.jsonl dalam format berikut:

{ "recordId" : "11 character alphanumeric string", "modelInput" : {JSON body} }
...

Setiap baris berisi JSON objek dengan recordId bidang dan modelInput bidang yang berisi badan permintaan untuk masukan yang ingin Anda kirimkan. Format modelInput JSON objek harus sesuai dengan body bidang untuk model yang Anda gunakan dalam InvokeModel permintaan. Untuk informasi selengkapnya, lihat Parameter permintaan inferensi dan bidang respons untuk model pondasi.

Misalnya, Anda mungkin memberikan JSONL file yang berisi baris berikut jika Anda berencana untuk menjalankan inferensi batch menggunakan Anthropic Claude 3 Haiku model:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Setelah menyiapkan file input Anda, unggah ke bucket S3. Lampirkan izin berikut ke peran layanan inferensi batch Anda dan ganti ${{s3-bucket-input}} dengan ember tempat Anda mengunggah file input dan ${{s3-bucket-output}} dengan ember tempat Anda ingin menulis file output.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::${{s3-bucket-input}}", 
                "arn:aws:s3:::${{s3-bucket-input}}/*",
                "arn:aws:s3:::${{s3-bucket-output}}",
                "arn:aws:s3:::${{s3-bucket-output}}/*"
            ],
            "Effect": "Allow"
        }
    ]
}