Buat pekerjaan inferensi batch - Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Buat pekerjaan inferensi batch

catatan

Inferensi Batch dalam pratinjau dan dapat berubah sewaktu-waktu. Inferensi Batch saat ini hanya tersedia melalui. API Akses batch APIs melalui yang berikut iniSDKs.

Kami menyarankan Anda membuat lingkungan virtual untuk menggunakanSDK. Karena inferensi batch APIs tidak tersedia dalam yang terbaruSDKs, kami sarankan Anda menghapus versi terbaru SDK dari lingkungan virtual sebelum menginstal versi dengan inferensi batch. APIs Untuk contoh yang dipandu, lihatSampel Kode.

Request format
POST /model-invocation-job HTTP/1.1
Content-type: application/json

{
   "clientRequestToken": "string",
   "inputDataConfig": { 
        "s3InputDataConfig": { 
            "s3Uri": "string",
            "s3InputFormat": "JSONL"
        }
   },
   "jobName": "string",
   "modelId": "string",
   "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "string"
        }
   },
   "roleArn": "string",
   "tags": [ 
      { 
         "key": "string",
         "value": "string"
      }
   ]
}
Response format
HTTP/1.1 200
Content-type: application/json

{
   "jobArn": "string"
}

Untuk membuat pekerjaan inferensi batch, kirim CreateModelInvocationJob permintaan. Berikan informasi berikut.

  • ARNPeran dengan izin untuk menjalankan inferensi batch di. roleArn

  • Informasi untuk bucket S3 yang berisi JSONL file input inputDataConfig dan bucket tempat menulis informasi. outputDataConfig

  • ID model yang akan digunakan untuk inferensi di modelId (lihatModel dasar Amazon Bedrock IDs (throughput sesuai permintaan) ).

  • Sebuah nama untuk pekerjaan di jobName

  • (Opsional) Tag apa pun yang ingin Anda lampirkan ke pekerjaantags.

Respons mengembalikan sebuah jobArn yang dapat Anda gunakan untuk panggilan terkait inferensi API batch lainnya.

Anda dapat memeriksa status pekerjaan dengan salah satu GetModelInvocationJob atau ListModelInvocationJobsAPIs.

Saat tugasnyaCompleted, Anda dapat mengekstrak hasil pekerjaan inferensi batch dari file di bucket S3 yang Anda tentukan dalam permintaan untuk. outputDataConfig Bucket S3 berisi file-file berikut:

  1. File keluaran yang berisi hasil inferensi model.

    • Jika outputnya adalah teks, Amazon Bedrock menghasilkan JSONL file output untuk setiap JSONL file input. File output berisi output dari model untuk setiap input dalam format berikut. Sebuah error objek menggantikan modelOutput bidang di setiap baris di mana ada kesalahan dalam inferensi. Format modelOutput JSON objek cocok dengan body bidang untuk model yang Anda gunakan dalam InvokeModel respons. Untuk informasi selengkapnya, lihat Parameter inferensi untuk model pondasi.

      { "recordId" : "11 character alphanumeric string", "modelInput": {JSON body}, "modelOutput": {JSON body} }

      Contoh berikut menunjukkan file output yang mungkin.

      { "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {'inputTextTokenCount': 8, 'results': [{'tokenCount': 3, 'outputText': 'blue\n', 'completionReason': 'FINISH'}]}}
{ "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}

    • Jika outputnya adalah gambar, Amazon Bedrock menghasilkan file untuk setiap gambar.

  2. manifest.json.outFile yang berisi ringkasan pekerjaan inferensi batch.

    {
    "processedRecordCount" : number,
    "successRecordCount": number,
    "errorRecordCount": number,
    "inputTextTokenCount": number, // For embedding/text to text models
    "outputTextTokenCount" : number, // For text to text models 
    "outputImgCount512x512pStep50": number, // For text to image models 
    "outputImgCount512x512pStep150" : number, // For text to image models 
    "outputImgCount512x896pStep50" : number, // For text to image models 
    "outputImgCount512x896pStep150" : number // For text to image models 
}