Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Buat pekerjaan inferensi batch
catatan
Inferensi Batch dalam pratinjau dan dapat berubah sewaktu-waktu. Inferensi Batch saat ini hanya tersedia melalui. API Akses batch APIs melalui yang berikut iniSDKs.
Kami menyarankan Anda membuat lingkungan virtual untuk menggunakanSDK. Karena inferensi batch APIs tidak tersedia dalam yang terbaruSDKs, kami sarankan Anda menghapus versi terbaru SDK dari lingkungan virtual sebelum menginstal versi dengan inferensi batch. APIs Untuk contoh yang dipandu, lihatSampel Kode.
Untuk membuat pekerjaan inferensi batch, kirim CreateModelInvocationJob
permintaan. Berikan informasi berikut.
-
ARNPeran dengan izin untuk menjalankan inferensi batch di.
roleArn
-
Informasi untuk bucket S3 yang berisi JSONL file input
inputDataConfig
dan bucket tempat menulis informasi.outputDataConfig
-
ID model yang akan digunakan untuk inferensi di
modelId
(lihatModel dasar Amazon Bedrock IDs (throughput sesuai permintaan) ). -
Sebuah nama untuk pekerjaan di
jobName
-
(Opsional) Tag apa pun yang ingin Anda lampirkan ke pekerjaan
tags
.
Respons mengembalikan sebuah jobArn
yang dapat Anda gunakan untuk panggilan terkait inferensi API batch lainnya.
Anda dapat memeriksa status
pekerjaan dengan salah satu GetModelInvocationJob
atau ListModelInvocationJobs
APIs.
Saat tugasnyaCompleted
, Anda dapat mengekstrak hasil pekerjaan inferensi batch dari file di bucket S3 yang Anda tentukan dalam permintaan untuk. outputDataConfig
Bucket S3 berisi file-file berikut:
-
File keluaran yang berisi hasil inferensi model.
-
Jika outputnya adalah teks, Amazon Bedrock menghasilkan JSONL file output untuk setiap JSONL file input. File output berisi output dari model untuk setiap input dalam format berikut. Sebuah
error
objek menggantikanmodelOutput
bidang di setiap baris di mana ada kesalahan dalam inferensi. FormatmodelOutput
JSON objek cocok denganbody
bidang untuk model yang Anda gunakan dalamInvokeModel
respons. Untuk informasi selengkapnya, lihat Parameter inferensi untuk model pondasi.{ "recordId" : "
11 character alphanumeric string
", "modelInput":{JSON body}
, "modelOutput":{JSON body}
}Contoh berikut menunjukkan file output yang mungkin.
{ "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {'inputTextTokenCount': 8, 'results': [{'tokenCount': 3, 'outputText': 'blue\n', 'completionReason': 'FINISH'}]}} { "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}
-
Jika outputnya adalah gambar, Amazon Bedrock menghasilkan file untuk setiap gambar.
-
-
manifest.json.out
File yang berisi ringkasan pekerjaan inferensi batch.{ "processedRecordCount" : number, "successRecordCount": number, "errorRecordCount": number, "inputTextTokenCount": number, // For embedding/text to text models "outputTextTokenCount" : number, // For text to text models "outputImgCount512x512pStep50": number, // For text to image models "outputImgCount512x512pStep150" : number, // For text to image models "outputImgCount512x896pStep50" : number, // For text to image models "outputImgCount512x896pStep150" : number // For text to image models }