本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
建立批次推論任務
注意
批次推論為預覽版,可能會有所變更。批次推論目前只能透過 API 使用。透過下列 SDK 存取批次 API。
我們建議您建立虛擬環境以使用 SDK。由於最新的 SDK 中無法使用批次推論 API,因此建議您先從虛擬環境中解除安裝最新版本的 SDK,然後再使用批次推論 API 安裝版本。如需引導範例,請參閱程式碼範例。
若要建立批次推論任務,請傳送 CreateModelInvocationJob
請求。請提供下列資訊。
-
角色的 ARN,具有在
roleArn
中執行批次推論的權限。 -
S3 儲存貯體的資訊,其中包含
inputDataConfig
中的輸入資料,以及要在outputDataConfig
中寫入資訊的儲存貯體資訊。 -
modelId
中用於推論的模型 ID (請參閱 Amazon 基本模型 ID (隨需輸送量) )。 -
在
jobName
中輸入任務的名稱。 -
(選用) 您希望附加到
tags
中的任務的任何標籤。
回應會傳回 jobArn
,其可用於其他批次推論相關 API 呼叫。
您可以使用 GetModelInvocationJob
或 ListModelInvocationJobs
API 檢查任務的 status
。
當任務是 Completed
時,您可以從您在請求中為 outputDataConfig
指定的 S3 儲存貯體中的檔案,擷取批次推論任務的結果。S3 儲存貯體包含下列檔案:
-
包含模型推論結果的輸出檔案。
-
如果輸出的是文字,Amazon Bedrock 會為每個輸入 JSONL 檔案產生一個輸出 JSONL 檔案。輸出檔案包含以下格式的每個輸入的模型輸出。
error
物件會在推論中發生錯誤的任一行中取代modelOutput
欄位。modelOutput
JSON 物件的格式符合您在InvokeModel
回應中使用之模型的body
欄位。如需詳細資訊,請參閱 基礎模型的推論參數。{ "recordId" : "
11 character alphanumeric string
", "modelInput":{JSON body}
, "modelOutput":{JSON body}
}下列範例展示可能的輸出檔案。
{ "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {'inputTextTokenCount': 8, 'results': [{'tokenCount': 3, 'outputText': 'blue\n', 'completionReason': 'FINISH'}]}} { "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}
-
如果輸出的是影像,Amazon Bedrock 會為每個影像產生檔案。
-
-
包含批次推論任務摘要的
manifest.json.out
檔案。{ "processedRecordCount" : number, "successRecordCount": number, "errorRecordCount": number, "inputTextTokenCount": number, // For embedding/text to text models "outputTextTokenCount" : number, // For text to text models "outputImgCount512x512pStep50": number, // For text to image models "outputImgCount512x512pStep150" : number, // For text to image models "outputImgCount512x896pStep50" : number, // For text to image models "outputImgCount512x896pStep150" : number // For text to image models }