本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
您必須將批次推論資料新增至要在提交模型調用任務時選擇或指定的 S3 位置。S3 位置必須包含下列項目:
-
至少一個定義模型輸入的 JSONL 檔案。JSONL 包含 JSON 物件的資料列。您的 JSONL 檔案必須以副檔名 .jsonl 結尾,且格式如下:
{ "recordId" : "
alphanumeric string
", "modelInput" :{JSON body}
} ...每一行都包含一個 JSON 物件,其中包含一個
recordId
欄位和一個modelInput
欄位,其中包含您要提交之輸入的請求內文。modelInput
JSON 物件的格式必須符合您在InvokeModel
請求中使用的模型body
欄位。如需詳細資訊,請參閱基礎模型的推論請求參數和回應欄位。注意
-
如果您省略 欄位,Amazon Bedrock 會在輸出中新增該
recordId
欄位。 -
您可以在建立批次推論任務時指定要使用的模型。
-
-
(如果您將輸入內容定義為 Amazon S3 位置) 有些模型可讓您將輸入內容定義為 S3 位置。如果您選擇此選項,請確定您將指定的 S3 位置同時包含您的內容和 JSONL 檔案。您的內容和 JSONL 檔案可以巢狀在您指定的 S3 位置的資料夾中。如需範例,請參閱「的範例視訊輸入 Amazon Nova」。
確保您的輸入符合批次推論配額。您可以在 Amazon Bedrock 服務配額中搜尋下列配額:
-
每個批次推論任務的記錄數下限 – 任務中 JSONL 檔案的記錄數下限 (JSON 物件)。
-
每個批次推論任務的每個輸入檔案記錄 – 任務中單一 JSONL 檔案中的記錄 (JSON 物件) 數目上限。
-
每個批次推論任務的記錄數 – 任務中跨 JSONL 檔案的記錄數上限 (JSON 物件)。
-
批次推論輸入檔案大小 – 任務中單一檔案的大小上限。
-
批次推論任務大小 – 所有輸入檔案的最大累積大小。
若要進一步了解如何設定批次推論輸入,請參閱下列範例:
的範例文字輸入 AnthropicClaude 3 Haiku
如果您計劃使用AnthropicClaude 3 Haiku模型的訊息 API 格式執行批次推論,您可以提供包含下列 JSON 物件的 JSONL 檔案做為其中一行:
{
"recordId": "CALL0000001",
"modelInput": {
"anthropic_version": "bedrock-2023-05-31",
"max_tokens": 1024,
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "Summarize the following call transcript: ..."
}
]
}
]
}
}
的範例視訊輸入 Amazon Nova
如果您計劃使用 Amazon Nova Lite或 Amazon Nova Pro模型在視訊輸入上執行批次推論,您可以選擇在 JSONL 檔案中以位元組或 S3 位置定義視訊。例如,您可能有一個 S3 儲存貯體,其路徑為 s3://batch-inference-input-bucket
並包含下列檔案:
videos/ video1.mp4 video2.mp4 ... video50.mp4 input.jsonl
來自 input.jsonl
檔案的範例記錄如下:
{
"recordId": "RECORD01",
"modelInput": {
"messages": [
{
"role": "user",
"content": [
{
"text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
},
{
"video": {
"format": "mp4",
"source": {
"s3Location": {
"uri": "s3://batch-inference-input-bucket/videos/video1.mp4
",
"bucketOwner": "111122223333
"
}
}
}
}
]
}
]
}
}
建立批次推論任務時,您可以將 指定s3://batch-inference-input-bucket
為 S3 位置。除了 JSONL input.jsonl
檔案中參考的videos
資料夾中的影片檔案之外,批次推論還會處理 位置中的檔案。
下列資源提供提交影片輸入以進行批次推論的詳細資訊:
-
若要了解如何主動驗證輸入請求中的 Amazon S3 URIs,請參閱 Amazon S3 URL 剖析部落格
。 -
如需如何使用 Nova 設定影片理解調用記錄的詳細資訊,請參閱Amazon Nova視覺提示準則。
下列主題說明如何設定身分的 S3 存取和批次推論許可,以執行批次推論。