翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
バッチ推論ジョブを作成する
注記
バッチ推論は現在プレビューにつき、今後変更される可能性があります。バッチ推論は現在、 を通じてのみ利用できますAPI。次の APIsを使用してバッチにアクセスしますSDKs。
を使用する仮想環境を作成することをお勧めしますSDK。バッチ推論APIsは最新の では使用できないためSDKs、バッチ推論 でバージョン をインストールする前に、 の最新バージョンを仮想環境SDKからアンインストールすることをお勧めしますAPIs。ガイド付きの例については、「」を参照してくださいコードサンプル。
バッチ推論ジョブを作成するには、CreateModelInvocationJob
リクエストを送信します。以下の情報を指定します。
-
でバッチ推論を実行するアクセス許可を持つロールARNの
roleArn
。 -
の入力JSONLファイルを含む S3 バケット
inputDataConfig
と、 で情報を書き込むバケットの情報outputDataConfig
。 -
modelId
での推論に使用するモデルの ID (「Amazon Bedrock ベースモデル IDs (オンデマンドスループット) 」を参照)。 -
jobName
でのオブの名前。 -
(オプション)
tags
でジョブにアタッチする任意のタグ。
レスポンスは、他のバッチ推論関連のAPI呼び出しjobArn
に使用できる を返します。
ジョブstatus
の は、 GetModelInvocationJob
または ListModelInvocationJobs
のいずれかで確認できますAPIs。
ジョブが Completed
のとき、outputDataConfig
のリクエストで指定した S3 バケット内のファイルから、バッチ推論ジョブの結果を抽出できます。S3 バケットには以下のファイルが含まれています。
-
モデル推論の結果を含む出力ファイル。
-
出力がテキストの場合、Amazon Bedrock は入力JSONLファイルごとに出力JSONLファイルを生成します。出力ファイルには、各入力のモデルからの出力が次の形式で含まれます。推論でエラーが発生した行の
modelOutput
フィールドはerror
オブジェクトに置き換わります。modelOutput
JSON オブジェクトの形式は、InvokeModel
レスポンスで使用するモデルのbody
フィールドと一致します。詳細については、「基盤モデルの推論パラメータ」を参照してください。{ "recordId" : "
11 character alphanumeric string
", "modelInput":{JSON body}
, "modelOutput":{JSON body}
}次の例は、可能な出力ファイルを示しています。
{ "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {'inputTextTokenCount': 8, 'results': [{'tokenCount': 3, 'outputText': 'blue\n', 'completionReason': 'FINISH'}]}} { "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}
-
出力がイメージの場合、Amazon Bedrock はイメージごとにファイルを生成します。
-
-
バッチ推論ジョブの要約を含む
manifest.json.out
ファイル。{ "processedRecordCount" : number, "successRecordCount": number, "errorRecordCount": number, "inputTextTokenCount": number, // For embedding/text to text models "outputTextTokenCount" : number, // For text to text models "outputImgCount512x512pStep50": number, // For text to image models "outputImgCount512x512pStep150" : number, // For text to image models "outputImgCount512x896pStep50" : number, // For text to image models "outputImgCount512x896pStep150" : number // For text to image models }