バッチ推論データをフォーマットしてアップロードする

バッチ推論の入力を準備するには、次の形式で .jsonl ファイルを作成します。

{ "recordId" : "11 character alphanumeric string", "modelInput" : {JSON body} }
...

各行には、recordId フィールドを含む JSON オブジェクトと、送信する入力のリクエスト本文を含む modelInput フィールドが含まれます。modelInput JSON オブジェクトの形式は、InvokeModel リクエストで使用するモデルの body フィールドと一致する必要があります。詳細については、「Inference request parameters and response fields for foundation models」を参照してください。

例えば、Anthropic Claude 3 Haiku モデルを使用してバッチ推論を実行する場合は、次の行を含む JSONL ファイルを指定できます。

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

入力ファイルを準備したら、S3 バケットにアップロードします。バッチ推論サービスロールに次のアクセス許可をアタッチし、${{s3-bucket-input}} を入力ファイルをアップロードしたバケットに置き換え、${{s3-bucket-output}} を出力ファイルを書き込むバケットに置き換えます。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::${{s3-bucket-input}}", 
                "arn:aws:s3:::${{s3-bucket-input}}/*",
                "arn:aws:s3:::${{s3-bucket-output}}",
                "arn:aws:s3:::${{s3-bucket-output}}/*"
            ],
            "Effect": "Allow"
        }
    ]
}

Nova Lite モデルと Nova Pro モデルでビデオ理解にバッチ推論を使用している場合は、CreateModelInvocationJobAPI 入力の InputDataConfigフィールドで提供される Amazon S3 パスが、処理するすべての入力 JSONL ファイルと、入力レコードによって参照されるすべてのビデオオブジェクトを含む Amazon S3 フォルダであることを確認します。

例えば、バッチジョブの s3://batch-inference-input-data/job-input-folder-data/として Amazon S3 パスを指定するInputDataConfigと、適切なデータ設定は次のようになります。

batch-inference-input-data/
job-input-folder-data/
input.jsonl
video.mp4

ビデオオブジェクトを処理するための呼び出しレコードs3://batch-inference-input-data/job-input-folder-data/input.jsonlを含むサンプルは以下のとおりです。動画オブジェクトの Amazon S3 URI が、ここで JSONL ファイルと同じ Amazon S3 オブジェクトの下に配置されていることに注意してください。

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/job-input-folder-data/video.mp4",
                                    "bucketOwner": "123456789012"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

有効な Amazon S3 URI パスを仮定すると、ビデオオブジェクトは指定された InputDataConfig Amazon S3 URI パスの任意の場所にネストできます。入力リクエストで Amazon S3 URI をプロアクティブに検証する方法については、この Amazon S3 URL 解析ブログを参照してください。 Amazon S3 URIs

Nova でのビデオ理解のための呼び出しレコードの設定方法の詳細については、Amazon Nova ビジョンプロンプトガイドラインを参照してください。