추론 데이터의 형식 지정 및 업로드

배치 추론을 위한 입력을 준비하려면 다음 형식으로 .jsonl 파일을 만듭니다.

{ "recordId" : "11 character alphanumeric string", "modelInput" : {JSON body} }
...

각 줄에는 recordId 필드가 있는 JSON 객체와 제출하려는 입력에 대한 요청 본문이 포함된 modelInput 필드가 포함됩니다. modelInput JSON 객체의 형식은 InvokeModel 요청에서 사용하는 모델의 body 필드와 일치해야 합니다. 자세한 내용은 파운데이션 모델의 추론 요청 파라미터 및 응답 필드 단원을 참조하십시오.

예를 들어, Anthropic Claude 3 Haiku 모델을 사용하여 배치 추론을 실행하려는 경우, 다음 줄이 포함된 JSONL 파일을 제공할 수 있습니다.

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

입력 파일을 준비한 후 S3 버킷에 업로드합니다. 배치 추론 서비스 역할에 다음 권한을 연결하고 ${{s3-bucket-input}}을 입력 파일을 업로드한 버킷으로, ${{s3-bucket-output}}을 출력 파일을 쓰려는 버킷으로 바꿉니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::${{s3-bucket-input}}", 
                "arn:aws:s3:::${{s3-bucket-input}}/*",
                "arn:aws:s3:::${{s3-bucket-output}}",
                "arn:aws:s3:::${{s3-bucket-output}}/*"
            ],
            "Effect": "Allow"
        }
    ]
}