배치 추론 작업 생성 - Amazon Bedrock

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

배치 추론 작업 생성

참고

배치 추론은 현재 미리 보기이므로 변경될 수도 있습니다. Batch 추론은 현재 를 통해서만 사용할 수 있습니다. API 다음을 APIs SDKs 통해 일괄적으로 액세스하십시오.

를 사용할 가상 환경을 만드는 것이 좋습니다SDK. 최신 SDKs 버전에서는 일괄 추론을 APIs 사용할 수 없으므로 일괄 추론이 포함된 버전을 설치하기 전에 가상 환경에서 최신 버전을 SDK 제거하는 것이 좋습니다. APIs 안내 예제를 보려면 을 참조하십시오. 코드 샘플

Request format
POST /model-invocation-job HTTP/1.1
Content-type: application/json

{
   "clientRequestToken": "string",
   "inputDataConfig": { 
        "s3InputDataConfig": { 
            "s3Uri": "string",
            "s3InputFormat": "JSONL"
        }
   },
   "jobName": "string",
   "modelId": "string",
   "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "string"
        }
   },
   "roleArn": "string",
   "tags": [ 
      { 
         "key": "string",
         "value": "string"
      }
   ]
}
Response format
HTTP/1.1 200
Content-type: application/json

{
   "jobArn": "string"
}

배치 추론 작업을 생성하려면 CreateModelInvocationJob 요청을 전송합니다. 다음 정보를 입력합니다.

  • 일괄 추론을 실행할 권한이 있는 역할의. ARN roleArn

  • 입력 JSONL 파일이 들어 있는 S3 inputDataConfig 버킷과 정보를 기록할 버킷에 outputDataConfig 대한 정보입니다.

  • modelId의 추론에 사용할 모델의 ID(Amazon 베드락 기본 모델 IDs (온디맨드 처리량) 참고)입니다.

  • jobName의 작업 이름입니다.

  • (선택 사항) tags의 작업에 연결할 모든 태그입니다.

응답은 다른 일괄 추론 API 관련 호출에 사용할 수 jobArn 있는 a를 반환합니다.

또는 를 status 사용하여 작업을 확인할 수 있습니다. GetModelInvocationJob ListModelInvocationJobs APIs

작업이 Completed 상태가 되면 outputDataConfig의 요청에 지정한 S3 버킷의 파일에서 배치 추론 작업의 결과를 추출할 수 있습니다. S3 버킷에는 다음 파일이 포함됩니다.

  1. 모델 추론 결과가 포함된 출력 파일이 있습니다.

    • 출력이 텍스트인 경우 Amazon Bedrock은 각 입력 JSONL JSONL 파일에 대한 출력 파일을 생성합니다. 출력 파일에는 각 입력의 모델에서 얻은 출력이 다음 형식으로 포함되어 있습니다. 추론에 오류가 발생한 모든 줄의 modelOutput 필드를 error 객체가 대체합니다. modelOutputJSON객체 형식은 응답에 사용한 모델의 body 필드와 일치합니다. InvokeModel 자세한 내용은 파운데이션 모델의 추론 파라미터 단원을 참조하십시오.

      { "recordId" : "11 character alphanumeric string", "modelInput": {JSON body}, "modelOutput": {JSON body} }

      다음 예제 출력은 가능한 출력 파일을 보여 줍니다.

      { "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {'inputTextTokenCount': 8, 'results': [{'tokenCount': 3, 'outputText': 'blue\n', 'completionReason': 'FINISH'}]}}
{ "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}

    • 출력이 이미지인 경우 Amazon Bedrock은 각 이미지별 파일을 생성합니다.

  2. 배치 추론 작업의 요약이 포함된 manifest.json.out 파일입니다.

    {
    "processedRecordCount" : number,
    "successRecordCount": number,
    "errorRecordCount": number,
    "inputTextTokenCount": number, // For embedding/text to text models
    "outputTextTokenCount" : number, // For text to text models 
    "outputImgCount512x512pStep50": number, // For text to image models 
    "outputImgCount512x512pStep150" : number, // For text to image models 
    "outputImgCount512x896pStep50" : number, // For text to image models 
    "outputImgCount512x896pStep150" : number // For text to image models 
}