기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
배치 추론 작업 생성
참고
배치 추론은 현재 미리 보기이므로 변경될 수도 있습니다. Batch 추론은 현재 를 통해서만 사용할 수 있습니다. API 다음을 APIs SDKs 통해 일괄적으로 액세스하십시오.
를 사용할 가상 환경을 만드는 것이 좋습니다SDK. 최신 SDKs 버전에서는 일괄 추론을 APIs 사용할 수 없으므로 일괄 추론이 포함된 버전을 설치하기 전에 가상 환경에서 최신 버전을 SDK 제거하는 것이 좋습니다. APIs 안내 예제를 보려면 을 참조하십시오. 코드 샘플
배치 추론 작업을 생성하려면 CreateModelInvocationJob
요청을 전송합니다. 다음 정보를 입력합니다.
-
일괄 추론을 실행할 권한이 있는 역할의. ARN
roleArn
-
입력 JSONL 파일이 들어 있는 S3
inputDataConfig
버킷과 정보를 기록할 버킷에outputDataConfig
대한 정보입니다. -
modelId
의 추론에 사용할 모델의 ID(Amazon 베드락 기본 모델 IDs (온디맨드 처리량) 참고)입니다. -
jobName
의 작업 이름입니다. -
(선택 사항)
tags
의 작업에 연결할 모든 태그입니다.
응답은 다른 일괄 추론 API 관련 호출에 사용할 수 jobArn
있는 a를 반환합니다.
또는 를 status
사용하여 작업을 확인할 수 있습니다. GetModelInvocationJob
ListModelInvocationJobs
APIs
작업이 Completed
상태가 되면 outputDataConfig
의 요청에 지정한 S3 버킷의 파일에서 배치 추론 작업의 결과를 추출할 수 있습니다. S3 버킷에는 다음 파일이 포함됩니다.
-
모델 추론 결과가 포함된 출력 파일이 있습니다.
-
출력이 텍스트인 경우 Amazon Bedrock은 각 입력 JSONL JSONL 파일에 대한 출력 파일을 생성합니다. 출력 파일에는 각 입력의 모델에서 얻은 출력이 다음 형식으로 포함되어 있습니다. 추론에 오류가 발생한 모든 줄의
modelOutput
필드를error
객체가 대체합니다.modelOutput
JSON객체 형식은 응답에 사용한 모델의body
필드와 일치합니다.InvokeModel
자세한 내용은 파운데이션 모델의 추론 파라미터 단원을 참조하십시오.{ "recordId" : "
11 character alphanumeric string
", "modelInput":{JSON body}
, "modelOutput":{JSON body}
}다음 예제 출력은 가능한 출력 파일을 보여 줍니다.
{ "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {'inputTextTokenCount': 8, 'results': [{'tokenCount': 3, 'outputText': 'blue\n', 'completionReason': 'FINISH'}]}} { "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}
-
출력이 이미지인 경우 Amazon Bedrock은 각 이미지별 파일을 생성합니다.
-
-
배치 추론 작업의 요약이 포함된
manifest.json.out
파일입니다.{ "processedRecordCount" : number, "successRecordCount": number, "errorRecordCount": number, "inputTextTokenCount": number, // For embedding/text to text models "outputTextTokenCount" : number, // For text to text models "outputImgCount512x512pStep50": number, // For text to image models "outputImgCount512x512pStep150" : number, // For text to image models "outputImgCount512x896pStep50" : number, // For text to image models "outputImgCount512x896pStep150" : number // For text to image models }