기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

AI21 Labs잠바-인스트럭트 모델

이 섹션에서는 모델 사용을 위한 추론 파라미터와 코드 예제를 제공합니다. AI21 Jamba-Instruct

필수 필드

AI21 Labs Jamba-Instruct 모델은 다음과 같은 필수 필드를 지원합니다.

추론 파라미터

AI21 Labs Jamba-Instruct 모델은 다음과 같은 추론 파라미터를 지원합니다.

무작위성과 다양성

AI21 Labs Jamba-Instruct 모델은 응답의 임의성과 다양성을 제어하기 위해 다음 파라미터를 지원합니다.

길이

AI21 Labs Jamba Instruct 모델은 다음과 같은 매개변수를 지원하여 생성된 응답의 길이를 제어합니다.

반복

AI21 Labs Jamba-Instruct 모델은 생성된 응답의 반복을 제어하기 위해 다음 매개변수를 지원합니다.

모델 간접 호출 요청 본문 필드

AI21 Labs모델을 사용하여 InvokeModel또는 InvokeModelWithResponseStream호출을 할 때는 아래 항목을 준수하는 JSON 객체로 body 필드를 채우십시오. prompt 필드에 프롬프트를 입력합니다.

{
  "messages": [
    {
      "role":"system", // Non-printing contextual information for the model
      "content":"You are a helpful history teacher. You are kind and you respond with helpful content in a professional manner. Limit your answers to three sentences. Your listener is a high school student."
    },
    {
      "role":"user", // The question we want answered.
      "content":"Who was the first emperor of rome?"
    }
  ],
  "n":1 // Limit response to one answer
}

모델 호출 응답 본문 필드

응답의 body 필드 형식에 대한 자세한 내용은 https://docs.ai21.com/reference/ jamba-instruct-api #response -details를 참조하십시오.

코드 예제

이 예제는 AI21 Labs Jamba-Instruct 모델을 호출하는 방법을 보여줍니다.

invoke_model

import boto3 
import json

bedrock = session.client('bedrock-runtime', 'us-east-1') 
response = bedrock.invoke_model( 
        modelId='ai21.jamba-instruct-v1:0', 
        body=json.dumps({
            'messages': [ 
                { 
                    'role': 'user', 
                    'content': 'which llm are you?' 
                } 
             ], 
         }) 
       ) 

print(json.dumps(json.loads(response['body']), indent=4))
            

컨버스

import boto3 
import json

bedrock = session.client('bedrock-runtime', 'us-east-1')
response = bedrock.converse( 
    modelId='ai21.jamba-instruct-v1:0', 
    messages=[ 
        { 
            'role': 'user', 
            'content': [ 
                { 
                    'text': 'which llm are you?' 
                } 
             ] 
          } 
     ] 
  ) 

print(json.dumps(json.loads(response['body']), indent=4))