기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

AI21 Labs Jamba 모델

이 섹션에서는 AI21 Labs Jamba 모델을 사용하기 위한 추론 파라미터와 코드 예시를 제공합니다.

필수 필드

AI21 Labs Jamba 모델은 다음과 같은 필수 필드를 지원합니다.

추론 파라미터

AI21 Labs Jamba 모델은 다음과 같은 추론 파라미터를 지원합니다.

무작위성과 다양성

AI21 Labs Jamba 모델은 다음과 같은 파라미터를 지원하여 응답의 무작위성과 다양성을 제어합니다.

길이

AI21 Labs Jamba 모델은 다음과 같은 파라미터를 지원하여 생성된 응답의 길이를 제어합니다.

반복

AI21 Labs Jamba 모델은 다음과 같은 파라미터를 지원하여 생성된 응답의 반복을 제어합니다.

모델 간접 호출 요청 본문 필드

AI21 Labs 모델을 사용하여 InvokeModel 또는 InvokeModelWithResponseStream 직접 호출을 수행할 경우, 아래 항목을 준수하는 JSON 객체로 body 필드를 채웁니다. prompt 필드에 프롬프트를 입력합니다.

{
  "messages": [
    {
      "role":"system", // Non-printing contextual information for the model
      "content":"You are a helpful history teacher. You are kind and you respond with helpful content in a professional manner. Limit your answers to three sentences. Your listener is a high school student."
    },
    {
      "role":"user", // The question we want answered.
      "content":"Who was the first emperor of rome?"
    }
  ],
  "n":1 // Limit response to one answer
}

모델 호출 응답 본문 필드

응답에 있는 body 필드의 형식에 대한 내용은 https://docs.ai21.com/reference/jamba-instruct-api#response-details를 참조하세요.

코드 예제

이 예제에서는 AI21 Labs Jamba-Instruct 모델을 직접적으로 호출하는 방법을 보여줍니다.

invoke_model

import boto3 
import json

bedrock = session.client('bedrock-runtime', 'us-east-1') 
response = bedrock.invoke_model( 
        modelId='ai21.jamba-instruct-v1:0', 
        body=json.dumps({
            'messages': [ 
                { 
                    'role': 'user', 
                    'content': 'which llm are you?' 
                } 
             ], 
         }) 
       ) 

print(json.dumps(json.loads(response['body']), indent=4))
            

converse

import boto3 
import json

bedrock = session.client('bedrock-runtime', 'us-east-1')
response = bedrock.converse( 
    modelId='ai21.jamba-instruct-v1:0', 
    messages=[ 
        { 
            'role': 'user', 
            'content': [ 
                { 
                    'text': 'which llm are you?' 
                } 
             ] 
          } 
     ] 
  ) 

print(json.dumps(json.loads(response['body']), indent=4))

            

Jamba 1.5 Large의 코드 예제

이 예제에서는 AI21 Labs Jamba 1.5 Large 모델을 직접적으로 호출하는 방법을 보여줍니다.

invoke_model

POST https://bedrock-runtime.us-east-1.amazonaws.com/model/ai21.jamba-1-5-mini-v1:0/invoke-model HTTP/1.1
{
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful chatbot with a background in earth sciences and a charming French accent."
    },
    {
      "role": "user",
      "content": "What are the main causes of earthquakes?"
    }
  ],
  "max_tokens": 512,
  "temperature": 0.7,
  "top_p": 0.9,
  "stop": ["###"],
  "n": 1
}