AI21 LabsJurassic-2 モデル - Amazon Bedrock
推論パラメータコード例

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AI21 LabsJurassic-2 モデル

このセクションでは、AI21 LabsAI21 LabsJurassic-2モデルを使用するための推論パラメータとコード例を示します。

推論パラメータ

AI21 Labs Jurassic-2 モデルでは、次の推論パラメータがサポートされています。

ランダム性と多様性

AI21 Labs Jurassic-2 モデルは、レスポンスのランダム性と多様性を制御するために以下のパラメータをサポートしています。

  • 温度 (temperature) - 低い値を指定すると、レスポンスのランダム性を減らすことができます。

  • トップ P (topP) - 低い値を指定すると、可能性の低い選択肢を無視することができます。

長さ

AI21 Labs Jurassic-2 モデルは、生成されたレスポンスの長さを制御するために以下のパラメータをサポートします。

  • 最大入力長 (maxTokens) - 生成されるレスポンスで使用されるトークンの最大数を指定します。

  • ストップシーケンス (stopSequences) - モデルに認識させて、それ以降はトークンの生成を停止させるストップシーケンスを設定します。ストップシーケンスに改行文字を挿入するには、Enter キーを押します。ストップシーケンスの挿入を終了するには、Tab キーを使用します。

繰り返し

AI21 Labs Jurassic-2 モデルは、生成されたレスポンスの繰り返しを制御するために、次のパラメータをサポートします。

  • プレゼンスのペナルティ (presencePenalty) - 高い値を指定すると、プロンプトまたは入力内容に既に少なくとも 1 回出現しているトークンが新規に生成される可能性が低くなります。

  • カウントのペナルティ (countPenalty) - 高い値を指定すると、プロンプトまたは入力内容に既に少なくとも 1 回出現しているトークンが新規に生成される可能性が低くなります。この値は、出現回数に比例します。

  • 頻度のペナルティ (frequencyPenalty) - 高い値を指定すると、プロンプトまたは完了時にすでに 1 回以上出現する新しいトークンが生成される可能性が低くなります。この値は、トークンの出現頻度に比例します (テキストの長さに合わせて正規化されます)。

  • 特殊トークンにペナルティを課す - 特殊文字が繰り返し使用される可能性を減らします。デフォルト値は true です。

    • 空白 (applyToWhitespaces) - true の値を指定すると、空白や改行にペナルティが課されます。

    • 句読点 (applyToPunctuation) - true の値を指定すると、句読点にペナルティが課されます。

    • 数字 (applyToNumbers) - true の値を指定すると、数字にペナルティが課されます。

    • ストップワード (applyToStopwords) - true の値を指定すると、ストップワードにペナルティが課されます。

    • 絵文字 (applyToEmojis) - true の値を指定すると、絵文字がペナルティの対象から除外されます。

モデル呼び出しリクエストの body フィールド

AI21 Labs モデルを使用して InvokeModelまたは をInvokeModelWithResponseStream呼び出す場合は、以下の JSON オブジェクトを bodyフィールドに入力します。[prompt] フィールドにプロンプトを入力します。

{
    "prompt": string,
    "temperature": float,
    "topP": float,
    "maxTokens": int,
    "stopSequences": [string],
    "countPenalty": {
        "scale": float
    },
    "presencePenalty": {
        "scale": float
    },
    "frequencyPenalty": {
        "scale": float
    }
}

特殊なトークンにペナルティを課すには、それらのフィールドをペナルティオブジェクトに追加します。例えば、countPenalty フィールドを次のように変更できます。

"countPenalty": {
    "scale": float,
    "applyToWhitespaces": boolean,
    "applyToPunctuations": boolean,
    "applyToNumbers": boolean,
    "applyToStopwords": boolean,
    "applyToEmojis": boolean
}

次の表は、数値パラメータの最小値、最大値、およびデフォルト値を示しています。

カテゴリ パラメータ JSON 形式のオブジェクト 最小値 最大値 デフォルト値
ランダム性と多様性 温度 temperature 0 1 0.5
トップ P topP 0 1 0.5
長さ 最大トークン (中規模、超大規模、および大規模モデル) maxTokens 0 8,191 200
最大トークン (上記以外のモデル) 0 2,048 200
繰り返し プレゼンスのペナルティ presencePenalty 0 5 0
カウントのペナルティ countPenalty 0 1 0
頻度のペナルティ frequencyPenalty 0 500 0

モデル呼び出しレスポンスの body フィールド

レスポンス内の フィールドの形式については、bodyhttps://docs.ai21.com/reference/j2-complete-ref を参照してください。

注記

Amazon Bedrock は、レスポンス識別子 (id) を整数値として返します。

コード例

この例では、AA2IAI21 LabsJurassic-2 Midモデルを呼び出す方法を示します。

import boto3
import json

brt = boto3.client(service_name='bedrock-runtime')

body = json.dumps({
    "prompt": "Translate to spanish: 'Amazon Bedrock is the easiest way to build and scale generative AI applications with base models (FMs)'.", 
    "maxTokens": 200,
    "temperature": 0.5,
    "topP": 0.5
})

modelId = 'ai21.j2-mid-v1'
accept = 'application/json'
contentType = 'application/json'

response = brt.invoke_model(
    body=body, 
    modelId=modelId, 
    accept=accept, 
    contentType=contentType
)

response_body = json.loads(response.get('body').read())

# text
print(response_body.get('completions')[0].get('data').get('text'))