Meta Llama モデル

このセクションでは、 のリクエストパラメータとレスポンスフィールドについて説明します。Meta Llama モデル。この情報を使用して、 に推論呼び出しを行います。Meta Llama InvokeModel および InvokeModelWithResponseStream (ストリーミング) オペレーションを持つモデル。このセクションには、Python を呼び出す方法を示すコード例 Meta Llama モデル。推論オペレーションでモデルを使用するには、モデルのモデル ID が必要です。モデル ID を取得するには、「」を参照してくださいAmazon Bedrock モデル IDs。一部のモデルは Converse APIでも動作します。Converse が特定の APIをサポートしているかどうかを確認するには Meta Llama モデルについては、「」を参照してくださいサポートされているモデルとモデル機能。コード例の詳細については、「」を参照してくださいを使用した Amazon Bedrock のコード例 AWS SDKs。

Amazon Bedrock の Foundation モデルは、モデルごとに異なる入出力モダリティをサポートしています。次のモダリティを確認するには Meta Llama モデルのサポートについては、「」を参照してくださいAmazon Bedrock でサポートされている基盤モデル。がどの Amazon Bedrock で機能しているかを確認するには Meta Llama モデルのサポートについては、「」を参照してください機能によるモデルサポート。どの AWS リージョンが Meta Llama モデルは で使用できます。「」を参照してくださいAWS リージョン別のモデルサポート。

で推論呼び出しを行う場合 Meta Llama モデルには、モデルのプロンプトを含めます。Amazon Bedrock がサポートするモデルのプロンプトの作成に関する一般的な情報については、「」を参照してください プロンプトエンジニアリングの概念。[ Meta Llama 特定のプロンプト情報については、「」を参照してください。 Meta Llama プロンプトエンジニアリングガイド 。

このセクションでは、 から次のモデルを使用する方法について説明します。Meta.

リクエストとレスポンス

リクエスト本文は、リクエストの body フィールドで InvokeModelまたは に渡されますInvokeModelWithResponseStream。

サンプルのコード

この例では、 を呼び出す方法を示しています。 Meta Llama 2 Chat 13B モデル。

# Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved.
# SPDX-License-Identifier: Apache-2.0
"""
Shows how to generate text with Meta Llama 2 Chat (on demand).
"""

import json
import logging
import boto3


from botocore.exceptions import ClientError


logger = logging.getLogger(__name__)
logging.basicConfig(level=logging.INFO)


def generate_text(model_id, body):
    """
    Generate an image using Meta Llama 2 Chat on demand.
    Args:
        model_id (str): The model ID to use.
        body (str) : The request body to use.
    Returns:
        response (JSON): The text that the model generated, token information, and the
        reason the model stopped generating text.
    """

    logger.info("Generating image with Meta Llama 2 Chat model %s", model_id)

    bedrock = boto3.client(service_name='bedrock-runtime')

    response = bedrock.invoke_model(
        body=body, modelId=model_id)

    response_body = json.loads(response.get('body').read())

    return response_body


def main():
    """
    Entrypoint for Meta Llama 2 Chat example.
    """

    logging.basicConfig(level=logging.INFO,
                        format="%(levelname)s: %(message)s")

    model_id = "meta.llama2-13b-chat-v1"
    prompt = """<s>[INST] <<SYS>>
You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe.  Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature.

If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.
<</SYS>>

There's a llama in my garden  What should I do? [/INST]"""
    max_gen_len = 128
    temperature = 0.1
    top_p = 0.9


    # Create request body.
    body = json.dumps({
        "prompt": prompt,
        "max_gen_len": max_gen_len,
        "temperature": temperature,
        "top_p": top_p
    })


    try:

        response = generate_text(model_id, body)

        print(f"Generated Text: {response['generation']}")
        print(f"Prompt Token count:  {response['prompt_token_count']}")
        print(f"Generation Token count:  {response['generation_token_count']}")
        print(f"Stop reason:  {response['stop_reason']}")

    except ClientError as err:
        message = err.response["Error"]["Message"]
        logger.error("A client error occurred: %s", message)
        print("A client error occured: " +
              format(message))

    else:
        print(
            f"Finished generating text with Meta Llama 2 Chat model {model_id}.")


if __name__ == "__main__":
    main()