Meta Llama  모델

이 섹션에서는에 대한 요청 파라미터 및 응답 필드를 설명합니다.Meta Llama 모델. 이 정보를 사용하여에 추론 호출 Meta Llama InvokeModel 및 InvokeModelWithResponseStream (스트리밍) 작업이 있는 모델. 이 섹션에는 Python 를 호출하는 방법을 보여주는 코드 예제 Meta Llama 모델. 추론 작업에서 모델을 사용하려면 해당 모델의 모델 ID가 필요합니다. 모델 ID를 가져오려면 Amazon Bedrock에서 지원되는 파운데이션 모델 섹션을 참조하세요. 일부 모델은 에서도 작동합니다. Converse API. 가 Converse API는 특정 Meta Llama 모델을 참조하세요지원되는 모델 및 모델 기능. 더 많은 코드 예제는 를 사용하는 Amazon Bedrock의 코드 예제 AWS SDKs 섹션을 참조하세요.

Amazon Bedrock의 파운데이션 모델은 모델마다 다른 입력 및 출력 양식을 지원합니다. 에서 사용하는 형식을 확인하려면 Meta Llama 모델 지원은 섹션을 참조하세요Amazon Bedrock에서 지원되는 파운데이션 모델. 를 사용하는 Amazon Bedrock을 확인하려면 Meta Llama 모델 지원은 섹션을 참조하세요Amazon Bedrock에서 지원되는 파운데이션 모델. 다음 AWS 리전을 확인하려면 Meta Llama 모델은에서 사용할 수 있습니다. 단원을 참조하십시오Amazon Bedrock에서 지원되는 파운데이션 모델.

를 사용하여 추론 호출을 수행하는 경우 Meta Llama 모델, 모델에 대한 프롬프트를 포함합니다. Amazon Bedrock이 지원하는 모델에 대한 프롬프트를 만드는 방법의 일반적인 내용은 프롬프트 엔지니어링 개념 섹션을 참조하세요. 의 경우 Meta Llama 특정 프롬프트 정보는를 참조하세요. Meta Llama 프롬프트 엔지니어링 가이드.

이 섹션에서는에서 다음 모델을 사용하는 방법에 대한 정보를 제공합니다.Meta.

요청 및 응답

요청 본문은 InvokeModel 또는에 대한 요청 body 필드에 전달됩니다InvokeModelWithResponseStream.

예제 코드

이 예제에서는를 호출하는 방법을 보여줍니다. Meta Llama 2 Chat 13B 모델.

# Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved.
# SPDX-License-Identifier: Apache-2.0
"""
Shows how to generate text with Meta Llama 2 Chat (on demand).
"""

import json
import logging
import boto3


from botocore.exceptions import ClientError


logger = logging.getLogger(__name__)
logging.basicConfig(level=logging.INFO)


def generate_text(model_id, body):
    """
    Generate an image using Meta Llama 2 Chat on demand.
    Args:
        model_id (str): The model ID to use.
        body (str) : The request body to use.
    Returns:
        response (JSON): The text that the model generated, token information, and the
        reason the model stopped generating text.
    """

    logger.info("Generating image with Meta Llama 2 Chat model %s", model_id)

    bedrock = boto3.client(service_name='bedrock-runtime')

    response = bedrock.invoke_model(
        body=body, modelId=model_id)

    response_body = json.loads(response.get('body').read())

    return response_body


def main():
    """
    Entrypoint for Meta Llama 2 Chat example.
    """

    logging.basicConfig(level=logging.INFO,
                        format="%(levelname)s: %(message)s")

    model_id = "meta.llama2-13b-chat-v1"
    prompt = """<s>[INST] <<SYS>>
You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe.  Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature.

If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.
<</SYS>>

There's a llama in my garden  What should I do? [/INST]"""
    max_gen_len = 128
    temperature = 0.1
    top_p = 0.9


    # Create request body.
    body = json.dumps({
        "prompt": prompt,
        "max_gen_len": max_gen_len,
        "temperature": temperature,
        "top_p": top_p
    })


    try:

        response = generate_text(model_id, body)

        print(f"Generated Text: {response['generation']}")
        print(f"Prompt Token count:  {response['prompt_token_count']}")
        print(f"Generation Token count:  {response['generation_token_count']}")
        print(f"Stop reason:  {response['stop_reason']}")

    except ClientError as err:
        message = err.response["Error"]["Message"]
        logger.error("A client error occurred: %s", message)
        print("A client error occured: " +
              format(message))

    else:
        print(
            f"Finished generating text with Meta Llama 2 Chat model {model_id}.")


if __name__ == "__main__":
    main()