Meta Llama des modèles

Cette section décrit les paramètres de demande et les champs de réponse pour Meta Llama modèles. Utilisez ces informations pour effectuer des appels d'inférence à Meta Llama modèles avec les opérations InvokeModelet InvokeModelWithResponseStream(streaming). Cette section inclut également Python exemples de code qui montrent comment appeler Meta Llama modèles. Pour utiliser un modèle dans une opération d'inférence, vous avez besoin de son identifiant. Pour obtenir l'ID du modèle, voirModèle Amazon Bedrock IDs. Certains modèles fonctionnent également avec les Converse. API Pour vérifier si la Converse API prend en charge un Meta Llama modèle, voirModèles pris en charge et caractéristiques des modèles. Pour plus d'exemples de code, consultezExemples de code pour Amazon Bedrock utilisant AWS SDKs.

Les modèles de base d'Amazon Bedrock prennent en charge les modalités d'entrée et de sortie, qui varient d'un modèle à l'autre. Pour vérifier les modalités selon lesquelles Meta Llama modèles pris en charge, voirModèles de fondation pris en charge dans Amazon Bedrock. Pour vérifier quel Amazon Bedrock propose le Meta Llama modèles pris en charge, voirSupport des modèles par fonctionnalité. Pour vérifier quelles AWS régions Meta Llama les modèles sont disponibles en, voirSupport des modèles par AWS région.

Lorsque vous passez des appels d'inférence avec Meta Llama modèles, vous incluez une invite pour le modèle. Pour obtenir des informations générales sur la création d'invites pour les modèles pris en charge par Amazon Bedrock, consultez. Concepts d'ingénierie rapides Dans Meta Llama informations rapides spécifiques, consultez le Meta Llama guide d'ingénierie rapide.

Cette section fournit des informations sur l'utilisation des modèles suivants de Meta.

Demande et réponse

Le corps de la demande est transmis dans le body champ d'une demande à InvokeModelou InvokeModelWithResponseStream.

Exemple de code

Cet exemple montre comment appeler le Meta Llama 2 Chat Modèle 13B.

# Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved.
# SPDX-License-Identifier: Apache-2.0
"""
Shows how to generate text with Meta Llama 2 Chat (on demand).
"""

import json
import logging
import boto3


from botocore.exceptions import ClientError


logger = logging.getLogger(__name__)
logging.basicConfig(level=logging.INFO)


def generate_text(model_id, body):
    """
    Generate an image using Meta Llama 2 Chat on demand.
    Args:
        model_id (str): The model ID to use.
        body (str) : The request body to use.
    Returns:
        response (JSON): The text that the model generated, token information, and the
        reason the model stopped generating text.
    """

    logger.info("Generating image with Meta Llama 2 Chat model %s", model_id)

    bedrock = boto3.client(service_name='bedrock-runtime')

    response = bedrock.invoke_model(
        body=body, modelId=model_id)

    response_body = json.loads(response.get('body').read())

    return response_body


def main():
    """
    Entrypoint for Meta Llama 2 Chat example.
    """

    logging.basicConfig(level=logging.INFO,
                        format="%(levelname)s: %(message)s")

    model_id = "meta.llama2-13b-chat-v1"
    prompt = """<s>[INST] <<SYS>>
You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe.  Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature.

If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.
<</SYS>>

There's a llama in my garden  What should I do? [/INST]"""
    max_gen_len = 128
    temperature = 0.1
    top_p = 0.9


    # Create request body.
    body = json.dumps({
        "prompt": prompt,
        "max_gen_len": max_gen_len,
        "temperature": temperature,
        "top_p": top_p
    })


    try:

        response = generate_text(model_id, body)

        print(f"Generated Text: {response['generation']}")
        print(f"Prompt Token count:  {response['prompt_token_count']}")
        print(f"Generation Token count:  {response['generation_token_count']}")
        print(f"Stop reason:  {response['stop_reason']}")

    except ClientError as err:
        message = err.response["Error"]["Message"]
        logger.error("A client error occurred: %s", message)
        print("A client error occured: " +
              format(message))

    else:
        print(
            f"Finished generating text with Meta Llama 2 Chat model {model_id}.")


if __name__ == "__main__":
    main()