Meta Llama des modèles

Cette section décrit les paramètres de demande et les champs de réponse pour Meta Llama modèles. Utilisez ces informations pour effectuer des appels d'inférence à Meta Llama modèles avec les opérations InvokeModelet InvokeModelWithResponseStream(streaming). Cette section inclut également Python exemples de code qui montrent comment appeler Meta Llama modèles. Pour utiliser un modèle dans une opération d'inférence, vous avez besoin de son identifiant. Pour obtenir l'ID du modèle, voirModèles de fondation pris en charge dans Amazon Bedrock. Certains modèles fonctionnent également avec le Converse API. Pour vérifier si le Converse L'API prend en charge un Meta Llama modèle, voirModèles pris en charge et caractéristiques des modèles. Pour plus d'exemples de code, consultezExemples de code pour Amazon Bedrock utilisant AWS SDKs.

Les modèles de base d'Amazon Bedrock prennent en charge les modalités d'entrée et de sortie, qui varient d'un modèle à l'autre. Pour vérifier les modalités selon lesquelles Meta Llama modèles pris en charge, voirModèles de fondation pris en charge dans Amazon Bedrock. Pour vérifier quel Amazon Bedrock propose le Meta Llama modèles pris en charge, voirModèles de fondation pris en charge dans Amazon Bedrock. Pour vérifier quelles AWS régions Meta Llama les modèles sont disponibles en, voirModèles de fondation pris en charge dans Amazon Bedrock.

Lorsque vous passez des appels d'inférence avec Meta Llama modèles, vous incluez une invite pour le modèle. Pour obtenir des informations générales sur la création d'invites pour les modèles pris en charge par Amazon Bedrock, consultez. Concepts d'ingénierie rapides Dans Meta Llama informations rapides spécifiques, consultez le Meta Llama guide d'ingénierie rapide.

Cette section fournit des informations sur l'utilisation des modèles suivants de Meta.

Demande et réponse

Le corps de la demande est transmis dans le body champ d'une demande à InvokeModelou InvokeModelWithResponseStream.

{
    "prompt": string,
    "temperature": float,
    "top_p": float,
    "max_gen_len": int
}

Exemple de code

Cet exemple montre comment appeler le Llama 3 Instructmodèle.

# Use the native inference API to send a text message to Meta Llama 3.

import boto3
import json

from botocore.exceptions import ClientError

# Create a Bedrock Runtime client in the AWS Region of your choice.
client = boto3.client("bedrock-runtime", region_name="us-west-2")

# Set the model ID, e.g., Llama 3 70b Instruct.
model_id = "meta.llama3-70b-instruct-v1:0"

# Define the prompt for the model.
prompt = "Describe the purpose of a 'hello world' program in one line."

# Embed the prompt in Llama 3's instruction format.
formatted_prompt = f"""
<|begin_of_text|><|start_header_id|>user<|end_header_id|>
{prompt}
<|eot_id|>
<|start_header_id|>assistant<|end_header_id|>
"""

# Format the request payload using the model's native structure.
native_request = {
    "prompt": formatted_prompt,
    "max_gen_len": 512,
    "temperature": 0.5,
}

# Convert the native request to JSON.
request = json.dumps(native_request)

try:
    # Invoke the model with the request.
    response = client.invoke_model(modelId=model_id, body=request)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}")
    exit(1)

# Decode the response body.
model_response = json.loads(response["body"].read())

# Extract and print the response text.
response_text = model_response["generation"]
print(response_text)