Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Questa sezione descrive i parametri di richiesta e i campi di risposta per Meta Llama modelli. Usa queste informazioni per effettuare chiamate di inferenza a Meta Llama modelli con operazioni InvokeModeland InvokeModelWithResponseStream(streaming). Questa sezione include anche Python esempi di codice che mostrano come chiamare Meta Llama modelli. Per utilizzare un modello in un'operazione di inferenza, è necessario l'ID del modello. Per ottenere l'ID del modello, consultaModelli di fondazione supportati in Amazon Bedrock. Alcuni modelli funzionano anche con Converse API. Per verificare se Converse L'API supporta uno specifico Meta Llama modello, vediModelli e caratteristiche del modello supportati. Per altri esempi di codice, vediEsempi di codice per l'utilizzo di Amazon Bedrock AWS SDKs.
I modelli Foundation di Amazon Bedrock supportano modalità di input e output, che variano da modello a modello. Per verificare le modalità Meta Llama supporto per i modelli, vediModelli di fondazione supportati in Amazon Bedrock. Per verificare quali Amazon Bedrock include Meta Llama modelli supportati, vediModelli di fondazione supportati in Amazon Bedrock. Per verificare quali AWS regioni Meta Llama i modelli sono disponibili in, vediModelli di fondazione supportati in Amazon Bedrock.
Quando si effettuano chiamate di inferenza con Meta Llama modelli, si include una richiesta per il modello. Per informazioni generali sulla creazione di prompt per i modelli supportati da Amazon Bedrock, consulta. Concetti ingegneristici rapidi In Meta Llama informazioni specifiche sui prompt, consulta Meta Llama guida tecnica tempestiva.
Nota
Llama 3.2 Instruct e Llama 3.3 Instruct i modelli utilizzano il geofencing. Ciò significa che questi modelli non possono essere utilizzati al di fuori delle AWS Regioni disponibili per questi modelli elencate nella tabella Regioni.
Questa sezione fornisce informazioni per l'utilizzo dei seguenti modelli di Meta.
Llama 3 Instruct
Llama 3.1 Instruct
Llama 3.2 Instruct
Llama 3.3 Instruct
Richiesta e risposta
Il corpo della richiesta viene passato nel body campo di una richiesta a InvokeModelo InvokeModelWithResponseStream.
Il Llama 3 Instruct, Llama 3.1 Instructe Llama 3.2 Instruct i modelli hanno i seguenti parametri di inferenza.
{
"prompt": string,
"temperature": float,
"top_p": float,
"max_gen_len": int
}NOTA: i modelli Llama 3.2 si aggiungono images alla struttura della richiesta, che è un elenco di stringhe. Esempio: images: Optional[List[str]]
I seguenti sono parametri obbligatori.
-
prompt — (Obbligatorio) Il prompt che desiderate passare al modello. Per risultati ottimali, formatta la conversazione con il seguente modello.
<|begin_of_text|><|start_header_id|>user<|end_header_id|> What can you help me with?<|eot_id|><|start_header_id|>assistant<|end_header_id|>Modello di esempio con prompt di sistema
Di seguito è riportato un prompt di esempio che include un prompt di sistema.
<|begin_of_text|><|start_header_id|>system<|end_header_id|> You are a helpful AI assistant for travel tips and recommendations<|eot_id|><|start_header_id|>user<|end_header_id|> What can you help me with?<|eot_id|><|start_header_id|>assistant<|end_header_id|>Esempio di conversazione a turni
Di seguito è riportato un esempio di richiesta di conversazione a turni.
<|begin_of_text|><|start_header_id|>user<|end_header_id|> What is the capital of France?<|eot_id|><|start_header_id|>assistant<|end_header_id|> The capital of France is Paris!<|eot_id|><|start_header_id|>user<|end_header_id|> What is the weather like in Paris?<|eot_id|><|start_header_id|>assistant<|end_header_id|>Modello di esempio con prompt di sistema
Per ulteriori informazioni, consulta Meta Llama 3
.
I seguenti sono parametri opzionali.
-
temperatura: utilizza un valore più basso per ridurre la casualità nella risposta.
Predefinita Minimo Massimo 0,5
0
1
-
top_p — Usa un valore più basso per ignorare le opzioni meno probabili. Imposta 0 o 1,0 per disabilitare questa funzionalità.
Predefinita Minimo Massimo 0.9
0
1
-
max_gen_len — Specificate il numero massimo di token da utilizzare nella risposta generata. Il modello tronca la risposta se il testo generato supera
max_gen_len.Predefinita Minimo Massimo 512
1
2048
Codice di esempio
Questo esempio mostra come chiamare il Llama 3 Instructmodello.
# Use the native inference API to send a text message to Meta Llama 3.
import boto3
import json
from botocore.exceptions import ClientError
# Create a Bedrock Runtime client in the AWS Region of your choice.
client = boto3.client("bedrock-runtime", region_name="us-west-2")
# Set the model ID, e.g., Llama 3 70b Instruct.
model_id = "meta.llama3-70b-instruct-v1:0"
# Define the prompt for the model.
prompt = "Describe the purpose of a 'hello world' program in one line."
# Embed the prompt in Llama 3's instruction format.
formatted_prompt = f"""
<|begin_of_text|><|start_header_id|>user<|end_header_id|>
{prompt}
<|eot_id|>
<|start_header_id|>assistant<|end_header_id|>
"""
# Format the request payload using the model's native structure.
native_request = {
"prompt": formatted_prompt,
"max_gen_len": 512,
"temperature": 0.5,
}
# Convert the native request to JSON.
request = json.dumps(native_request)
try:
# Invoke the model with the request.
response = client.invoke_model(modelId=model_id, body=request)
except (ClientError, Exception) as e:
print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}")
exit(1)
# Decode the response body.
model_response = json.loads(response["body"].read())
# Extract and print the response text.
response_text = model_response["generation"]
print(response_text)
