Modelli e istruzioni
Definite un cablaggio una sola volta con valori predefiniti per modello, prompt di sistema, strumenti, memoria e limiti di esecuzione. Sovrascrivi uno di questi valori in una singola invocazione quando vuoi sperimentare. La risorsa harness rimane invariata; solo quella chiamata utilizza le sostituzioni.
Questo è il fulcro del modello basato sulla configurazione: impostazioni predefinite al momento della creazione, sostituzioni al momento della chiamata. È possibile testare le combinazioni N model/prompt /tool nel tempo necessario per ridistribuirle una sola volta.
Esempio
Usa qualsiasi modello, passa a metà sessione
Utilizza modelli di Amazon Bedrock, OpenAI, Google Gemini o altri provider tramite LiteLLM, inclusi gli endpoint. OpenAI-compatible Cambia fornitore tra i turni della stessa sessione e la conversazione continua. Il contesto viene ripreso.
Se non specifichi un modello, il cablaggio predefinito è Claude Sonnet 4.6 di Anthropic su Amazon Bedrock ()global.anthropic.claude-sonnet-4-6, così puoi iniziare immediatamente. Puoi modificare l'impostazione predefinita o sovrascrivere ogni chiamata in qualsiasi momento.
Archivia le chiavi API di terze parti nel token vault di AgentCore Identity come fornitore di credenziali di chiavi API. L'imbracatura estrae la chiave al momento della chiamata. Il codice del tuo agente non vede mai le credenziali non elaborate.
Esempio
Ulteriori informazioni: AgentCore Identità, fornitori di credenziali per chiavi API.
Seleziona il formato API del modello
Le configurazioni dei modelli Amazon Bedrock e OpenAI accettano ciascuna un campo apiFormat opzionale che seleziona il protocollo API utilizzato dall'harness per chiamare il modello.
PerbedrockModelConfig, apiFormat seleziona sia il protocollo API che l'endpoint Amazon Bedrock per sfruttare le chiamate:
-
converse_stream- l'API Amazon Bedrock Converse, servita dall'bedrock-runtimeendpoint. Questa è l’impostazione predefinita. -
responses- l'API OpenAI-compatible Responses, servita dall'endpoint.bedrock-mantle -
chat_completions- l'API OpenAI-compatible Chat Completions, servita dall'endpoint.bedrock-mantle
L'bedrock-mantleendpoint supporta un set diverso di modelli e funzionalità rispetto all'endpoint predefinito. bedrock-runtime Per i dettagli, consulta Endpoint supportati da Amazon Bedrock.
PerchéopenAiModelConfig, apiFormat può essere uno dei seguenti:
-
responses- l'API OpenAI Responses. Questa è l’impostazione predefinita. -
chat_completions- l'API OpenAI Chat Completions.
Entrambe le configurazioni accettano anche un campo opzionale. additionalParams Provider-specific i parametri in additionalParams ingresso vengono passati al fornitore del modello senza modifiche.
Importante
I parametri inseriti additionalParams possono alterare il comportamento del provider, tra cui il routing degli endpoint, la gestione delle credenziali e la selezione della regione. Se l'applicazione inoltra la configurazione del modello fornita dal chiamante aInvokeHarness, convalida questi campi prima della chiamata. Per informazioni, consulta Modello di responsabilità condivisa.
Esempio
Applica Amazon Bedrock Guardrails
Usa Amazon Bedrock Guardrails per filtrare i contenuti dannosi o bloccare gli argomenti negati negli input e negli output del modello. Per applicare un guardrail a ogni richiesta di modello, aggiungi un oggetto a. guardrailConfig bedrockModelConfig.additionalParams Il cablaggio passa questo oggetto ad Amazon Bedrock con ogni richiesta di modello.
Per utilizzare Amazon Bedrock Guardrails con l'harness, configura bedrockModelConfig con il formato API. converse_stream Se ometti, l'harness utilizza per apiFormat impostazione predefinita. converse_stream Imposta questa configurazione in CreateHarness o o UpdateHarness sostituiscila per una chiamata in entrata. InvokeHarness
Il seguente esempio di Python chiama InvokeHarness con una configurazione guardrail. HARNESS_ARNSostituiscilo con il tuo cablaggio ARN SESSION_ID e con un ID di sessione di runtime univoco.
import boto3 client = boto3.client("bedrock-agentcore") response = client.invoke_harness( harnessArn=HARNESS_ARN, runtimeSessionId=SESSION_ID, model={ "bedrockModelConfig": { "modelId": "us.amazon.nova-micro-v1:0", "apiFormat": "converse_stream", "additionalParams": { "guardrailConfig": { "guardrailIdentifier": "arn:aws:bedrock:us-west-2:111122223333:guardrail/abc123def456", "guardrailVersion": "1", "trace": "enabled_full", } }, } }, messages=[{"role": "user", "content": [{"text": "Help me plan a trip."}]}], )
Per le autorizzazioni del modello di base, consulta la politica del ruolo di esecuzione. Aggiungi la seguente istruzione JSON alla politica del ruolo di esecuzione di Harness:
{ "Effect": "Allow", "Action": "bedrock:ApplyGuardrail", "Resource": "arn:aws:bedrock:us-west-2:111122223333:guardrail/abc123def456" }
Usa un guardrail nella stessa AWS regione della richiesta del modello. Quando interviene un guardrail, il flusso di risposta riporta guardrail_intervened come motivo dell'arresto.
Per ulteriori informazioni sui campi di configurazione del guardrail, consulta Usare un guardrail con l'API Converse. Per ulteriori informazioni sulle autorizzazioni IAM, consulta Configurare le autorizzazioni per utilizzare Amazon Bedrock Guardrails.
Usa un modello tramite LiteLLM
Utilizzalo liteLlmModelConfig per contattare qualsiasi provider supportato da LiteLLM, inclusimodelId ID modello con prefisso del provider LiteLLM, ad esempio o. gemini/gemini-2.5-pro anthropic/claude-sonnet-4-6
I provider che si autenticano con una chiave API (come Google o Anthropic) richiedono. apiKeyArn I modelli Amazon Bedrock a cui si accede con il bedrock/ prefisso utilizzano le autorizzazioni del ruolo di esecuzione di cablaggio e non richiedono una chiave API.
-
modelId(obbligatorio): l'ID del modello con prefisso del provider LiteLLM. -
apiKeyArn- l'ARN della chiave API del provider, memorizzata in AgentCore Identity come fornitore di credenziali di chiave API. L'endpoint deve accettare questa chiave API. -
apiBase- un URL endpoint personalizzato per un OpenAI-compatible gateway, ad esempio un proxy o un endpoint ospitato autonomamente. -
additionalParams- parametri specifici del provider passati a LiteLLM invariati. Ciò include parametri che possono sovrascrivere endpoint (aws_bedrock_runtime_endpoint), assumere ruoli IAM () o modificare il routing delle richieste.aws_role_namePer informazioni, consulta Modello di responsabilità condivisa.
liteLlmModelConfigaccetta anche i campi opzionali maxTokens etemperature. topP
Esempio
Quando il tuo harness utilizza un provider di credenziali di chiave API, concedi al ruolo di esecuzione l'autorizzazione a leggere la chiave. Per informazioni, consulta Sicurezza e controlli degli accessi.
Per ulteriori informazioni sulla configurazione del cablaggio, vedere Documentazione API
Argomenti correlati
-
Tools (Strumenti)- collega gli strumenti all'imbracatura
-
Memoria- persistere le conversazioni tra le sessioni
-
Controlla i costi con limiti- impostare limiti di esecuzione e strategie di troncamento