Modèles et instructions
Définissez un harnais une seule fois avec les valeurs par défaut pour le modèle, l'invite système, les outils, la mémoire et les limites d'exécution. Remplacez n'importe lequel d'entre eux lors d'un seul appel lorsque vous souhaitez expérimenter. La ressource du harnais reste inchangée ; seul cet appel utilise les dérogations.
C'est le cœur du modèle basé sur la configuration : valeurs par défaut au moment de la création, remplacements au moment de l'invocation. Vous pouvez tester les combinaisons model/prompt N/tool pendant le temps nécessaire à un redéploiement unique.
Exemple
Utilisez n'importe quel modèle, changez en cours de session
Utilisez des modèles d'Amazon Bedrock, OpenAI, Google Gemini ou d'autres fournisseurs via LitellM, y compris les points de terminaison. OpenAI-compatible Changez de fournisseur entre les tours d'une même session et la conversation se poursuit. Le contexte se poursuit.
Si vous ne spécifiez aucun modèle, le harnais est configuré par défaut sur Claude Sonnet 4.6 d'Anthropic sur Amazon Bedrock (global.anthropic.claude-sonnet-4-6) afin que vous puissiez commencer immédiatement. Vous pouvez modifier la valeur par défaut ou annuler par appel à tout moment.
Stockez les clés d'API tierces dans le coffre à jetons AgentCore d'Identity en tant que fournisseur d'informations d'identification de clés d'API. Le harnais tire la clé au moment de l'invocation. Le code de votre agent ne voit jamais les informations d'identification brutes.
Exemple
En savoir plus : AgentCore Identité, fournisseurs d'identifiants clés d'API.
Sélectionnez le format d'API du modèle
Les configurations des modèles Amazon Bedrock et OpenAI acceptent chacune un champ apiFormat facultatif qui sélectionne le protocole d'API utilisé par le harnais pour appeler le modèle.
PourbedrockModelConfig, apiFormat sélectionne à la fois le protocole API et le point de terminaison Amazon Bedrock que le harnais appelle :
-
converse_stream- l'API Amazon Bedrock Converse, desservie par le point de terminaison.bedrock-runtimeIl s’agit de l’option par défaut. -
responses- l'API OpenAI-compatible Responses, servie par lebedrock-mantlepoint de terminaison. -
chat_completions- l'API OpenAI-compatible Chat Completions, servie par lebedrock-mantlepoint de terminaison.
Le bedrock-mantle point de terminaison prend en charge un ensemble de modèles et de fonctionnalités différent de celui du point de bedrock-runtime terminaison par défaut. Pour plus de détails, consultez la section Endpoints pris en charge par Amazon Bedrock.
CaropenAiModelConfig, apiFormat peut être l'un des suivants :
-
responses- l'API OpenAI Responses. Il s’agit de l’option par défaut. -
chat_completions- l'API OpenAI Chat Completions.
Les deux configurations acceptent également un additionalParams champ facultatif. Provider-specific les paramètres additionalParams sont transmis au fournisseur de modèles tels quels.
Important
Les paramètres additionalParams peuvent modifier le comportement du fournisseur, notamment le routage des points de terminaison, le traitement des informations d'identification et la sélection des régions. Si votre application transmet la configuration du modèle fournie par l'appelant àInvokeHarness, validez ces champs avant l'appel. Consultez Modèle de responsabilité partagée.
Exemple
Appliquer Amazon Bedrock Guardrails
Utilisez Amazon Bedrock Guardrails pour filtrer le contenu préjudiciable ou bloquer les sujets refusés dans les entrées et sorties du modèle. Pour appliquer un garde-corps à chaque demande de modèle, ajoutez un guardrailConfig objet à. bedrockModelConfig.additionalParams Le harnais transmet cet objet à Amazon Bedrock à chaque demande de modèle.
Pour utiliser Amazon Bedrock Guardrails avec le harnais, configurez bedrockModelConfig avec le converse_stream format API. Si vous omettezapiFormat, le harnais est utilisé converse_stream par défaut. Définissez cette configuration dans CreateHarness ou UpdateHarness remplacez-la pour un appel entrant. InvokeHarness
L'exemple Python suivant appelle InvokeHarness avec une configuration de garde-corps. HARNESS_ARNRemplacez-le par l'ARN de votre harnais et SESSION_ID par un ID de session d'exécution unique.
import boto3 client = boto3.client("bedrock-agentcore") response = client.invoke_harness( harnessArn=HARNESS_ARN, runtimeSessionId=SESSION_ID, model={ "bedrockModelConfig": { "modelId": "us.amazon.nova-micro-v1:0", "apiFormat": "converse_stream", "additionalParams": { "guardrailConfig": { "guardrailIdentifier": "arn:aws:bedrock:us-west-2:111122223333:guardrail/abc123def456", "guardrailVersion": "1", "trace": "enabled_full", } }, } }, messages=[{"role": "user", "content": [{"text": "Help me plan a trip."}]}], )
Pour les autorisations du modèle de base, consultez la politique relative aux rôles d'exécution. Ajoutez l'instruction JSON suivante à la politique de rôle d'exécution du harnais :
{ "Effect": "Allow", "Action": "bedrock:ApplyGuardrail", "Resource": "arn:aws:bedrock:us-west-2:111122223333:guardrail/abc123def456" }
Utilisez un garde-corps dans la même AWS région que le modèle demandé. Lorsqu'un garde-corps intervient, le flux de réponse indique la raison de guardrail_intervened l'arrêt.
Pour plus d'informations sur les champs de configuration de garde-corps, consultez Utiliser un garde-corps avec l'API Converse. Pour plus d'informations sur les autorisations IAM, consultez Configurer les autorisations pour utiliser Amazon Bedrock Guardrails.
Utiliser un modèle via LitellM
liteLlmModelConfigÀ utiliser pour contacter tous les fournisseurs pris en charge par LitellMmodelId sur un identifiant de modèle LitelLM préfixé par le fournisseur, tel que ou. gemini/gemini-2.5-pro anthropic/claude-sonnet-4-6
Les fournisseurs qui s'authentifient à l'aide d'une clé d'API (tels que Google ou Anthropic) ont besoin de. apiKeyArn Les modèles Amazon Bedrock accessibles avec le bedrock/ préfixe utilisent les autorisations du rôle d'exécution du harnais et n'ont pas besoin de clé d'API.
-
modelId(obligatoire) - l'ID de modèle préfixé par le fournisseur LitelLM. -
apiKeyArn- l'ARN de la clé d'API du fournisseur, stocké dans AgentCore Identity en tant que fournisseur d'informations d'identification de clé d'API. Le point de terminaison doit accepter cette clé d'API. -
apiBase- une URL de point de terminaison personnalisée pour une OpenAI-compatible passerelle, telle qu'un proxy ou un point de terminaison auto-hébergé. -
additionalParams- les paramètres spécifiques au fournisseur transmis à LitelLM sont inchangés. Cela inclut les paramètres qui peuvent remplacer les points de terminaison (aws_bedrock_runtime_endpoint), assumer des rôles IAM (aws_role_name) ou modifier le routage des demandes. Consultez Modèle de responsabilité partagée.
liteLlmModelConfigaccepte également les topP champs facultatifs maxTokenstemperature, et.
Exemple
Lorsque votre harnais utilise un fournisseur d'informations d'identification de clé d'API, accordez au rôle d'exécution l'autorisation de lire la clé. Consultez Sécurité et contrôles d'accès.
Pour plus d'informations sur la configuration du harnais, consultez le Documentation sur les API
Rubriques en relation
-
Outils- connectez les outils à votre harnais
-
Mémoire- poursuivre les conversations d'une session à l'autre
-
Contrôlez les coûts avec des limites- définir des limites d'exécution et des stratégies de troncature