Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Objetivos de inferencia
Puede agregar objetivos de inferencia a su puerta de enlace para dirigir el tráfico de LLM a los proveedores de modelos. La puerta de enlace actúa como una capa de proxy de LLM unificada, lo que permite a los clientes conectarse a un único punto final y enrutar las solicitudes al proveedor de modelos correcto según el modelo especificado en la solicitud. Los objetivos de inferencia proporcionan un enrutamiento basado en modelos, una abstracción de credenciales y una gobernanza centralizada para el tráfico de LLM entre varios proveedores.
Agregar objetivos de inferencia a su puerta de enlace es útil cuando desea:
-
Proporcione un punto final único que dirija a varios proveedores de modelos (como Amazon Bedrock, OpenAI, Anthropic u otros OpenAI-compatible servicios) sin necesidad de que los clientes gestionen las configuraciones específicas de los proveedores.
-
Administración de credenciales abstractas para que los clientes se autentiquen en la puerta de enlace mientras la puerta de enlace se autentica ante los proveedores en su nombre.
-
Aplica una gobernanza centralizada a través de Amazon Bedrock Guardrails y Amazon Bedrock AgentCore Policy de manera uniforme en todas las llamadas de LLM, independientemente del proveedor.
-
Utilice el SDK de OpenAI o el SDK de Anthropic directamente con el punto final de la puerta de enlace y cambie de modelo cambiando la cadena del modelo.
-
Enumere los modelos disponibles en todos los proveedores configurados a través de un único punto final agregado.
Los objetivos de inferencia utilizan la inference clave en la configuración del objetivo. Puede configurar un objetivo de inferencia de dos maneras:
-
Conector: Zero-configuration configuración para los proveedores de modelos compatibles. Se recomienda para la mayoría de los casos de uso.
-
Proveedor: control explícito sobre el punto final, las asignaciones de modelos y las operaciones. Úselo cuando necesite personalizar el comportamiento del enrutamiento.
En los siguientes temas se describe cada tipo de configuración en detalle.
