Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Modele el enrutamiento y el respaldo
Al enrutar el tráfico de inferencias a través de una puerta de enlace, una solicitud puede fallar si el objetivo que sirve al modelo solicitado está limitado, está fuera de capacidad o es inalcanzable. Con el modelo alternativo, se define una cadena ordenada de destinos alternativos y la puerta de enlace intenta automáticamente el siguiente cuando se produce un error en el principal. El respaldo le brinda una mayor disponibilidad y un mayor control sobre los costos y la cobertura del modelo, sin que cada cliente que llama implemente su propia lógica de respaldo.
El enrutamiento del modelo y el respaldo se configuran en un regla de puerta de enlace, y se aplican a los objetivos de inferencia. Este tema comienza con una regla de enrutamiento y, a continuación, le agrega una cadena alternativa.
Temas
Dirige un modelo a un objetivo
Comience con una regla que dirija un modelo a un objetivo específico, sin recurrir a ella. Utilice un routeToTarget regla para anular el valor predeterminado de la puerta de enlace enrutamiento basado en modelos para los modelos con los que coincide. UN matchModels la condición especifica a qué solicitudes se aplica la regla, y un routeToTarget acción con un staticRoute especifica el objetivo que atiende las solicitudes coincidentes. Cuando varios destinos coinciden con el mismo modelo, el enrutamiento predeterminado puede enviar la solicitud a cualquiera de ellos; una regla la vincula al objetivo que usted elija.
Lo siguiente AWS El comando CLI crea una regla que enruta gpt-5.5 a la bedrock-mantle objetivo:
aws bedrock-agentcore-control create-gateway-rule \ --gateway-identifier my-gateway-abc1234567 \ --priority 100 \ --description "Route gpt-5.5 to bedrock-mantle" \ --conditions '[ { "matchModels": { "anyOf": [ {"value": "gpt-5.5"} ] } } ]' \ --actions '[ { "routeToTarget": { "staticRoute": { "targetName": "bedrock-mantle" } } } ]'
El staticRoute también puede fijar un servidor model, por lo que el objetivo muestra un modelo diferente al que solicitó la persona que llama; omite model para servir el modelo solicitado. Para el completo matchModels y routeToTarget referencia, consulte Agregar reglas a una puerta de enlace.
Añade una cadena alternativa
Para proteger esa ruta, agrega un fallback bloque al routeToTarget acción. El bloque declara una lista ordenada de destinos alternativos y las condiciones para salir de un destino. Un destino es un objetivo, opcionalmente con un modelo específico.
-
Primario — El
staticRoute(o cadaweightedRoutepierna). Opcionalmente, fija unmodel, por lo que el modelo servido puede diferir del modelo solicitado; omitemodelpara servir el modelo solicitado en ese objetivo. Las propias condiciones de licencia de la primaria figuran en elfallbackbloquear. -
targetFallback— Una lista ordenada de 1 a 2 destinos alternativos para probar, en orden, cuando el principal falla. Cada entrada nombra untargetNamey un opcionalmodel, y tiene sus propias condiciones de licencia opcionales. -
triggerOn— Las condiciones en las que la puerta de enlace sale de un destino e intenta pasar al siguiente. Una respuesta que no coincide con ninguna de ellas vuelve a la persona que llama sin cambios. -
firstByteTimeoutMilliseconds— Cuánto tiempo hay que esperar para recibir el primer byte de respuesta de un destino antes de darse por vencido y pasar al siguiente destino. Esto hace que el respaldo funcione cuando un proveedor se detiene en lugar de devolver un error limpio. -
circuitBreaker— Enciende o apaga el disyuntor para esta ruta (ENABLEDde forma predeterminada). El disyuntor omite un destino que está fallando actualmente para que las solicitudes vayan directamente a uno en buen estado. Para obtener más información, consulte Interruptor.
La puerta de enlace recorre la cadena en orden. Para cada destino, comprueba el disyuntor, intenta llegar al destino una vez y devuelve la respuesta a la persona que llama o, si se dispara un disparador, avanza al siguiente destino. Si todos los destinos fallan, la persona que llama recibe el último error.
Una vez que se ha iniciado la respuesta de transmisión, la puerta de enlace ya no puede recurrir; la persona que llama recibe la respuesta parcial y un error, y debe volver a intentarlo.
Lo siguiente AWS El comando CLI crea una regla que enruta gpt-5.5 a bedrock-mantle y añade una cadena alternativa. Lo intenta gpt-5.5 en bedrock-mantle primero. Si eso falla, lo intenta gpt-5.5 en openai. Solo si ninguno de los dos puede atender la solicitud, se degrada a gpt-5.4 en bedrock-mantle. La primaria recurre a 429 y 5XX, en caso de error de conexión o tiempo de espera en el primer byte, y en un destino no enrutable, con un tiempo de espera de 5 segundos en el primer byte. Los dos destinos alternativos adoptan los valores predeterminados del servicio.
aws bedrock-agentcore-control create-gateway-rule \ --gateway-identifier my-gateway-abc1234567 \ --priority 100 \ --description "Prefer gpt-5.5 on bedrock-mantle, fall back to OpenAI, then degrade to gpt-5.4" \ --conditions '[ { "matchModels": { "anyOf": [ {"value": "gpt-5.5"} ] } } ]' \ --actions '[ { "routeToTarget": { "staticRoute": { "targetName": "bedrock-mantle", "model": "gpt-5.5", "fallback": { "circuitBreaker": {"mode": "ENABLED"}, "triggerOn": { "statusCodes": ["5XX", "429"], "errors": ["CONNECTION_ERROR", "FIRST_BYTE_TIMEOUT", "UNROUTABLE"] }, "firstByteTimeoutMilliseconds": 5000, "targetFallback": [ {"targetName": "openai"}, {"targetName": "bedrock-mantle", "model": "gpt-5.4"} ] } } } } ]'
Los nombres del objetivo y del modelo de este ejemplo son ilustrativos. Utilice los nombres de los objetivos configurados en su puerta de enlace y los ID del modelo a los que sirven sus objetivos. Para crear los objetivos de inferencia a los que hace referencia una regla, consulte Objetivos de inferencia. Los proveedores de modelos pueden desaprobar o eliminar un modelo con el tiempo.
Desencadenantes alternativos
Los triggerOn el objeto enumera las condiciones que provocan el retroceso. Puede configurarlo en fallback bloque (para el principal) y en cada targetFallback entrada (para ese destino). Tiene dos campos:
- Códigos de estado
-
De 1 a 10 códigos de estado de error HTTP o patrones de clase. Cada valor es un código exacto o una clase del formulario
NXX, limitado a los rangos 4xx y 5xx, por ejemplo,429,503, o5XX. La alternativa se aplica solo a las respuestas de error;2xxy3xxlas respuestas nunca son aptas como alternativa. - errores
-
de 1 a 3 condiciones de nivel de conexión o enrutamiento, a partir de los siguientes valores:
-
CONNECTION_ERROR— La puerta de enlace no pudo establecer una conexión con el destino (la conexión se rechazó, se restableció o se agotó el tiempo de espera). El intento nunca llegó al proveedor. -
FIRST_BYTE_TIMEOUT— El destino aceptó la conexión pero no devolvió el primer byte de respuesta que conteníafirstByteTimeoutMilliseconds. -
UNROUTABLE— La puerta de enlace no pudo dirigirse a un destino de servicio (falta el destino o no admite la ruta de API de la solicitud). Se trata de una condición determinista del lado de la puerta de enlace: hace avanzar la cadena pero no alimenta el disyuntor.
-
Interruptor
El disyuntor omite un destino que está fallando actualmente, por lo que las solicitudes van directamente a un destino en buen estado en lugar de pagar primero por un intento fallido. Esto reduce tanto la latencia como el costo durante una interrupción. El interruptor está activado de forma predeterminada. Para apagarlo, configúrelo circuitBreaker.mode a DISABLED — por ejemplo, seguir utilizando una primaria más barata en lugar de pasar rápidamente a una secundaria más cara. Con el disyuntor apagado, la cadena sigue andando en el orden que declaraste.
El interruptor pasa automáticamente por tres estados. La siguiente tabla muestra cómo afecta cada estado a una solicitud y a lo que se le factura. Cada intento saliente que realiza la puerta de enlace se factura como una sola invocación de puerta de enlace (consulte Observabilidad y facturación).
| Estado del disyuntor | ¿Qué ocurre con una solicitud | Facturación |
|---|---|---|
|
¿Cerrado (saludable) |
La puerta de enlace envía la solicitud al servidor principal. Si el principal devuelve un activador alternativo (por ejemplo, un |
Cada intento se factura como una invocación de puerta de enlace, incluido el intento principal fallido antes del respaldo. |
|
Abierto (fallando) |
La puerta de enlace omite la principal y envía la solicitud directamente al siguiente destino de la cadena, de modo que la solicitud evita el intento fallido y regresa más rápido. |
La pasarela no factura la principal omitida. Cada destino que intenta la puerta de enlace se factura como una invocación de la puerta de enlace. |
|
Half-open (en recuperación) |
La puerta de enlace permite que una pequeña parte de las solicitudes pasen a la principal para comprobar si se ha recuperado; el resto omite la principal y pasa al siguiente destino. Si las solicitudes admitidas se realizan correctamente, el interruptor se cierra y todo el tráfico vuelve al principal. Si fallan, el interruptor permanece abierto. |
Si se permite el acceso a la instancia principal, se factura como una invocación de puerta de enlace para ese intento. Las demás solicitudes se facturan en estado abierto. |
Alternativa con rutas ponderadas
Cuando el principal es un weightedRoute, se configura el respaldo para cada tramo: cada entrada dividida en el tráfico tiene su propia opción fallback bloque, y el weightedRoute en sí mismo no tiene ninguna alternativa a nivel de ruta. Una pierna sin fallback devuelve el error a la persona que llama cuando falla. El disyuntor es por destino e independiente de los pesos.
Reglas de validación para cadenas alternativas
-
Todos los destinos de una regla deben ser distintos. El destino principal y cada uno de los destinos alternativos deben nombrar una combinación diferente de objetivo y modelo; la puerta de enlace rechaza una regla que repita uno.
-
A
fallbackel bloque debe incluir al menos unotargetFallbackentrada. -
UN
matchModelsla condición debe incluir al menos una entrada, y cada entradavalueno debe estar en blanco. -
La alternativa se aplica a los objetivos de inferencia.
Observabilidad y facturación
La pasarela registra las decisiones alternativas y de enrutamiento en los registros de enrutamiento que vende. Estos registros atribuyen el destino que realmente atendió cada solicitud y anotan cuándo el disyuntor omitió un destino, de modo que puede confirmar el enrutamiento y ver por qué se omite un destino.
Cada intento de salida que realice la puerta de enlace cuenta como una invocación de la puerta de enlace y se factura según las tarifas de la puerta de enlace. Por lo tanto, una solicitud que se devuelve a varios destinos cuenta como una invocación de puerta de enlace por cada intento, y el disyuntor reduce este costo al omitir los destinos que ya están fallando. Amazon Bedrock o el proveedor del modelo facturan por separado el coste del modelo y de la inferencia de cada intento, no la pasarela.
Desde el punto de vista del cliente que llama, la alternativa es transparente: el cliente envía una solicitud y recibe una respuesta, sea cual sea el destino al que se dirija. La puerta de enlace no agrega ningún indicador orientado a la persona que llama sobre el destino que se utilizó.