Configurar un recurso de invocación de modelos mediante perfiles de inferencia

Realice un seguimiento de las métricas de uso: configure CloudWatch registros y envíe las solicitudes de invocación del modelo con un perfil de inferencia de la aplicación para recopilar las métricas de uso para la invocación del modelo. Puede examinar estas métricas cuando consulte la información sobre el perfil de inferencia y utilizarlas para fundamentar sus decisiones. Para obtener más información sobre cómo configurar CloudWatch los registros, consulteSupervise la invocación del modelo mediante registros CloudWatch .

Use etiquetas para monitorear los costos: adjunte etiquetas al perfil de inferencia de una aplicación para realizar un seguimiento de los costos cuando envíe solicitudes de invocación de modelos bajo demanda. Para obtener más información sobre cómo utilizar las etiquetas para la asignación de costes, consulte Organización y seguimiento de los costes mediante etiquetas de asignación de AWS costes en la guía del AWS Billing usuario.

Inferencia entre regiones: aumente su rendimiento mediante un perfil de inferencia que incluya varios. Regiones de AWS El perfil de inferencia distribuirá las solicitudes de invocación de modelos entre estas regiones para aumentar el rendimiento y el rendimiento. Para obtener más información sobre la inferencia entre regiones, consulte. Aumente el rendimiento con la inferencia entre regiones

Perfiles de inferencia entre regiones (definidos por el sistema): perfiles de inferencia que están predefinidos en Amazon Bedrock e incluyen varias regiones a las que se pueden dirigir las solicitudes de un modelo.

Perfiles de inferencia de aplicaciones: perfiles de inferencia que un usuario crea para realizar un seguimiento de los costos y el uso del modelo. Puede crear un perfil de inferencia que dirija las solicitudes de invocación del modelo a una o varias regiones:

Inferencia de modelos: utilice un perfil de inferencia al ejecutar la invocación de modelos; para ello, elija un perfil de inferencia en un entorno de juego en la consola de Amazon Bedrock o especifique el ARN del perfil de inferencia al llamar a las operaciones,, Converse y. InvokeModelInvokeModelWithResponseStreamConverseStream Para obtener más información, consulte Envío de solicitudes y generación de respuestas con inferencia de modelos.

Incorporación de vectores en la base de conocimientos y generación de respuestas: utilice un perfil de inferencia al generar una respuesta tras consultar una base de conocimientos o al analizar información no textual de una fuente de datos. Para obtener más información, consulte Prueba de la base de conocimientos mediante consultas y respuestas y Opciones de análisis para su fuente de datos.

Evaluación del modelo: puede enviar un perfil de inferencia como modelo para evaluarlo al enviar un trabajo de evaluación del modelo. Para obtener más información, consulte Evalúe el rendimiento de los recursos de Amazon Bedrock.

Gestión rápida: puede utilizar un perfil de inferencia al generar una respuesta para una solicitud que haya creado en la gestión de solicitudes. Para obtener más información, consulte Creación y almacenamiento de peticiones reutilizables con la administración de peticiones en Amazon Bedrock

Flujos: puede usar un perfil de inferencia al generar una respuesta para una solicitud que defina en línea en un nodo de solicitud de un flujo. Para obtener más información, consulte Cree un flujo de trabajo de IA end-to-end generativo con Amazon Bedrock Flows.