Evalúe el rendimiento de los modelos en Amazon Bedrock

Utilice las evaluaciones de modelos para evaluar el rendimiento y la eficacia de los modelos de Amazon Bedrock. Puede crear trabajos de modelo automáticos para ver las métricas de rendimiento, como la solidez semántica de un modelo. También puede recurrir a un equipo de trabajadores humanos para que califiquen y aporten su opinión para la evaluación.

Las evaluaciones automáticas producen puntuaciones y métricas calculadas que ayudan a evaluar la eficacia de un modelo. Las evaluaciones basadas en personas utilizan un equipo de personas que proporcionan sus calificaciones y preferencias en relación con determinadas métricas.

Para crear un trabajo de evaluación de modelos, debe tener acceso a al menos un modelo de Amazon Bedrock. Los trabajos de evaluación de modelos admiten el uso de modelos básicos, modelos básicos personalizados y modelos que haya adquirido Provisioned Throughput.