Cree un trabajo de evaluación del modelo Amazon Bedrock

Para crear un trabajo de evaluación de modelos con trabajadores humanos:

1. Abre la consola Amazon Bedrock: home https://console.aws.amazon.com/bedrock/

2. En el panel de navegación, elija Evaluación de modelo.

3. En la tarjeta Crea una evaluación, en Humano: trae tu propio equipo, elige Crear una evaluación basada en humanos.

4. En la página Especificar detalles del proyecto, haga lo siguiente:

   1. Nombre de la evaluación: asigne al trabajo de evaluación de modelos un nombre que describa el trabajo. Este nombre se muestra en su lista de trabajos de evaluación de modelos. El nombre debe ser único en tu cuenta en un Región de AWS.

   2. Descripción (opcional): proporcione una descripción opcional.

5. A continuación, elija Siguiente.

6. En la página Configure la evaluación, proporcione lo siguiente.

   1. Modelos: puede elegir hasta dos modelos que desee utilizar en el trabajo de evaluación de modelos.

      Para obtener más información sobre los modelos disponibles en Amazon Bedrock, consulte Acceda a los modelos básicos de Amazon Bedrock.

   2. (Opcional) Para cambiar la configuración de inferencia de los modelos seleccionados, elija actualizar.

      Al cambiar la configuración de inferencia, se cambian las respuestas generadas por los modelos seleccionados. Para obtener más información sobre los parámetros de inferencia disponibles, consulte Parámetros de inferencia para modelos fundacionales.

   3. Tipo de tarea: elija el tipo de tarea que desea que el modelo intente realizar durante el trabajo de evaluación de modelos. Todas las instrucciones del modelo deben incluirse en las propias peticiones. El tipo de tarea no controla las respuestas del modelo.

   4. Métricas de evaluación: la lista de métricas recomendadas cambia en función de la tarea que seleccione. Para cada métrica recomendada, debe seleccionar un Método de calificación. Puede tener un máximo de 10 métricas de evaluación por trabajo de evaluación de modelos.

   5. (Opcional) Seleccione Añadir métrica para añadir una métrica. Debe definir la Métrica, la Descripción y el Método de calificación.

   6. En la tarjeta de conjuntos de datos, debe proporcionar lo siguiente.

      1. Elija un conjunto de datos de solicitudes: especifique el S3 URI del archivo de conjunto de datos de solicitudes o elija Buscar S3 para ver los depósitos de S3 disponibles. Puede tener un máximo de 1000 peticiones en un conjunto de datos de peticiones personalizado.

      2. Destino de los resultados de la evaluación: debe especificar el S3 URI del directorio en el que desea guardar los resultados del trabajo de evaluación del modelo o elegir Browse S3 para ver los depósitos de S3 disponibles.

   7. (Opcional) AWS KMS clave: proporcione ARN la clave gestionada por el cliente que desee utilizar para cifrar su trabajo de evaluación de modelos.

   8. En la tarjeta de IAMroles — Permisos de Amazon Bedrock, debes hacer lo siguiente. Para obtener más información sobre los permisos necesarios para las evaluaciones de modelos, consulte Permisos y funciones IAM de servicio necesarios para la evaluación de modelos en Amazon Bedrock.

      1. Para usar un rol de servicio de Amazon Bedrock existente, selecciona Usar un rol existente. De lo contrario, utilice Crear un nuevo rol para especificar los detalles de su nuevo rol de IAM servicio.

      2. En Nombre del rol de servicio, especifique el nombre del rol de IAM servicio.

      3. Cuando esté listo, elija Crear rol para crear el nuevo rol IAM de servicio.

7. A continuación, elija Siguiente.

8. En la tarjeta Permisos, especifique lo siguiente. Para obtener más información sobre los permisos necesarios para las evaluaciones de modelos, consulte Permisos y funciones IAM de servicio necesarios para la evaluación de modelos en Amazon Bedrock.

9. IAMRol de flujo de trabajo humano: especifique un rol de SageMaker servicio que tenga los permisos necesarios.

10. En la tarjeta Equipo de trabajo, especifique lo siguiente.

    Requisitos de notificación a los trabajadores humanos

    Cuando agregue un nuevo trabajador humano a un trabajo de evaluación de modelos, recibirá automáticamente un correo electrónico en el que se le invitará a participar en el trabajo de evaluación de modelos. Al añadir un trabajador humano existente a un trabajo de evaluación de modelos, debe notificárselo y proporcionarle un portal de trabajadores URL para el trabajo de evaluación de modelos. El trabajador actual no recibirá una notificación automática por correo electrónico de su incorporación al nuevo trabajo de evaluación de modelos.

    1. En el menú desplegable Seleccionar equipo, especifique Crear un nuevo equipo de trabajo o el nombre de un equipo de trabajo existente.

    2. (Opcional) Número de trabajadores por petición: actualiza la cantidad de trabajadores que evalúan cada petición. Una vez revisadas las respuestas de cada petición según el número de trabajadores que haya seleccionado, la petición y sus respuestas se retirarán de la circulación por parte del equipo de trabajo. El informe de resultados final incluirá todas las calificaciones de cada trabajador.

    3. (Opcional) Correo electrónico del trabajador existente: seleccione esta opción para copiar una plantilla de correo electrónico que contenga el portal del trabajadorURL.

    4. (Opcional) Correo electrónico del nuevo trabajador: seleccione esta opción para ver el correo electrónico que los nuevos trabajadores reciben automáticamente.

       importante

       Se sabe que los modelos de lenguaje grandes alucinan de vez en cuando y producen contenido tóxico u ofensivo. Es posible que a sus trabajadores se les muestre material tóxico u ofensivo durante esta evaluación. Asegúrese de tomar las medidas adecuadas para formarlos y notificarlos antes de que trabajen en la evaluación. Pueden rechazar y dejar en pausa las tareas o tomarse descansos durante la evaluación mientras acceden a la herramienta de evaluación humana.

11. A continuación, elija Siguiente.

12. En la página Proporcionar instrucciones, utilice el editor de texto para proporcionar instrucciones para completar la tarea. Puede obtener una vista previa de la interfaz de usuario de evaluación que su equipo de trabajo utiliza para evaluar las respuestas, incluidas las métricas, los métodos de calificación y sus instrucciones. Esta vista previa se basa en la configuración que ha creado para este trabajo.

13. A continuación, elija Siguiente.

14. En la página Revisar y crear, puede ver un resumen de las opciones que ha seleccionado en los pasos anteriores.

15. Para comenzar su trabajo de evaluación de modelos, elija Crear.

    nota

    Una vez que el trabajo se haya iniciado correctamente, el estado cambiará a En curso. Cuando el trabajo haya finalizado, el estado cambiará a Completado. Mientras se esté realizando un trabajo de evaluación de modelos, puede optar por detenerlo antes de que su equipo de trabajo haya evaluado todas las respuestas de los modelos. Para ello, selecciona Detener la evaluación en la página de inicio de la evaluación del modelo. Esto cambiará el estado del trabajo de evaluación del modelo a Detenido. Una vez que el trabajo de evaluación del modelo se haya detenido correctamente, puede eliminarlo.