Creación de un trabajo de evaluación del modelos con la participación de trabajadores humanos

Creación de un bucket de Amazon S3 y especificación de los permisos de CORS

1. Abre la consola Amazon SageMaker AI en https://console.aws.amazon.com/sagemaker/.

2. En el panel de navegación, introduzca S3 en la barra de búsqueda de la parte superior de la página.

3. Elija S3 en Servicios.

4. En el panel de navegación, elija Buckets.

5. En la sección Buckets de uso general, en Nombre, elija el nombre del bucket de S3 que desee usar para almacenar la entrada y la salida del modelo en la consola. Si no dispone de un bucket de S3, haga lo siguiente.

   1. Seleccione Crear bucket para abrir una nueva página Crear bucket.

   2. En la sección Configuración general, en Región de AWS , seleccione la región de AWS en la que se encuentra el modelo fundacional.

   3. Asigne un nombre a su bucket de S3 en el cuadro de entrada situado debajo de Nombre del bucket.

   4. Acepte todas las opciones predeterminadas.

   5. Seleccione Crear bucket.

   6. En la sección Buckets de uso general, en Nombre, seleccione el nombre del bucket de S3 que ha creado.

6. Elija la pestaña Permisos.

7. Vaya a la sección Uso compartido de recursos entre orígenes (CORS) en la parte inferior de la ventana. Elija Editar.

8. A continuación, se indica la política de CORS mínima requerida que debe añadir a su bucket de Amazon S3. Copie y pegue lo siguiente en el cuadro de entrada.

   [
   {
       "AllowedHeaders": ["*"],
       "AllowedMethods": [
           "GET",
           "HEAD",
           "PUT"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
         "Access-Control-Allow-Origin"
       ],
       "MaxAgeSeconds": 3000
   }
   ]

9. Elija Guardar cambios.

Adición de permisos a su política de IAM

Es posible que desee analizar el nivel de permisos que debe asociar a su rol de IAM.

Si desea asociar las políticas existentes a su rol de IAM, puede omitir las instrucciones que se indican aquí y continuar con las instrucciones de Adición de permisos a su rol de IAM.

Las siguientes instrucciones permiten crear una política de IAM personalizada que se adapta a este servicio con los permisos mínimos.

1. Abre la consola Amazon SageMaker AI en https://console.aws.amazon.com/sagemaker/.

2. En la barra de búsqueda situada en la parte superior de la página, introduzca IAM.

3. En Servicios, seleccione Identity and Access Management (IAM).

4. En el panel de navegación, elija Políticas.

5. Elija Crear política. Cuando se abra Editor de políticas, elija JSON.

6. Asegúrese de que aparecen los siguientes permisos en Editor de políticas. Copie y pegue la siguiente política y péguela en Editor de políticas.

   {
   "Version": "2012-10-17",
   "Statement":
       [{
           "Effect": "Allow",
           "Action": [
               "s3:GetObject",
               "s3:PutObject",
               "s3:ListBucket"
           ],
           "Resource": [
               "arn:aws:s3:::{input_bucket}/*",
               "arn:aws:s3:::{input_bucket}",
               "arn:aws:s3:::{output_bucket}/*",
               "arn:aws:s3:::{output_bucket}",
               "arn:aws:s3:::jumpstart-cache-prod-{region}/*",
               "arn:aws:s3:::jumpstart-cache-prod-{region}"
           ]
       },
       {
           "Effect": "Allow",
           "Action": [
               "sagemaker:CreateEndpoint",
               "sagemaker:DeleteEndpoint",
               "sagemaker:CreateEndpointConfig",
               "sagemaker:DeleteEndpointConfig"
           ],
           "Resource": [
               "arn:aws:sagemaker:{region}:{account-id}:endpoint/sm-margaret-*",
               "arn:aws:sagemaker:{region}:{account-id}:endpoint-config/sm-margaret-*"
           ],
           "Condition": {
               "ForAnyValue:StringEquals": {
                   "aws:TagKeys": "sagemaker-sdk:jumpstart-model-id"
               }
           }
       },
       {
           "Effect": "Allow",
           "Action": [
               "sagemaker:DescribeProcessingJob",
               "sagemaker:DescribeEndpoint",
               "sagemaker:InvokeEndpoint"
           ],
           "Resource": "*"
       },
       {
           "Effect": "Allow",
           "Action": [
               "sagemaker:DescribeInferenceComponent",
               "sagemaker:AddTags",
               "sagemaker:CreateModel",
               "sagemaker:DeleteModel"
           ],
           "Resource": "arn:aws:sagemaker:{region}:{account-id}:model/*",
           "Condition": {
               "ForAnyValue:StringEquals": {
                   "aws:TagKeys": "sagemaker-sdk:jumpstart-model-id"
               }
           }
       },
       {
           "Effect": "Allow",
           "Action": [
               "sagemaker:DescribeFlowDefinition",
               "sagemaker:StartHumanLoop",
               "sagemaker:DescribeHumanLoop"
           ],
           "Resource": "*"
       },
       {
           "Effect": "Allow",
           "Action": [
               "logs:CreateLogStream",
               "logs:PutLogEvents",
               "logs:CreateLogGroup",
               "logs:DescribeLogStreams"
           ],
           "Resource": "arn:aws:logs:{region}:{account-id}:log-group:/aws/sagemaker/ProcessingJobs:*"
       },
       {
           "Effect": "Allow",
           "Action": [
               "cloudwatch:PutMetricData"
           ],
           "Resource":"*"
       },
       {
           "Effect": "Allow",
           "Action": [
               "ecr:GetAuthorizationToken",
               "ecr:BatchCheckLayerAvailability",
               "ecr:GetDownloadUrlForLayer",
               "ecr:BatchGetImage"
           ],
           "Resource": "*"
       },
       {
           "Effect": "Allow",
           "Action": [
               "kms:DescribeKey",
               "kms:GetPublicKey",
               "kms:Decrypt",
               "kms:Encrypt"
           ],
           "Resource": [
               "arn:aws:kms:{region}:{account-id}:key/{kms-key-id}"
           ]
       },
       {
           "Effect": "Allow",
           "Action": [
               "iam:PassRole"
           ],
           "Resource": "arn:aws:iam::{account-id}:role/{this-role-created-by-customer}",
           "Condition": {
               "StringEquals": {
                   "aws:PrincipalAccount": [
                       "account-id"
                   ]
               }
           }
       }]
   }

7. Elija Next (Siguiente).

8. Introduzca un nombre de política en la sección Detalles de la política, en Nombre de la política. También puede introducir una descripción opcional. Buscará el nombre de esta política cuando la asigne a un rol.

9. Elija Crear política.

Adición de permisos a su rol de IAM

1. Abre la consola Amazon SageMaker AI en https://console.aws.amazon.com/sagemaker/.

2. En la barra de búsqueda situada en la parte superior de la página, introduzca IAM.

3. En Servicios, seleccione Identity and Access Management (IAM).

4. Seleccione Roles en el panel de navegación.

5. Si va a crear un nuevo rol:

   1. Elija Crear rol.

   2. En el paso Seleccionar entidad de confianza, en Tipo de entidad de confianza, elija Política de confianza personalizada.

   3. En Política de confianza personalizada, junto a Agregar entidad principal, elija Agregar.

   4. En el cuadro emergente Agregar principal, en Tipo de entidad principal, seleccione Servicios de AWS en la lista desplegable de opciones.

   5. En ARN, sustituya {ServiceName} por sagemaker.

   6. Elija Agregar entidad principal.

   7. Elija Next (Siguiente).

   8. (Opcional) En Políticas de permisos, seleccione las políticas que desea añadir a su rol.

   9. (Opcional) En Establecer límite de permisos - opcional, elija su configuración de límite de permisos.

   10. Elija Next (Siguiente).

   11. En el paso Asignar nombre, revisar y crear, en Detalles del rol, complete el Nombre del rol y la Descripción.

   12. (Opcional) En Agregar etiquetas - opcional, puede añadir etiquetas seleccionando Agregar nueva etiqueta e introducir un par de Clave y Valor - opcional.

   13. Revise la configuración.

   14. Elija Crear rol.

6. Si va a añadir la política a un rol existente:

   1. Seleccione el nombre del rol en Nombre del rol. La ventana principal cambia para mostrar información sobre su rol.

   2. En la sección Políticas de permisos, elija la flecha hacia abajo junto a Agregar permisos.

   3. De las opciones que aparecen, seleccione Asociar políticas.

   4. En la lista de políticas que aparece, busque y seleccione la política que creó en Adición de permisos a su política de IAM y active la casilla situada junto al nombre de la política. Si no ha creado una política de IAM personalizada, busque y active las casillas de verificación situadas junto a las políticas de AWS AmazonSageMakerFullAccess y AmazonS3FullAccess proporcionadas. Es posible que desee analizar el nivel de permisos que debe asociar a su rol de IAM. Las instrucciones de la política de IAM personalizada son menos permisivas, mientras que la última es más permisiva. Para obtener más información sobre la AmazonSageMakerFullAccess política, consulte AmazonSageMakerFullAccess.

   5. Elija Añadir permisos. Un banner en la parte superior de la página debe indicar La política se ha adjuntado correctamente al rol cuando se haya completado.

Adición de una política de confianza a su rol de IAM

La siguiente política de confianza permite a los administradores permitir que la SageMaker IA asuma la función. Debe añadir la política a su rol de IAM. Para ello, siga los siguientes pasos.

1. Abre la consola Amazon SageMaker AI en https://console.aws.amazon.com/sagemaker/.

2. En la barra de búsqueda situada en la parte superior de la página, introduzca IAM.

3. En Servicios, seleccione Identity and Access Management (IAM).

4. Seleccione Roles en el panel de navegación.

5. Seleccione el nombre del rol en Nombre del rol. La ventana principal cambia para mostrar información sobre su rol.

6. Seleccione la pestaña Relación de confianza.

7. Elija Editar la política de confianza.

8. Asegúrese de que la siguiente política aparezca en Editar política de confianza. También puede copiar y pegar lo siguiente en el editor.

   {
   "Version": "2012-10-17",
   "Statement": [
       {
           "Sid": "",
           "Effect": "Allow",
           "Principal": {
               "Service": [
                   "sagemaker.amazonaws.com"
               ]
           },
           "Action": "sts:AssumeRole"
       }
   ]
   }

9. Elija Actualizar política. Un banner en la parte superior de la página debe indicar Se actualizó la política de confianza cuando termine.

Para lanzar JumpStart

1. Abre la consola Amazon SageMaker AI en https://console.aws.amazon.com/sagemaker/.

2. En la barra de búsqueda situada en la parte superior de la página, introduzca SageMaker AI.

3. En Servicios, selecciona Amazon SageMaker AI.

4. En el panel de navegación, seleccione Studio.

5. Elija su dominio en la sección Introducción, después de expandir la flecha hacia abajo situada debajo de Seleccionar dominio.

6. Elija su perfil de usuario en la sección Introducción después de expandir la flecha hacia abajo situada debajo de Seleccionar perfil de usuario.

7. Seleccione Abrir Studio para abrir la página de inicio de Studio.

8. En el panel de navegación, seleccione Trabajos.

Configuración de un trabajo de evaluación

1. En la página de inicio de la evaluación del modelo, elija Evaluar un modelo

2. Especifique los detalles del trabajo.

   1. Introduzca el Nombre de evaluación de su evaluación del modelo. Este nombre le ayuda a identificar el trabajo de evaluación del modelo una vez enviado.

   2. Introduzca una Descripción para añadir más contexto al nombre.

   3. Elija Next (Siguiente).

3. Configuración de la evaluación

   1. En Elija un tipo de evaluación, seleccione el botón de opción situado junto a Humana.

   2. En Elija los modelos que desea evaluar, seleccione Agregar modelo a la evaluación. Puede evaluar hasta dos modelos para cada evaluación.

      1. Para usar un modelo previamente entrenado, elija un JumpStart modelo básico previamente entrenadoJumpStart . Si desea utilizar un JumpStart modelo que haya implementado anteriormente en un punto final, elija puntos finales con JumpStart modelos básicos.

      2. Si el modelo requiere un acuerdo legal, active la casilla de verificación para confirmar que está de acuerdo.

      3. Si desea añadir otro modelo, repita el paso anterior.

   3. Para cambiar el comportamiento del modelo durante la inferencia, elija Establecer parámetros.

      El conjunto de parámetros contiene una lista de parámetros de inferencia que afectan al grado de asignación al azar en la salida del modelo, a la longitud de la salida del modelo y a las palabras que el modelo elegirá a continuación.

   4. Luego, seleccione un Tipo de tarea. Puede elegir cualquiera de las opciones siguientes:

      • Resumen de textos

      • Respuestas a preguntas

      • Clasificación de textos

      • Generación abierta

      • Personalizada

   5. En la sección Métricas de evaluación, elija una Dimensión de evaluación e introduzca un contexto adicional sobre la dimensión en el cuadro de texto situado debajo de Descripción. Puede elegir una de las siguientes dimensiones:

      • Fluidez: mide la calidad lingüística de un texto generado.

      • Coherencia: mide la organización y la estructura de un texto generado.

      • Toxicidad: mide el nivel de daño de un texto generado.

      • Exactitud: indica la exactitud del texto generado.

      • Una dimensión de evaluación personalizada en la que puede definir el nombre y la descripción de su equipo de trabajo.

        Para añadir una dimensión de evaluación personalizada, haga lo siguiente:

        • Elija Agregar una dimensión de evaluación.

        • En el cuadro de texto que contiene Proporcionar dimensión de evaluación, introduzca el nombre de la dimensión personalizada.

        • En el cuadro de texto que contiene Proporcionar descripción de esta dimensión de evaluación, introduzca una descripción para que su equipo de trabajo sepa cómo evaluar su dimensión personalizada.

      Debajo de cada una de estas métricas, se encuentran las métricas de informes que puede elegir con la flecha descendente Elija un tipo de métrica. Si tiene dos modelos para evaluar, puede elegir métricas de informes comparativas o individuales. Si tiene dos modelos para evaluar, solo puede elegir métricas de informes individuales. Puede elegir los siguientes tipos de métricas de informes para cada una de las métricas anteriores.

      • (Comparativa) Escala Likert: comparación: un evaluador humano indicará su preferencia entre dos respuestas en una escala Likert de 5 puntos siguiendo sus instrucciones. Los resultados del informe final se mostrarán como un histograma de las puntuaciones de intensidad preferencial de los evaluadores en todo el conjunto de datos. Defina los puntos importantes de la escala de 5 puntos en sus instrucciones para que sus evaluadores sepan cómo calificar las respuestas de acuerdo con sus expectativas. En la salida JSON guardada en Amazon S3, esta opción se representa como ComparisonLikertScale, el par clave-valor "evaluationResults":"ComparisonLikertScale".

      • (Comparativa) Botones de opción: permiten a un evaluador humano indicar la respuesta que prefiere por encima de las demás respuestas. Los evaluadores indican su preferencia entre dos respuestas según sus instrucciones mediante botones de opción. Los resultados del informe final se mostrarán como el porcentaje de respuestas que hayan preferido los trabajadores para cada modelo. Explique claramente su método de evaluación en sus instrucciones. En la salida JSON guardada en Amazon S3, esta opción se representa como ComparisonChoice, el par clave-valor "evaluationResults":"ComparisonChoice".

      • (Comparativa) Clasificación ordinal: permite a un evaluador humano calificar las respuestas que prefiere a una petición en orden, empezando por 1, y según sus instrucciones. Los resultados del informe final se mostrarán como un histograma de las clasificaciones de los evaluadores en todo el conjunto de datos. Asegúrese de definir qué significa una clasificación de 1 en sus instrucciones. En la salida JSON guardada en Amazon S3, esta opción se representa como ComparisonRank, el par clave-valor "evaluationResults":"ComparisonRank".

      • (Individual) Pulgares arriba/abajo: permite que un evaluador humano clasifique cada respuesta de un modelo como aceptable o inaceptable según sus instrucciones. Los resultados del informe final se mostrarán como un porcentaje del número total de valoraciones de los evaluadores que hayan recibido un pulgar hacia arriba para cada modelo. Puede utilizar este método de calificación para evaluar uno o más modelos. Si lo utiliza en una evaluación que contenga dos modelos, su equipo de trabajo indicará un pulgar hacia arriba o hacia abajo por cada respuesta del modelo y el informe final mostrará los resultados agregados de cada modelo de forma individual. Defina lo que es aceptable como calificación de pulgar hacia arriba o hacia abajo en sus instrucciones. En la salida JSON guardada en Amazon S3, esta opción se representa como ThumbsUpDown, el par clave-valor "evaluationResults":"ThumbsUpDown".

      • (Individual) Escala Likert: individual: permite que un evaluador humano indique en qué medida aprueba la respuesta del modelo, basándose en sus instrucciones, en una escala Likert de 5 puntos. Los resultados del informe final se mostrarán como un histograma de las calificaciones de 5 puntos de los evaluadores en todo el conjunto de datos. Puede utilizar esta escala para una evaluación que contiene uno o más modelos. Si selecciona este método de calificación en una evaluación que contenga más de un modelo, se le presentará a su equipo de trabajo una escala Likert de 5 puntos por cada respuesta del modelo y el informe final mostrará los resultados agregados de cada modelo de forma individual. Defina los puntos importantes en la escala de 5 puntos en sus instrucciones para que sus evaluadores sepan cómo calificar las respuestas de acuerdo con sus expectativas. En la salida JSON guardada en Amazon S3, esta opción se representa como IndividualLikertScale, el par clave-valor "evaluationResults":"IndividualLikertScale".

   6. Elija un valor en Conjunto de datos de peticiones. Este conjunto de datos es obligatorio y su equipo de trabajo humano lo utilizará para evaluar las respuestas de su modelo. Proporcione el URI de S3 a un bucket de Amazon S3 que contenga su conjunto de datos de peticiones en el cuadro de texto situado debajo de URI de S3 para su archivo de conjunto de datos de entrada. El conjunto de datos debe estar en el formato jsonlines y contener las siguientes claves para identificar qué partes del conjunto de datos utilizará la IU para evaluar el modelo:

      • prompt: la solicitud sobre la que quiere que su modelo genere una respuesta.

      • (Opcional) category: las etiquetas de categoría de su petición. La clave category se usa para clasificar las peticiones, de modo que pueda filtrar los resultados de la evaluación más adelante por categoría para comprender mejor los resultados de la evaluación. No participa en la evaluación en sí misma y los trabajadores no la ven en la interfaz de usuario de la evaluación.

      • (Opcional) referenceResponse: la respuesta de referencia para los evaluadores humanos. Los trabajadores no valoran la respuesta de referencia, pero se puede utilizar para entender qué respuestas son aceptables o inaceptables, según sus instrucciones.

      • (Opcional)responses: se utiliza para especificar las inferencias de un modelo externo o externo a la SageMaker IA. AWS

        Este objeto requiere dos pares clave-valor adicionales "modelIdentifier: una cadena que identifica el modelo y "text", que es la inferencia del modelo.

        Si especifica una clave "responses" en cualquier entrada del conjunto de datos de peticiones personalizado, debe especificarse en todas las entradas.

      • El siguiente código json de ejemplo muestra los pares clave-valor aceptados en un conjunto de datos de peticiones personalizado. La casilla de verificación Traiga su propia inferencia debe estar marcada si se proporciona una clave de respuestas. Si está marcada, la clave responses debe especificarse siempre en cada petición. El siguiente ejemplo podría usarse en un escenario de preguntas y respuestas.

        {
            "prompt": {
                "text": "Aurillac is the capital of"
            },
            "category": "Capitals",
            "referenceResponse": {
                "text": "Cantal"
            },
            "responses": [
                // All responses must come from a single model. If specified it must be present in all JSON objects. modelIdentifier and text are then also required.
                {
                    "modelIdentifier": "meta-textgeneration-llama-codellama-7b",
                    "text": "The capital of Aurillac is Cantal."
                }
            ]
        }

   7. Introduzca la ubicación del bucket de S3 en la que desee guardar los resultados de la evaluación de salida en el cuadro de texto situado debajo de Elija una ubicación de S3 para guardar los resultados de la evaluación. El archivo de salida escrito en esta ubicación de S3 tendrá el formato JSON y terminará con la extensión .json.

   8. nota

      Si desea incluir sus propios datos de inferencia en el trabajo de evaluación del modelo, solo puede usar un modelo único.

      (Opcional) Marque la casilla de verificación situada debajo de Traiga su propia inferencia para indicar que el conjunto de datos de la petición contiene la clave responses. Si especifica la clave responses como parte de alguna petición, debe estar presente en todas ellas.

   9. Configure el procesador en la sección Configuración del procesador con los siguientes parámetros:

      • Utilice Recuento de instancias para especificar el número de instancias de computación que se utilizarán para ejecutar el modelo. Si usa más de una instancia de 1, su modelo se ejecutará en instancias paralelas.

      • Utilice el tipo de instancia para elegir el tipo de instancia de procesamiento que desea utilizar para ejecutar el modelo. AWS tiene instancias informáticas generales e instancias optimizadas para la informática y la memoria. Para obtener más información sobre los tipos de instancias, consulte Tipos de instancias disponibles para su uso con Studio Classic.

      • Si quieres que la SageMaker IA utilice tu propia clave de cifrado AWS Key Management Service (AWS KMS) en lugar de la clave de servicio AWS gestionado predeterminada, selecciona Activado en la clave Volume KMS e introduce la AWS KMS clave. SageMaker La IA utilizará tu AWS KMS clave para cifrar los datos del volumen de almacenamiento. Para obtener más información acerca de las claves, consulte AWS Key Management Service.

      • Si quieres que SageMaker AI utilice tu propia clave de cifrado AWS Key Management Service (AWS KMS) en lugar de la clave de servicio AWS gestionado predeterminada, selecciona Activado en la clave KMS de salida e introduce la AWS KMS clave. SageMaker La IA utilizará tu AWS KMS clave para cifrar el resultado del trabajo de procesamiento.

      • Utilice un rol de IAM para especificar el acceso y los permisos del procesador predeterminado. Introduzca el rol de IAM que configuró en la sección Configure su rol de IAM en la sección Ejecute una evaluación humana.

   10. Tras especificar el modelo y los criterios, seleccione Siguiente.

Configuración de su equipo de trabajo

1. Elija un equipo existente o Crear un equipo nuevo en el cuadro de texto de entrada Seleccionar equipo.

2. Especifique el nombre de su organización en Nombre de la organización. Este campo solo aparece al crear el primer equipo de trabajo de la cuenta.

3. Especifique un Correo electrónico de contacto. Sus trabajadores utilizarán este correo electrónico para comunicarse con usted acerca de la tarea de evaluación que les asignará. Este campo solo aparece al crear el primer equipo de trabajo de la cuenta.

4. Especifique un valor para Nombre del equipo. No puede cambiar este nombre posteriormente.

5. Especifique una lista de Direcciones de correo electrónico para cada uno de los trabajadores humanos que evaluarán su modelo de lenguaje grande (LLM). Cuando especifica las direcciones de correo electrónico de su equipo, solo se les notificará un nuevo trabajo cuando se hayan añadido recientemente a un equipo de trabajo. Si utiliza el mismo equipo para un trabajo posterior, debe notificárselo manualmente.

6. A continuación, especifique la Cantidad de trabajadores por petición

Entrega de instrucciones a su equipo de trabajo

1. Proporcione instrucciones detalladas a sus empleados para que puedan evaluar su modelo de acuerdo con sus métricas y estándares. Una plantilla en la ventana principal muestra ejemplos de instrucciones que puede proporcionar. Para obtener más información sobre cómo dar instrucciones, consulte Creación de instrucciones correctas de trabajador.

2. Para minimizar el sesgo en la evaluación humana, active la casilla de verificación situada junto a Aleatorizar las posiciones de respuestas.

3. Seleccione Siguiente.

Envío de la solicitud de trabajo de evaluación y consulta del progreso del trabajo

1. Para enviar su solicitud de trabajo de evaluación, elija Crear recurso.

2. Para ver el estado de todos los trabajos, elija Trabajos en el panel de navegación. A continuación, elija Evaluación del modelo. El estado de la evaluación se muestra como Completada, Error o En curso.

   También se muestra lo siguiente:

   • Ejemplos de cuadernos para realizar una evaluación de modelos en SageMaker AI y Amazon Bedrock.

   • Enlaces a información adicional que incluye documentación, vídeos, noticias y blogs sobre el proceso de evaluación del modelo.

   • También está disponible la URL de su Portal para trabajadores privados.

3. Seleccione la evaluación del modelo en Nombre para ver un resumen de la evaluación.

   • El resumen proporciona información sobre el estado del trabajo, qué tipo de tarea de evaluación ha ejecutado, en qué modelo y cuándo se ejecutó. Tras el resumen, las puntuaciones de las evaluaciones humanas se ordenan y resumen por métrica.

Consulta de la tarjeta de informe de su trabajo de evaluación del modelo en el que participan trabajadores humanos

1. Para ver el informe de sus trabajos, elija Trabajos en el panel de navegación.

2. A continuación, elija Evaluación del modelo. En la página principal Evaluaciones de modelos, utilice la tabla para buscar su trabajo de evaluación de modelos. Cuando el estado del trabajo cambie a Completado, podrá ver la tarjeta del informe.

3. Elija el nombre del trabajo de evaluación del modelo en la tarjeta del informe.

Adición de sus propios datos de inferencia a un trabajo de evaluación del modelo humano.

1. En Paso 1: especifique los detalles del trabajo, añada el nombre del trabajo de evaluación del modelo y una descripción opcional.

2. En Paso 2: configure la evaluación, elija Humano.

3. A continuación, en Elija los modelos que desea evaluar, puede elegir el modelo que desea utilizar. Puede usar un JumpStart modelo que ya se haya implementado o puede elegir un modelo básico de Jumpstart previamente entrenado.

4. A continuación, elija un Tipo de tarea.

5. Luego, puede añadir Métricas de evaluación.

6. A continuación, en Conjunto de datos de peticiones, active la casilla de verificación situada debajo de Traiga su propia inferencia para indicar que las peticiones contienen claves de respuesta.

7. A continuación, siga configurando su trabajo de evaluación del modelo.