Creación de un trabajo de evaluación del modelo automática en Studio

Requisitos previos

• Para realizar una evaluación del modelo en una interfaz de usuario de Studio, su rol AWS Identity and Access Management (de IAM) y cualquier conjunto de datos de entrada deben tener los permisos correctos. Si no tiene un dominio de SageMaker IA o un rol de IAM, siga los pasos que se indican. Guía para empezar a usar Amazon SageMaker AI

Establecimiento de permisos para el bucket de S3

Una vez creados el dominio y el rol, siga estos pasos para añadir los permisos necesarios para evaluar el modelo.

1. Abre la consola Amazon SageMaker AI en https://console.aws.amazon.com/sagemaker/.

2. En el panel de navegación, introduzca S3 en la barra de búsqueda de la parte superior de la página.

3. Elija S3 en Servicios.

4. En el panel de navegación, elija Buckets.

5. En la sección Buckets de uso general, en Nombre, elija el nombre del bucket de Amazon S3 que quiere usar para almacenar su conjunto de datos de peticiones personalizado y dónde quiere que se guarden los resultados del trabajo de evaluación del modelo. El bucket de Amazon S3 debe estar en el mismo lugar Región de AWS que la instancia de Studio. Si no dispone de un bucket de Amazon S3, haga lo siguiente.

   1. Seleccione Crear bucket para abrir una nueva página Crear bucket.

   2. En la sección Configuración general, en Región de AWS , seleccione la región de AWS en la que se encuentra el modelo fundacional.

   3. Asigne un nombre a su bucket de S3 en el cuadro de entrada situado debajo de Nombre del bucket.

   4. Acepte todas las opciones predeterminadas.

   5. Seleccione Crear bucket.

   6. En la sección Buckets de uso general, en Nombre, seleccione el nombre del bucket de S3 que ha creado.

6. Elija la pestaña Permisos.

7. Vaya a la sección Uso compartido de recursos entre orígenes (CORS) en la parte inferior de la ventana. Elija Editar.

8. Para añadir los permisos de CORS a su bucket, copie el siguiente código en el cuadro de entrada.

   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]

9. Elija Guardar cambios.

Adición de permisos a su política de IAM

1. En la barra de búsqueda situada en la parte superior de la página, introduzca IAM.

2. En Servicios, seleccione Identity and Access Management (IAM).

3. En el panel de navegación, elija Políticas.

4. Elija Crear política. Cuando se abra Editor de políticas, elija JSON.

5. Elija Next (Siguiente).

6. Asegúrese de que aparecen los siguientes permisos en Editor de políticas. Copie y pegue la siguiente política y péguela en Editor de políticas.

   {
   "Version": "2012-10-17",
   "Statement": [
       {
           "Effect": "Allow",
           "Action": [
               "cloudwatch:PutMetricData",
               "logs:CreateLogStream",
               "logs:PutLogEvents",
               "logs:CreateLogGroup",
               "logs:DescribeLogStreams",
               "s3:GetObject",
               "s3:PutObject",
               "s3:ListBucket",
               "ecr:GetAuthorizationToken",
               "ecr:BatchCheckLayerAvailability",
               "ecr:GetDownloadUrlForLayer",
               "ecr:BatchGetImage"
            ],
               "Resource": "*"
       },
       {
               "Effect": "Allow",
               "Action": [
                   "sagemaker:Search",
                   "sagemaker:CreateProcessingJob",
                   "sagemaker:DescribeProcessingJob"
                ],
                "Resource": "*"
       }
   ]
   }

7. Elija Next (Siguiente).

8. Introduzca un nombre de política en la sección Detalles de la política, en Nombre de la política. También puede introducir una descripción opcional. Buscará el nombre de esta política cuando la asigne a un rol.

9. Elija Crear política.

Adición de permisos a su rol de IAM

1. Seleccione Roles en el panel de navegación. Introduzca el nombre del rol que desea utilizar.

2. Seleccione el nombre del rol en Nombre del rol. La ventana principal cambia para mostrar información sobre su rol.

3. En la sección Políticas de permisos, elija la flecha hacia abajo junto a Agregar permisos.

4. De las opciones que aparecen, seleccione Asociar políticas.

5. En la lista de políticas que aparece, busque la política que creó en el paso 5. Marque la casilla de verificación que hay junto al nombre de la política.

6. Seleccione la flecha hacia abajo situada junto a Acciones.

7. En las opciones que aparecen, seleccione Asociar.

8. Busque el nombre del rol que ha creado. Seleccione la casilla de verificación situada junto al nombre.

9. Elija Añadir permisos. Un banner en la parte superior de la página debe indicar La política se ha adjuntado correctamente al rol.

• .

Inicialización de un trabajo de evaluación del modelo automática en Studio

1. Abre la consola Amazon SageMaker AI en https://console.aws.amazon.com/sagemaker/.

2. En la barra de búsqueda situada en la parte superior de la página, introduzca SageMaker AI.

3. En Servicios, selecciona Amazon SageMaker AI.

4. En el panel de navegación, seleccione Studio.

5. Elija su dominio en la sección Introducción, después de expandir la flecha hacia abajo situada debajo de Seleccionar dominio.

6. Elija su perfil de usuario en la sección Introducción después de expandir la flecha hacia abajo situada debajo de Seleccionar perfil de usuario.

7. Seleccione Abrir Studio para abrir la página de inicio de Studio.

8. En el panel de navegación principal, seleccione Trabajos.

9. A continuación, elija Evaluación del modelo.

Configuración de un trabajo de evaluación

1. A continuación, elija Evaluar un modelo.

2. En Paso 1: especifique los detalles del trabajo, haga lo siguiente:

   1. Introduzca el Nombre de su evaluación del modelo. Este nombre le ayuda a identificar el trabajo de evaluación del modelo una vez enviado.

   2. Introduzca una Descripción para añadir más contexto al nombre.

   3. Elija Next (Siguiente).

3. En Paso 2: configure la evaluación, haga lo siguiente:

   1. En Tipo de evaluación, seleccione Automática.

   2. A continuación, elija Agregar modelo a evaluación.

   3. En el modo Añadir modelo, puede optar por utilizar un modelo básico de Jumpstart previamente entrenado o un punto final de SageMaker IA. Si ya has implementado un JumpStart modelo, elige un punto de conexión de SageMaker IA; de lo contrario, elige un modelo básico de Jumpstart previamente entrenado.

   4. A continuación, elija Guardar.

   5. (Opcional) Tras añadir el modelo, elija Plantilla de petición para ver el formato de entrada esperado para las peticiones en función del modelo que haya seleccionado. Para obtener más información acerca de cómo configurar una plantilla de petición para un conjunto de datos, consulte Plantillas de peticiones.

      • Realice los siguientes pasos para utilizar la plantilla de petición predeterminada:

        1. Active la opción Usar las plantillas de petición predeterminadas proporcionadas por los conjuntos de datos.

        2. (Opcional) Para cada conjunto de datos, revise la petición proporcionada por Clarify.

        3. Seleccione Guardar.

      • Siga estos pasos para usar una plantilla de petición personalizada:

        1. Desactive la opción Usar las plantillas de petición predeterminadas proporcionadas por los conjuntos de datos.

        2. Si Clarify muestra una petición predeterminada, puede personalizarla o eliminarla e introducir la suya propia. Debe incluir la variable $model_input en la plantilla de petición.

        3. Seleccione Guardar.

   6. A continuación, en Tipo de tarea, elija un tipo de tarea.

      Para obtener más información sobre los tipos de tareas y las dimensiones de evaluación asociadas, consulte Evaluación automática en Uso de conjuntos de datos de peticiones y dimensiones de evaluación disponibles en trabajos de evaluación del modelo .

   7. En la sección Métricas de evaluación, elija una Dimensión de evaluación. El cuadro de texto situado debajo de Descripción contiene contexto adicional sobre la dimensión.

      Tras seleccionar una tarea, las métricas asociadas a la tarea aparecen en Métricas. En esta sección, haga lo siguiente.

   8. Seleccione una dimensión de evaluación seleccionando la flecha hacia abajo situada bajo Dimensión de evaluación.

   9. Elija un conjunto de datos de evaluación. Puede optar por usar su propio conjunto de datos o usar un conjunto de datos integrado. Si desea utilizar su propio conjunto de datos para evaluar el modelo, debe tener un formato que FMEval lo pueda utilizar. También debe estar ubicado en un bucket de S3 que tenga los permisos de CORS a los que se hizo referencia en la sección Configure su entorno anterior. Para obtener más información acerca de cómo dar formato a un conjunto de datos personalizado, consulte Uso de un conjunto de datos de entrada personalizado.

   10. Introduzca la ubicación del bucket de S3 en la que desee guardar los resultados de la evaluación de salida. Este archivo está en formato jsonlines (.jsonl).

   11. Configure el procesador en la sección Configuración del procesador con los siguientes parámetros:

       • Utilice Recuento de instancias para especificar el número de instancias de computación que desea utilizar para ejecutar el modelo. Si usa más de una instancia de 1, su modelo se ejecuta en instancias paralelas.

       • Use Tipo de instancia para elegir el tipo de instancia de computación que quiere usar para ejecutar el modelo. Para obtener más información sobre los tipos de instancias, consulte Tipos de instancias disponibles para su uso con Studio Classic.

       • Use la clave Volume KMS para especificar su clave de cifrado AWS Key Management Service (AWS KMS). SageMaker La IA utiliza su AWS KMS clave para cifrar el tráfico entrante del modelo y de su bucket de Amazon S3. Para obtener más información acerca de las claves, consulte AWS Key Management Service.

       • Utilice la clave KMS de salida para especificar la clave de AWS KMS cifrado para el tráfico saliente.

       • Utilice Rol de IAM para especificar el acceso y los permisos del procesador predeterminado. Introduzca el rol de IAM que configuró en Configure su entorno

   12. Tras especificar el modelo y los criterios, elija Siguiente. La ventana principal cambia a Paso 5: revisar y guardar.

Revisión y ejecución de su trabajo de evaluación

1. Revise todos los parámetros, el modelo y los datos que seleccionó para la evaluación.

2. Elija Crear recurso para ejecutar la evaluación.

3. Para comprobar el estado del trabajo, vaya a la parte superior de la sección Evaluaciones de modelos de la página.