Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Evalúe el rendimiento de los modelos optimizados
Después de utilizar un trabajo de optimización para crear un modelo optimizado, puede realizar una evaluación del rendimiento del modelo. Esta evaluación proporciona métricas de latencia, rendimiento y precio. Utilice estas métricas para determinar si el modelo optimizado cumple con las necesidades de su caso de uso o si requiere una mayor optimización.
Solo puede realizar evaluaciones de rendimiento con Studio. Esta función no se proporciona a través de Amazon SageMaker API o PythonSDK.
Antes de empezar
Antes de poder crear una evaluación del rendimiento, primero debe optimizar un modelo mediante la creación de un trabajo de optimización de inferencias. En Studio, solo puede evaluar los modelos que cree con estos trabajos.
Cree la evaluación del rendimiento
Complete los siguientes pasos en Studio para crear una evaluación del rendimiento de un modelo optimizado.
-
En el menú de navegación de Studio, en Trabajos, selecciona Optimización de inferencias.
-
Elija el nombre del trabajo que creó el modelo optimizado que desea evaluar.
-
En la página de detalles del trabajo, elija Evaluar el rendimiento.
-
En la página de evaluación del rendimiento, algunos JumpStart modelos requieren la firma de un acuerdo de licencia de usuario final (EULA) antes de poder continuar. Si se solicita, revise los términos de la licencia en la sección del acuerdo de licencia. Si los términos son aceptables para su caso de uso, seleccione la casilla de verificación correspondiente a Acepto los EULA términos y condiciones y léalos.
-
En Seleccione un modelo de tokenizador, acepte el predeterminado o elija un modelo específico que sirva de tokenizador para su evaluación.
-
En el caso de los conjuntos de datos de entrada, elija si desea:
-
Utilice los conjuntos de datos de muestra predeterminados de. SageMaker
-
Proporcione un S3 URI que apunte a sus propios conjuntos de datos de muestra.
-
-
En el caso de S3 URI para obtener resultados de rendimiento, proporcione un elemento URI que apunte a la ubicación de Amazon S3 en la que desea almacenar los resultados de la evaluación.
-
Elija Evaluar.
Studio muestra la página de evaluaciones de rendimiento, donde se muestra su trabajo de evaluación en la tabla. La columna Estado muestra el estado de la evaluación.
-
Cuando el estado sea Completado, elija el nombre del trabajo para ver los resultados de la evaluación.
La página de detalles de la evaluación muestra tablas que proporcionan las métricas de rendimiento en cuanto a latencia, rendimiento y precio. Para obtener más información sobre cada métrica, consulta laReferencia de métricas para las evaluaciones del rendimiento por inferencia.
