Avaliar o desempenho de modelos otimizados
Depois de usar um trabalho de otimização para criar um modelo otimizado, você pode executar uma avaliação do desempenho do modelo. Essa avaliação gera métricas de latência, throughput e preço. Use essas métricas para determinar se o modelo otimizado atende às necessidades do caso de uso ou se precisa de mais otimização.
Você só pode executar as avaliações de desempenho usando o Studio. Esse atributo não é fornecido por meio da API do Amazon SageMaker ou do SDK do Python.
Antes de começar
Antes de criar uma avaliação de desempenho, você deve primeiro otimizar um modelo criando um trabalho de otimização de inferência. No Studio, você só pode avaliar os modelos que você cria com esses trabalhos.
Criar a avaliação de desempenho
Conclua as etapas a seguir no Studio para criar uma avaliação de desempenho para um modelo otimizado.
-
No menu de navegação do Studio, em Trabalhos, escolha Otimização de inferência.
-
Escolha o nome do trabalho que criou o modelo otimizado que deseja avaliar.
-
Na página de detalhes do trabalho, escolha Avaliar desempenho.
-
Na página Avaliar desempenho, alguns modelos JumpStart exigem que você assine um contrato de licença de usuário final (EULA) antes de continuar. Se solicitado, revise os termos da licença na seção Contrato de licença. Se os termos forem aceitáveis para o caso de uso, marque a caixa de seleção Aceito o EULA e li os termos e condições.
-
Em Selecionar um modelo para tokenizador, aceite o padrão ou escolha um modelo específico para atuar como tokenizador para a avaliação.
-
Em Inserir conjunto de dados, escolha se deseja:
-
Usar os conjuntos de dados de amostra padrão do SageMaker.
-
Fornecer um URI do S3 que aponte para conjuntos de dados de amostra próprios.
-
-
Para o URI do S3 para resultados de desempenho, forneça um URI que aponte para o local no Amazon S3 onde você deseja armazenar os resultados da avaliação.
-
Escolha Avaliar.
O Studio mostra a página de Avaliações de desempenho, onde o trabalho de avaliação é mostrado na tabela. A coluna Status mostra o status da avaliação.
-
Quando o status for Concluído, escolha o nome do trabalho para ver os resultados da avaliação.
A página de detalhes da avaliação mostra tabelas que fornecem as métricas de desempenho de latência, throughput e preço. Para obter mais informações sobre cada métrica, consulte as Referência de métricas para avaliações de desempenho de inferência.
