As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Avaliação automática do modelo
Você pode criar uma avaliação automática do modelo no Studio ou usando a fmeval biblioteca dentro do seu próprio código. O Studio usa um assistente para criar o trabalho de avaliação do modelo. A fmeval biblioteca fornece ferramentas para personalizar ainda mais seu fluxo de trabalho.
Ambos os tipos de trabalhos de avaliação automática de modelos oferecem suporte ao uso de JumpStart modelos disponíveis publicamente e JumpStart modelos que você implantou anteriormente em um endpoint. Se você usar um JumpStart que não tenha sido implantado anteriormente, SageMaker cuidará da criação do recurso necessário e do encerramento dele quando o trabalho de avaliação do modelo for concluído.
Para usar texto baseado em LLMs outro AWS serviço ou modelo hospedado fora do AWS, você deve usar a fmeval biblioteca.
Quando seus trabalhos são concluídos, os resultados são salvos no bucket do Amazon S3 especificado quando o trabalho foi criado. Para saber como interpretar seus resultados, consulteEntenda os resultados do seu trabalho de avaliação de modelos.
Tópicos
