As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Avaliação de modelo automática
Você pode criar uma avaliação de modelo automática no Studio ou usando a biblioteca fmeval dentro do seu próprio código. O Studio usa um assistente para criar o trabalho de avaliação de modelo. A biblioteca fmeval fornece ferramentas para personalizar ainda mais seu fluxo de trabalho.
Os dois tipos de tarefas de avaliação automática de modelos suportam o uso de JumpStart modelos disponíveis publicamente e JumpStart modelos que você implantou anteriormente em um endpoint. Se você usar um JumpStart que não tenha sido implantado anteriormente, a SageMaker IA cuidará da criação do recurso necessário e do encerramento deles quando o trabalho de avaliação do modelo for concluído.
Para usar LLMs baseados em texto de outro AWS serviço ou modelo hospedado fora do AWS, você deve usar a fmeval biblioteca.
Quando seus trabalhos são concluídos, os resultados são salvos no bucket do Amazon S3 especificado quando o trabalho foi criado. Para saber como interpretar seus resultados, consulte Entenda os resultados do trabalho de avaliação de modelo.
Tópicos
