As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Resolva erros ao criar um trabalho de avaliação de modelo na Amazon SageMaker

Se você encontrar um erro ao criar um trabalho de avaliação de modelo, use a lista a seguir para solucionar problemas de sua avaliação. Se precisar de mais ajuda, entre em contato com AWS Supportnossos fóruns de AWS desenvolvedores da Amazon SageMaker.

Erro ao carregar seus dados de um bucket do Amazon S3

Ao criar uma avaliação do modelo básico, você deve definir as permissões corretas para o bucket do S3 no qual deseja armazenar a entrada e a saída do modelo. Se as permissões de compartilhamento de recursos de origem cruzada (CORS) não estiverem definidas corretamente, SageMaker gerará o seguinte erro:

Erro: Falha ao colocar o objeto no s3: Erro ao carregar o objeto no S3Error: Falha ao colocar o objeto no S3: NetworkError ao tentar buscar o recurso.

Para definir as permissões corretas do bucket, siga as instruções em Configurar seu ambiente emCrie um trabalho de avaliação automática de modelos no Studio.

Falha na conclusão do trabalho de processamento

Os motivos mais comuns pelos quais seu trabalho de processamento não foi concluído incluem o seguinte:

Consulte as seções a seguir para ajudá-lo a mitigar cada problema.

Cota insuficiente

Quando você executa uma avaliação do modelo básico para um JumpStart modelo não implantado, o SageMaker Clarify implanta seu modelo de linguagem grande (LLM) em um SageMaker endpoint da sua conta. Se sua conta não tiver cota suficiente para executar o JumpStart modelo selecionado, o trabalho falhará com umClientError. Para aumentar sua cota, siga estas etapas:

Para obter mais informações sobre como solicitar um aumento em sua cota, consulte Solicitando um aumento de cota.

Memória insuficiente

Se você iniciar uma avaliação do modelo básico em uma EC2 instância da Amazon que não tem memória suficiente para executar um algoritmo de avaliação, o trabalho falhará com o seguinte erro:

The actor is dead because its worker process has died. Worker exit type: SYSTEM_ERROR Worker exit detail: Worker unexpectedly exits with a connection error code 2. End of file. There are some potential root causes. (1) The process is killed by SIGKILL by OOM killer due to high memory usage. (2) ray stop --force is called. (3) The worker is crashed unexpectedly due to SIGSEGV or other unexpected errors. The actor never ran - it was cancelled before it started running.

Para aumentar a memória disponível para seu trabalho de avaliação, altere sua instância para uma que tenha mais memória. Se você estiver usando a interface do usuário, poderá escolher um tipo de instância em Configuração do processador na Etapa 2. Se você estiver executando seu trabalho dentro do SageMaker console, inicie um novo espaço usando uma instância com maior capacidade de memória.

Para obter uma lista das EC2 instâncias da Amazon, consulte Tipos de instância.

Para obter mais informações sobre instâncias com maior capacidade de memória, consulte Instâncias otimizadas para memória.

Não passou na verificação de ping

Em alguns casos, seu trabalho de avaliação do modelo básico falhará porque não passou por uma verificação de ping quando SageMaker estava implantando seu endpoint. Se ele não passar no teste de ping, o seguinte erro será exibido:

ClientError: Error hosting endpoint your_endpoint_name: Failed. Reason: The primary container for production variant AllTraffic did not pass the ping health check. Please check CloudWatch logs for this endpoint..., Job exited for model: your_model_name of model_type: your_model_type

Se seu trabalho gerar esse erro, aguarde alguns minutos e execute seu trabalho novamente. Se o erro persistir, entre em contato com AWS Support ou AWS Developer Forums for Amazon SageMaker.

Você não consegue encontrar avaliações do modelo básico no console SageMaker

Para usar o SageMaker Clarify Foundation Model Evaluations, você deve fazer o upgrade para a nova experiência do Studio. Em 30 de novembro de 2023, a experiência anterior do Amazon SageMaker Studio agora se chama Amazon SageMaker Studio Classic. O recurso de avaliação da fundação só pode ser usado na experiência atualizada. Para obter informações sobre como atualizar o Studio, consulteMigração do Amazon SageMaker Studio Classic.

Seu modelo não suporta estereótipos imediatos

Somente alguns JumpStart modelos oferecem suporte à estereotipagem imediata. Se você selecionar um JumpStart modelo que não seja compatível, o seguinte erro será exibido:

{"evaluationMetrics":"This model does not support Prompt stereotyping evaluation. Please remove that evaluation metric or select another model that supports it."}

Se você receber esse erro, não poderá usar o modelo selecionado em uma avaliação da fundação. SageMaker Atualmente, a Clarify está trabalhando para atualizar todos os JumpStart modelos para tarefas imediatas de estereotipagem, para que possam ser usados em uma avaliação de modelo básico.

Erros de validação do conjunto de dados (humano)

O conjunto de dados de prompt personalizado em um trabalho de avaliação de modelo que usa trabalhadores humanos deve ser formatado usando o formato de JSON linhas usando a .jsonl extensão.

Quando você inicia um trabalho, cada JSON objeto no conjunto de dados do prompt é validado de forma interdependente. Se um dos JSON objetos não for válido, você receberá o seguinte erro.

Customer Error: Your input dataset could not be validated. Your dataset can have up to 1000 prompts. The dataset must be a valid jsonl file, and each prompt valid json object.To learn more about troubleshooting dataset validations errors, see Troubleshooting guide. Job executed for models: meta-textgeneration-llama-2-7b-f, pytorch-textgeneration1-alexa20b.

Para que um conjunto de dados de prompt personalizado passe por todas as validações, o seguinte deve ser verdadeiro para todos os JSON objetos no arquivo de JSON linhas.