Use a biblioteca fmeval para executar uma avaliação automática

Pré-requisitos

• Para executar uma avaliação de modelo em uma interface de usuário do Studio, seu perfil AWS Identity and Access Management (IAM) e qualquer conjunto de dados de entrada devem ter as permissões corretas. Se você não tiver um domínio de SageMaker AI ou uma função do IAM, siga as etapas emGuia para se configurar com o Amazon SageMaker AI.

Para definir permissões para um bucket do Amazon S3

Depois que seu domínio e função forem criados, use as etapas a seguir para adicionar as permissões necessárias para avaliar seu modelo.

1. Abra o console do Amazon SageMaker AI em https://console.aws.amazon.com/sagemaker/.

2. No painel de navegação, insira S3 na barra de pesquisa da parte superior da página.

3. Escolha S3 em Serviços.

4. Escolha Buckets no painel de navegação.

5. Na seção Buckets de uso geral, em Nome, escolha o nome do bucket do S3 que você deseja usar para armazenar a entrada e a saída do modelo no console. Se você não tiver um bucket do S3, faça o seguinte:

   1. Selecione Criar bucket para abrir a nova página Criar bucket.

   2. Na seção Configuração geral, em Região da AWS , selecione a região da AWS em que seu modelo de base está localizado.

   3. Nomeie seu bucket do S3 no campo de inserção Nome do bucket.

   4. Aceite todas as opções padrão.

   5. Selecione Criar bucket.

   6. Na seção Buckets de uso geral, em Nome, selecione o nome do bucket do S3 que você criou.

6. Escolha a aba Permissões.

7. Role até a seção Compartilhamento de recursos de origem cruzada (CORS) na parte inferior da janela. Selecione Editar.

8. Para adicionar permissões ao seu bucket para avaliações básicas, certifique-se de que o código a seguir apareça no campo de inserção. Você também pode copiar e colar o seguinte no campo de inserção:

   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]

9. Escolha Salvar alterações.

Para adicionar permissões à sua política do IAM

1. Na barra de pesquisa da parte superior da tela, insira IAM.

2. Em Serviços, selecione Identity and Access Management (IAM).

3. Escolha Políticas no painel de navegação.

4. Insira AmazonSageMakerFullAccessna barra de pesquisa. Selecione o botão ao lado da política que aparecer. O botão Ações pode ser selecionado agora.

5. Escolha a seta para baixo ao lado de Ações. São exibidas duas opções.

6. Escolha Anexar.

7. Na lista do IAM que aparecer, pesquise o nome do perfil que você criou. Marque a caixa de seleção próxima ao nome.

8. Escolha Anexar política.

Conceitos básicos do Studio

1. Na barra de pesquisa da parte superior da tela, insira SageMaker AI.

2. Em Serviços, selecione Amazon SageMaker AI.

3. Do painel de navegação, escolha Studio.

4. Escolha seu domínio na seção Começar, depois de expandir a seta para baixo em Selecionar domínio.

5. Escolha seu perfil de usuário na seção Começar depois de expandir a seta para baixo em Selecionar perfil de usuário.

6. Escolha Abrir Studio para abrir a página inicial do Studio.

7. Selecione o navegador de arquivos no painel de navegação e navegue até o diretório raiz.

8. Selecione Criar caderno.

9. Na caixa de diálogo do ambiente do caderno que se abre, selecione a imagem Ciência de dados 3.0.

10. Escolha Selecionar.

11. Instale o pacote fmeval em seu ambiente de desenvolvimento, conforme mostrado no seguinte exemplo de código:

    !pip install fmeval

    nota

    Instale a fmeval biblioteca em um ambiente que usa Python 3.10. Para obter mais informações sobre os requisitos necessários para execuçãofmeval, consulte fmevaldependências.

Defina um JumpStart modelo e configure um ModelRunner

1. Forneça um endpoint fazendo uma das seguintes ações:

   • Especifique o EndpointNamepara um JumpStart endpoint existentemodel_id, o e. model_version

   • Especifique o model_id e model_version para seu modelo e crie um JumpStart endpoint.

   O exemplo de código a seguir mostra como criar um endpoint para um Llama 2 foundation modelque está disponível por meio de JumpStart.

   import sagemaker
   from sagemaker.jumpstart.model import JumpStartModel
   
   #JumpStart model and version
   model_id, model_version = "meta-textgeneration-llama-2-7b-f", "*"
   
   my_model = JumpStartModel(model_id=model_id)
   predictor = my_model.deploy()
   endpoint_name = predictor.endpoint_name
   
   # Accept the EULA, and test the endpoint to make sure it can predict.
   predictor.predict({"inputs": [[{"role":"user", "content": "Hello how are you?"}]]}, custom_attributes='accept_eula=true')

   O exemplo de código anterior se refere ao EULA, que significa end-use-license-agreement (EULA). O EULA pode ser encontrado na descrição do cartão do modelo que você está usando. Para usar alguns JumpStart modelos, você deve especificaraccept_eula=true, conforme mostrado na chamada anterior parapredict. Para obter mais informações sobre o EULA, consulte a seção Licenças e fontes de modelos em Fontes de modelos e contratos de licença.

   Você pode encontrar uma lista dos JumpStart modelos disponíveis em Algoritmos integrados com tabela de modelos pré-treinada.

2. Configure o ModelRunner usando o JumpStartModelRunner, conforme mostrado no exemplo de configuração a seguir:

   from fmeval.model_runners.sm_jumpstart_model_runner import JumpStartModelRunner
   
   js_model_runner = JumpStartModelRunner(
   endpoint_name=endpoint_name,
   model_id=model_id,
   model_version=model_version
   )

   No exemplo de configuração anterior, use os mesmos valores para endpoint_name, model_id e model_version que você usou para criar o endpoint.

3. Teste seu ModelRunner. Envie uma solicitação de amostra para o seu modelo conforme mostrado no código de seguinte exemplo:

   js_model_runner.predict("What is the capital of London")

Defina um modelo Amazon Bedrock e configure um ModelRunner

1. Para definir e registrar detalhes do modelo, use o seguinte exemplo de código para um modelo Titan que está disponível no Amazon Bedrock:

   import boto3
   import json
   bedrock = boto3.client(service_name='bedrock')
   bedrock_runtime = boto3.client(service_name='bedrock-runtime')
   
   model_id = "amazon.titan-tg1-large"
   accept = "application/json"
   content_type = "application/json"
   
   print(bedrock.get_foundation_model(modelIdentifier=modelId).get('modelDetails'))

   No exemplo de código anterior, o parâmetro accept especifica o formato dos dados que você deseja usar para avaliar seu LLM. O contentType especifica o formato dos dados de entrada na solicitação. Apenas MIME_TYPE_JSON é compatível com accept e contentType para os modelos do Amazon Bedrock. Para mais informações sobre esses parâmetros, consulte InvokeModelWithResponseStream.

2. Para configurar ModelRunner, use o BedrockModelRunner, conforme mostrado no exemplo de configuração a seguir:

   from fmeval.model_runners.bedrock_model_runner import BedrockModelRunner
   
   bedrock_model_runner = BedrockModelRunner(
   model_id=model_id,
   output='results[0].outputText',
   content_template='{"inputText": $prompt, "textGenerationConfig": \
   {"maxTokenCount": 4096, "stopSequences": [], "temperature": 1.0, "topP": 1.0}}',
   )

   Parametrize a configuração ModelRunner da seguinte maneira:

   • Use os mesmos valores para model_id que você usou para implantar o modelo.

   • Use output para especificar o formato da resposta json gerada. Por exemplo, se seu LLM forneceu a resposta [{"results": "this is the output"}], então output='results[0].outputText' retornará this is the output.

   • Use content_template para especificar como seu LLM interage com as solicitações. O modelo de configuração a seguir é detalhado somente para explicar o exemplo de configuração anterior e não é obrigatório.

     • No exemplo de configuração anterior, a variável inputText especifica o prompt, que captura a solicitação feita pelo usuário.

     • A variável textGenerationConfig especifica como o LLM gera respostas da seguinte forma:

       • O parâmetro maxTokenCount é usado para limitar o comprimento da resposta limitando o número de tokens retornados pelo LLM.

       • O parâmetro stopSequences é usado para especificar uma lista de sequências de caracteres que instruem seu LLM a parar de gerar uma resposta. A saída do modelo é interrompida na primeira vez que uma das sequências listadas é encontrada na saída. Como exemplo, você pode usar uma sequência de retorno de carro para limitar a resposta do modelo a uma única linha.

       • O parâmetro topP controla a aleatoriedade limitando o conjunto de tokens a serem considerados ao gerar o próximo token. Esse parâmetro aceita valores entre 0.0 e 1.0. Valores mais altos de topP permitem um conjunto contendo um vocabulário mais amplo, e valores mais baixos restringem o conjunto de tokens a palavras mais prováveis.

       • O parâmetro temperature controla a aleatoriedade do texto gerado e aceita valores positivos. Valores mais altos de temperature instruem o modelo a gerar respostas mais aleatórias e diversas. Valores mais baixos geram respostas mais previsíveis. Intervalos típicos para temperature ficam entre 0.2 e 2.0.

       Para obter mais informações sobre parâmetros para um modelo básico específico do Amazon Bedrock, consulte Parâmetros de inferência para modelos básicos.

     O formato do parâmetro content_template depende das entradas e dos parâmetros aceitos pelo LLM. Por exemplo, Anthropic’s Claude 2 o modelo pode suportar o seguintecontent_template:

     "content_template": "{\"prompt\": $prompt, \"max_tokens_to_sample\": 500}"

     Como outro exemplo, o modelo Falcon 7b pode ser compatível com o seguinte content_template:

     "content_template": "{\"inputs\": $prompt, \"parameters\":{\"max_new_tokens\": \
     10, \"top_p\": 0.9, \"temperature\": 0.8}}"

     Por fim, teste seu ModelRunner. Envie uma solicitação de amostra para o seu modelo conforme mostrado no código de seguinte exemplo:

     bedrock_model_runner.predict("What is the capital of London?")