Use a fmeval biblioteca para executar uma avaliação automática

Pré-requisitos

• Para executar uma avaliação de modelo em uma interface de usuário do Studio, sua função AWS Identity and Access Management (IAM) e qualquer conjunto de dados de entrada devem ter as permissões corretas. Se você não tiver um SageMaker domínio ou IAM função, siga as etapas emGuia para se configurar com a Amazon SageMaker.

Para definir permissões para seu bucket do Amazon S3

Depois que seu domínio e função forem criados, use as etapas a seguir para adicionar as permissões necessárias para avaliar seu modelo.

1. Abra o SageMaker console da Amazon em https://console.aws.amazon.com/sagemaker/.

2. No painel de navegação, entre S3 na barra de pesquisa na parte superior da página.

3. Escolha S3 em Serviços.

4. Escolha Buckets no painel de navegação.

5. Na seção Buckets de uso geral, em Nome, escolha o nome do bucket do S3 que você deseja usar para armazenar a entrada e a saída do modelo no console. Se você não tiver um bucket S3, faça o seguinte:

   1. Selecione Criar compartimento para abrir uma nova página Criar compartimento.

   2. Na seção Configuração geral, em AWS Região, selecione a AWS região em que seu modelo de fundação está localizado.

   3. Nomeie seu bucket do S3 na caixa de entrada em Nome do bucket.

   4. Aceite todas as opções padrão.

   5. Selecione Criar bucket.

   6. Na seção Buckets de uso geral, em Nome, selecione o nome do bucket do S3 que você criou.

6. Escolha a aba Permissões.

7. Role até a seção Compartilhamento de recursos entre origens (CORS) na parte inferior da janela. Selecione a opção Editar.

8. Para adicionar permissões ao seu bucket para avaliações da fundação, certifique-se de que o código a seguir apareça na caixa de entrada. Você também pode copiar e colar o seguinte na caixa de entrada.

   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]

9. Escolha Salvar alterações.

Para adicionar permissões à sua IAM política

1. Na barra de pesquisa na parte superior da página, digiteIAM.

2. Em Serviços, selecione Identity and Access Management (IAM).

3. Escolha Políticas no painel de navegação.

4. Insira AmazonSageMakerFullAccessna barra de pesquisa. Selecione o botão de rádio ao lado da política exibida. O botão Ações agora pode ser selecionado.

5. Escolha a seta para baixo ao lado de Ações. Duas opções são exibidas.

6. Escolha Anexar.

7. Na IAM lista exibida, pesquise o nome da função que você criou. Marque a caixa de seleção ao lado do nome.

8. Escolha Anexar política.

Comece a usar o Studio

1. Na barra de pesquisa na parte superior da página, digiteSageMaker.

2. Em Serviços, selecione Amazon SageMaker.

3. Escolha Studio no painel de navegação.

4. Escolha seu domínio na seção Começar, depois de expandir a seta para baixo em Selecionar domínio.

5. Escolha seu perfil de usuário na seção Começar depois de expandir a seta para baixo em Selecionar perfil de usuário.

6. Escolha Open Studio para abrir a página inicial do Studio.

7. Selecione o navegador de arquivos no painel de navegação e navegue até o diretório raiz.

8. Selecione Criar caderno.

9. Na caixa de diálogo do ambiente do notebook que se abre, selecione a imagem Data Science 3.0.

10. Escolha Selecionar.

11. Instale o fmeval pacote em seu ambiente de desenvolvimento, conforme mostrado no exemplo de código a seguir:

    !pip install fmeval

    nota

    Instale a fmeval biblioteca em um ambiente que usa Python 3.10. Para obter mais informações sobre os requisitos necessários para execuçãofmeval, consulte fmevaldependências.

Defina um JumpStart modelo e configure um ModelRunner

1. Forneça um endpoint fazendo o seguinte:

   • Especifique o EndpointNamepara um JumpStart endpoint existentemodel_id, o e. model_version

   • Especifique model_id e model_version para seu modelo e crie um JumpStart endpoint.

   O exemplo de código a seguir mostra como criar um endpoint para um Llama 2 foundation modelque está disponível por meio de JumpStart.

   import sagemaker
   from sagemaker.jumpstart.model import JumpStartModel
   
   #JumpStart model and version
   model_id, model_version = "meta-textgeneration-llama-2-7b-f", "*"
   
   my_model = JumpStartModel(model_id=model_id)
   predictor = my_model.deploy()
   endpoint_name = predictor.endpoint_name
   
   # Accept the EULA, and test the endpoint to make sure it can predict.
   predictor.predict({"inputs": [[{"role":"user", "content": "Hello how are you?"}]]}, custom_attributes='accept_eula=true')

   O exemplo de código anterior se refere aEULA, que significa end-use-license-agreement (EULA). Eles EULA podem ser encontrados na descrição do modelo do modelo que você está usando. Para usar alguns JumpStart modelos, você deve especificaraccept_eula=true, conforme mostrado na chamada anterior parapredict. Para obter mais informações sobreEULA, consulte a seção Licenças e fontes de modelos emFontes de modelos e contratos de licença.

   Você pode encontrar uma lista dos JumpStart modelos disponíveis em Algoritmos integrados com tabela de modelos pré-treinada.

2. Configure ModelRunner usando oJumpStartModelRunner, conforme mostrado no exemplo de configuração a seguir:

   from fmeval.model_runners.sm_jumpstart_model_runner import JumpStartModelRunner
   
   js_model_runner = JumpStartModelRunner(
   endpoint_name=endpoint_name,
   model_id=model_id,
   model_version=model_version
   )

   No exemplo de configuração anterior, use os mesmos valores para endpoint_namemodel_id, e model_version que você usou para criar o endpoint.

3. Teste o seuModelRunner. Envie uma solicitação de amostra para seu modelo, conforme mostrado no exemplo de código a seguir:

   js_model_runner.predict("What is the capital of London")

Defina um modelo Amazon Bedrock e configure um ModelRunner

1. Para definir e imprimir detalhes do modelo, use o seguinte exemplo de código para um modelo Titan que está disponível no Amazon Bedrock:

   import boto3
   import json
   bedrock = boto3.client(service_name='bedrock')
   bedrock_runtime = boto3.client(service_name='bedrock-runtime')
   
   model_id = "amazon.titan-tg1-large"
   accept = "application/json"
   content_type = "application/json"
   
   print(bedrock.get_foundation_model(modelIdentifier=modelId).get('modelDetails'))

   No exemplo de código anterior, o accept parâmetro especifica o formato dos dados que você deseja usar para avaliar seusLLM. contentTypeEspecifica o formato dos dados de entrada na solicitação. Só MIME_TYPE_JSON é compatível com accept e contentType para os modelos Amazon Bedrock. Para obter mais informações sobre esses parâmetros, consulte InvokeModelWithResponseStream.

2. Para configurarModelRunner, use oBedrockModelRunner, conforme mostrado no exemplo de configuração a seguir:

   from fmeval.model_runners.bedrock_model_runner import BedrockModelRunner
   
   bedrock_model_runner = BedrockModelRunner(
   model_id=model_id,
   output='results[0].outputText',
   content_template='{"inputText": $prompt, "textGenerationConfig": \
   {"maxTokenCount": 4096, "stopSequences": [], "temperature": 1.0, "topP": 1.0}}',
   )

   Parametrize a ModelRunner configuração da seguinte maneira.

   • Use os mesmos valores model_id que você usou para implantar o modelo.

   • Use output para especificar o formato da json resposta gerada. Por exemplo, se você LLM forneceu a resposta[{"results": "this is the output"}], ela output='results[0].outputText' retornathis is the output.

   • Use content_template para especificar como você LLM interage com as solicitações. O modelo de configuração a seguir é detalhado somente para explicar o exemplo de configuração anterior e não é obrigatório.

     • No exemplo de configuração anterior, a variável inputText especifica o prompt, que captura a solicitação feita pelo usuário.

     • A variável textGenerationConfig especifica como o LLM gera respostas da seguinte forma:

       • O parâmetro maxTokenCount é usado para limitar o comprimento da resposta limitando o número de tokens retornados peloLLM.

       • O parâmetro stopSequences é usado para especificar uma lista de sequências de caracteres que solicitam que você LLM pare de gerar uma resposta. A saída do modelo é interrompida na primeira vez que qualquer uma das sequências listadas é encontrada na saída. Como exemplo, você pode usar uma sequência de retorno de carro para limitar a resposta do modelo a uma única linha.

       • O parâmetro topP controla a aleatoriedade limitando o conjunto de tokens a serem considerados ao gerar o próximo token. Esse parâmetro aceita valores entre 0.0 1.0 e. Valores mais altos topP permitem um conjunto contendo um vocabulário mais amplo e valores mais baixos restringem o conjunto de símbolos a palavras mais prováveis.

       • O parâmetro temperature controla a aleatoriedade do texto gerado e aceita valores positivos. Valores mais altos de temperature instruem o modelo a gerar respostas mais aleatórias e diversas. Valores mais baixos geram respostas mais previsíveis. Intervalos típicos para temperature ficar entre 0.2 2.0 e.

       Para obter mais informações sobre os parâmetros de um modelo de fundação específico do Amazon Bedrock, consulte Parâmetros de inferência para modelos de fundação.

     O formato do parâmetro content_template depende das entradas e dos parâmetros suportados pelo seu. LLM Por exemplo, Anthropic’s Claude 2 o modelo pode suportar o seguintecontent_template:

     "content_template": "{\"prompt\": $prompt, \"max_tokens_to_sample\": 500}"

     Como outro exemplo, o modelo Falcon 7b pode suportar o seguinte. content_template

     "content_template": "{\"inputs\": $prompt, \"parameters\":{\"max_new_tokens\": \
     10, \"top_p\": 0.9, \"temperature\": 0.8}}"

     Por fim, teste seu. ModelRunner Envie uma solicitação de amostra para seu modelo, conforme mostrado no exemplo de código a seguir:

     bedrock_model_runner.predict("What is the capital of London?")