Crie uma tarefa do AutoML para ajustar os modelos de geração de texto usando o API

Modelos de linguagem grandes (LLMs) se destacam em várias tarefas generativas, incluindo geração de texto, resumo, conclusão, resposta a perguntas e muito mais. Seu performance pode ser atribuído ao tamanho significativo e ao treinamento extensivo em diversos conjuntos de dados e várias tarefas. No entanto, domínios específicos, como serviços financeiros e de saúde, podem exigir ajustes personalizados para se adaptarem a dados e casos de uso exclusivos. Ao adaptar seu treinamento ao seu domínio específico, LLMs pode melhorar seu desempenho e fornecer resultados mais precisos para aplicações específicas.

O Autopilot oferece a capacidade de ajustar uma seleção de modelos de texto generativo pré-treinados. Em particular, o Autopilot suporta o ajuste fino baseado em instruções de uma seleção de modelos de linguagem grande de uso geral () alimentados por. LLMs JumpStart

O ajuste fino de um modelo pré-treinado requer um conjunto de dados específico de instruções claras que orientem o modelo sobre como gerar resultados ou se comportar para essa tarefa. O modelo aprende com o conjunto de dados, ajustando seus parâmetros de acordo com as instruções fornecidas. O ajuste fino baseado em instruções envolve o uso de exemplos rotulados formatados como pares de pronto-resposta e formulados como instruções. Para obter mais informações sobre o ajuste fino, consulte Ajustar um modelo básico.

As diretrizes a seguir descrevem o processo de criação de um trabalho do Amazon SageMaker Autopilot como um experimento piloto para ajustar a geração LLMs de texto usando a Referência. SageMaker API

Para criar um experimento de piloto automático programaticamente para ajustar umLLM, você pode chamá-lo CreateAutoMLJobV2APIem qualquer idioma suportado pelo Amazon Autopilot ou pelo. SageMaker AWS CLI

Para obter informações sobre como essa API ação se traduz em uma função no idioma de sua escolha, consulte a seção Consulte também CreateAutoMLJobV2 e escolha umaSDK. Como exemplo, para usuários do Python, veja a sintaxe completa da solicitação de create_auto_ml_job_v2 em AWS SDK for Python (Boto3).

Depois de LLM ajustado, você pode avaliar seu desempenho acessando vários ROUGE pontua até o BestCandidate ao fazer uma DescribeAutoMLJobV2 API chamada. O modelo também fornece informações sobre seu treinamento e perda de validação, bem como sobre sua perplexidade. Para obter uma lista abrangente de métricas para avaliar a qualidade do texto gerado pelos modelos ajustados, consulte Métricas para ajustar modelos de linguagem grandes no Autopilot.

Pré-requisitos

Antes de usar o piloto automático para criar um experimento de ajuste fino SageMaker, siga as seguintes etapas:

Feito isso, você pode usar essa função ARN de execução nas API solicitações do Autopilot.

Parâmetros necessários

Ao ligar CreateAutoMLJobV2 para criar um experimento de piloto automático para LLM ajuste fino, você deve fornecer os seguintes valores:

Veja a seguir um exemplo do formato de solicitação completo usado ao fazer uma API chamada CreateAutoMLJobV2 para ajustar um modelo (Falcon7BInstruct).

{
   "AutoMLJobName": "<job_name>",
   "AutoMLJobInputDataConfig": [ 
      { 
         "ChannelType": "training",
         "CompressionType": "None",
         "ContentType": "text/csv", 
         "DataSource": { 
            "S3DataSource": { 
               "S3DataType": "S3Prefix",
               "S3Uri": "s3://<bucket_name>/<input_data>.csv"
            }
         }
      }
   ],
  "OutputDataConfig": {
      "S3OutputPath": "s3://<bucket_name>/output",
      "KmsKeyId": "arn:aws:kms:<region>:<account_id>:key/<key_value>"
   },
   "RoleArn":"arn:aws:iam::<account_id>:role/<sagemaker_execution_role_name>",
   "AutoMLProblemTypeConfig": {
        "TextGenerationJobConfig": {
            "BaseModelName": "Falcon7BInstruct"
       }
   }
}

Todos os outros parâmetros são opcionais.

Parâmetros opcionais

As seções a seguir fornecem detalhes de alguns parâmetros opcionais que você pode passar para o seu trabalho AutoML de classificação de texto.

"AutoMLProblemTypeConfig": {
  "TextGenerationJobConfig": {
    "BaseModelName": "Falcon7B",
    "TextGenerationHyperParameters": {"epochCount":"5", "learningRate":"0.000001", "batchSize": "32", "learningRateWarmupSteps": "10"}
  }
}