Créez une tâche AutoML pour affiner les modèles de génération de texte à l'aide de l'API

Les grands modèles linguistiques (LLMs) excellent dans de nombreuses tâches génératives, notamment la génération de texte, la synthèse, la complétion, la réponse aux questions, etc. Leur performance peut être attribuée à leur taille importante et à leur formation approfondie sur divers ensembles de données et diverses tâches. Cependant, des domaines spécifiques, tels que les soins de santé et les services financiers, peuvent nécessiter un ajustement personnalisé pour s'adapter à des données et à des cas d'utilisation uniques. En adaptant leur formation à leur domaine particulier, ils LLMs peuvent améliorer leurs performances et fournir des résultats plus précis pour des applications ciblées.

Le pilote automatique permet de peaufiner une sélection de modèles de texte génératifs préentraînés. En particulier, Autopilot prend en charge le réglage fin basé sur des instructions d'une sélection de grands modèles de langage à usage général () alimentés par. LLMs JumpStart

L'ajustement précis d'un modèle préentraîné nécessite un jeu de données spécifique contenant des instructions claires qui indiquent au modèle comment générer des résultats ou se comporter pour cette tâche. Le modèle apprend de l'ensemble de données et ajuste ses paramètres conformément aux instructions fournies. Le réglage précis basé sur les instructions implique l'utilisation d'exemples étiquetés, formatés sous forme de paires prompte-réponse et formulés sous forme d'instructions. Pour plus d'informations sur le réglage précis, voir Affiner un modèle de base.

Les directives suivantes décrivent le processus de création d'une tâche Amazon SageMaker Autopilot dans le cadre d'une expérience pilote visant à affiner la génération de texte à LLMs l'aide de l' SageMaker AI API Reference.

Pour créer une expérience de pilote automatique par programmation afin de peaufiner un LLM, vous pouvez appeler l'CreateAutoMLJobV2API dans n'importe quel langage pris en charge par Amazon Autopilot ou le. SageMaker AWS CLI

Pour plus d'informations sur la façon dont cette action d'API se traduit par une fonction dans la langue de votre choix, consultez la section Voir aussi de CreateAutoMLJobV2 et choisissez un SDK. À titre d'exemple, pour les utilisateurs de Python, consultez la syntaxe complète des demandes de create_auto_ml_job_v2 dans le kit AWS SDK pour Python (Boto3).

Une fois votre LLM peaufiné, vous pouvez évaluer ses performances en accédant à différents ROUGE obtient des scores BestCandidate lors d'un appel d'DescribeAutoMLJobV2API. Le modèle fournit également des informations sur sa perte d'entraînement et de validation ainsi que sur sa perplexité. Pour une liste complète des mesures permettant d'évaluer la qualité du texte généré par les modèles affinés, voirMétriques pour affiner de grands modèles linguistiques dans Autopilot.

Prérequis

Avant d'utiliser le pilote automatique pour créer une expérience de réglage précis dans l' SageMaker IA, assurez-vous de suivre les étapes suivantes :

Après cela, vous pouvez utiliser l'ARN de ce rôle d'exécution dans les demandes d'API Autopilot.

Paramètres requis

Lorsque vous appelez CreateAutoMLJobV2 pour créer une expérience de pilote automatique pour le réglage précis du LLM, vous devez fournir les valeurs suivantes :

Voici un exemple du format de demande complet utilisé lors d'un appel d'API CreateAutoMLJobV2 pour affiner un modèle (Falcon7BInstruct).

{
   "AutoMLJobName": "<job_name>",
   "AutoMLJobInputDataConfig": [ 
      { 
         "ChannelType": "training",
         "CompressionType": "None",
         "ContentType": "text/csv", 
         "DataSource": { 
            "S3DataSource": { 
               "S3DataType": "S3Prefix",
               "S3Uri": "s3://<bucket_name>/<input_data>.csv"
            }
         }
      }
   ],
  "OutputDataConfig": {
      "S3OutputPath": "s3://<bucket_name>/output",
      "KmsKeyId": "arn:aws:kms:<region>:<account_id>:key/<key_value>"
   },
   "RoleArn":"arn:aws:iam::<account_id>:role/<sagemaker_execution_role_name>",
   "AutoMLProblemTypeConfig": {
        "TextGenerationJobConfig": {
            "BaseModelName": "Falcon7BInstruct"
       }
   }
}

Tous les autres paramètres sont facultatifs.

Paramètres facultatifs

Les sections suivantes fournissent des détails sur certains paramètres facultatifs que vous pouvez transmettre à votre tâche de réglage AutoML.

"AutoMLProblemTypeConfig": {
  "TextGenerationJobConfig": {
    "BaseModelName": "Falcon7B",
    "TextGenerationHyperParameters": {"epochCount":"5", "learningRate":"0.000001", "batchSize": "32", "learningRateWarmupSteps": "10"}
  }
}

"AutoMLProblemTypeConfig": {
  "TextGenerationJobConfig": {
    "BaseModelName": "Falcon7B",
    "TextGenerationHyperParameters": {"epochCount":"5", "learningRate":"0.000001", "batchSize": "32", "learningRateWarmupSteps": "10"}
  }
}