Crea un lavoro AutoML per ottimizzare i modelli di generazione di testo utilizzando il API

I modelli linguistici di grandi dimensioni (LLMs) eccellono in molteplici attività generative, tra cui la generazione di testo, il riepilogo, il completamento, la risposta alle domande e altro ancora. Le loro prestazioni possono essere attribuite alle loro dimensioni significative e al vasto addestramento su diversi set di dati e varie attività. Tuttavia, domini specifici, come l'assistenza sanitaria e i servizi finanziari, possono richiedere un'ottimizzazione personalizzata per adattarsi a dati e casi d'uso univoci. Adattando la loro formazione al loro settore specifico, LLMs possono migliorare le loro prestazioni e fornire risultati più accurati per applicazioni mirate.

Autopilot offre la capacità di mettere a punto una selezione di modelli di testo generativi preaddestrati. In particolare, Autopilot supporta la messa a punto basata su istruzioni di una selezione di modelli di linguaggio di grandi dimensioni per uso generico () basati su. LLMs JumpStart

L'ottimizzazione di un modello già addestrato richiede un set di dati specifico di istruzioni chiare che guidino il modello su come generare risultati o comportarsi per quell'attività. Il modello impara dal set di dati, regolandone i parametri in base alle istruzioni fornite. La messa a punto basata sulle istruzioni implica l'utilizzo di esempi etichettati formattati come coppie di pronta risposta e formulati come istruzioni. Per ulteriori informazioni sulla messa a punto, vedere Ottimizzazione di un modello di base.

Le seguenti linee guida descrivono il processo di creazione di un lavoro Amazon SageMaker Autopilot come esperimento pilota per ottimizzare la generazione di testo utilizzando AI Reference. LLMs SageMaker API

Per creare un esperimento Autopilot a livello di codice per la messa a punto di unLLM, puoi chiamarlo in CreateAutoMLJobV2APIqualsiasi lingua supportata da Amazon Autopilot o dal. SageMaker AWS CLI

Per informazioni su come questa API azione si traduce in una funzione nella lingua di tua scelta, consulta la sezione Vedi anche di e scegli un. CreateAutoMLJobV2 SDK Ad esempio, per gli utenti di Python, vedi la sintassi completa della richiesta di create_auto_ml_job_v2 in AWS SDK for Python (Boto3).

Una volta ottimizzato, LLM è possibile valutarne le prestazioni accedendo a vari ROUGE segna tutti i punteggi BestCandidate quando si effettua una chiamata. DescribeAutoMLJobV2 API Il modello fornisce anche informazioni sul suo addestramento e la sua convalida, sulla perdita e perplessità. Per un elenco completo dei parametri di valutazione della qualità del testo generato dai modelli messi a punto, consulta Parametri per l'ottimizzazione di modelli linguistici di grandi dimensioni in Autopilot.

Prerequisiti

Prima di utilizzare Autopilot per creare un esperimento di ottimizzazione dell' SageMaker intelligenza artificiale, assicurati di seguire i seguenti passaggi:

Fatto ciò, puoi utilizzare il ruolo di esecuzione ARN di questo ruolo di esecuzione nelle richieste API Autopilot.

Parametri obbligatori

Quando chiamate CreateAutoMLJobV2 per creare un esperimento Autopilot per la messa a punto, dovete fornire i LLM seguenti valori:

Di seguito è riportato un esempio del formato di richiesta completo utilizzato quando si effettua una API chiamata a CreateAutoMLJobV2 per la messa a punto di un modello ()Falcon7BInstruct.

{
   "AutoMLJobName": "<job_name>",
   "AutoMLJobInputDataConfig": [ 
      { 
         "ChannelType": "training",
         "CompressionType": "None",
         "ContentType": "text/csv", 
         "DataSource": { 
            "S3DataSource": { 
               "S3DataType": "S3Prefix",
               "S3Uri": "s3://<bucket_name>/<input_data>.csv"
            }
         }
      }
   ],
  "OutputDataConfig": {
      "S3OutputPath": "s3://<bucket_name>/output",
      "KmsKeyId": "arn:aws:kms:<region>:<account_id>:key/<key_value>"
   },
   "RoleArn":"arn:aws:iam::<account_id>:role/<sagemaker_execution_role_name>",
   "AutoMLProblemTypeConfig": {
        "TextGenerationJobConfig": {
            "BaseModelName": "Falcon7BInstruct"
       }
   }
}

Tutti gli altri parametri sono facoltativi.

Parametri facoltativi

Le sezioni seguenti forniscono dettagli su alcuni parametri facoltativi che è possibile passare al processo AutoML di ottimizzazione.

"AutoMLProblemTypeConfig": {
  "TextGenerationJobConfig": {
    "BaseModelName": "Falcon7B",
    "TextGenerationHyperParameters": {"epochCount":"5", "learningRate":"0.000001", "batchSize": "32", "learningRateWarmupSteps": "10"}
  }
}