Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Perfeziona un modello linguistico di grandi dimensioni (LLM) utilizzando l'adattamento del dominio

L’ottimizzazione dell'adattamento del dominio consente di sfruttare modelli di fondazione preformati e adattarli ad attività specifiche utilizzando dati limitati specifici del dominio. Se un intervento di progettazione di prompt non consente una personalizzazione sufficiente, è possibile utilizzare l'ottimizzazione dell'adattamento del dominio per far funzionare il modello con un linguaggio specifico del dominio, ad esempio gergo di settore, termini tecnici o altri dati specializzati. Questo processo di ottimizzazione modifica i pesi del modello.

Per ottimizzare il modello su un set di dati specifico del dominio:

Puoi trovare end-to-end esempi in. Notebook di esempio

L’ottimizzazione dell'adattamento del dominio è disponibile con i seguenti modelli di fondazione:

Prepara e carica i dati di addestramento per la messa a punto dell'adattamento del dominio

I dati di formazione per la messa a punto dell'adattamento del dominio possono essere forniti in o in CSV formato di file. JSON TXT Tutti i dati di addestramento devono essere contenuti in un unico file all'interno di un'unica cartella.

I dati di allenamento vengono presi dalla colonna Testo per i CSV nostri file di dati di JSON allenamento. Se nessuna colonna è etichettata come Testo, i dati di allenamento vengono presi dalla prima colonna per i nostri file CSV di dati di JSON allenamento.

Di seguito è riportato un esempio di corpo di un TXT file da utilizzare per la messa a punto:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of ....

Suddividi i dati per l'addestramento e i test

Facoltativamente, puoi fornire un'altra cartella contenente i dati di convalida. Questa cartella deve includere anche uno CSV o TXT più file. JSON Se non viene fornito alcun set di dati di convalida, una determinata quantità di dati di addestramento viene riservata ai fini della convalida. È possibile regolare la percentuale di dati di addestramento utilizzati per la convalida quando si scelgono gli iperparametri per la messa a punto del modello.

Caricare dati di ottimizzazione su Amazon S3

Carica i dati preparati su Amazon Simple Storage Service (Amazon S3) per utilizzarli durante la messa JumpStart a punto di un modello base. Puoi utilizzare i seguenti comandi per caricare i tuoi dati:

from sagemaker.s3 import S3Uploader
import sagemaker
import random

output_bucket = sagemaker.Session().default_bucket()
local_data_file = "train.txt"
train_data_location = f"s3://{output_bucket}/training_folder"
S3Uploader.upload(local_data_file, train_data_location)
S3Uploader.upload("template.json", train_data_location)
print(f"Training data: {train_data_location}")

Crea un processo di formazione per la messa a punto basata sulle istruzioni

Dopo aver caricato i dati su Amazon S3, puoi perfezionare e distribuire il tuo modello di base. JumpStart Per perfezionare il modello in Studio, consulta. Perfeziona un modello in Studio Per perfezionare il modello utilizzando il SageMaker Python SDK, vedi. Ottimizzate i modelli di base disponibili pubblicamente con la classe JumpStartEstimator

Notebook di esempio

Per ulteriori informazioni sulla messa a punto dell'adattamento del dominio, consulta i seguenti notebook di esempio: