Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Impostazioni avanzate
L'adattatore per SageMaker HyperPod ricette è basato sui framework Nvidia Nemo e PyTorch-Lightning. Se hai già utilizzato questi framework, l'integrazione di modelli o funzionalità personalizzati nell'adattatore per ricette è un processo simile. SageMaker HyperPod Oltre a modificare l'adattatore per ricette, puoi modificare il tuo script di pre-allenamento o di messa a punto. Per indicazioni su come scrivere un copione di allenamento personalizzato, consulta gli esempi.
Usa l' SageMaker HyperPod adattatore per creare il tuo modello
All'interno dell'adattatore per ricette, puoi personalizzare i seguenti file nelle seguenti posizioni:
-
collections/data: contiene un modulo responsabile del caricamento dei set di dati. Attualmente supporta solo set di dati provenienti da. HuggingFace Se hai requisiti più avanzati, la struttura del codice ti consente di aggiungere moduli di dati personalizzati all'interno della stessa cartella. -
collections/model: include le definizioni di vari modelli linguistici. Attualmente supporta modelli linguistici comuni di grandi dimensioni come Llama, Mixtral e Mistral. Hai la flessibilità di introdurre le tue definizioni di modello all'interno di questa cartella. -
collections/parts: Questa cartella contiene strategie per addestrare i modelli in modo distribuito. Un esempio è la strategia Fully Sharded Data Parallel (FSDP), che consente di suddividere un modello linguistico di grandi dimensioni su più acceleratori. Inoltre, le strategie supportano varie forme di parallelismo dei modelli. Hai anche la possibilità di introdurre le tue strategie di allenamento personalizzate per la formazione dei modelli. -
utils: Contiene varie utilità volte a facilitare la gestione di un lavoro di formazione. Funge da archivio dove riporre i propri strumenti. È possibile utilizzare i propri strumenti per attività come la risoluzione dei problemi o il benchmarking. Puoi anche aggiungere i tuoi callback PyTorch Lightning personalizzati all'interno di questa cartella. Puoi utilizzare i callback PyTorch Lightning per integrare senza problemi funzionalità o operazioni specifiche nel ciclo di vita della formazione. -
conf: contiene le definizioni dello schema di configurazione utilizzate per convalidare parametri specifici in un processo di formazione. Se introduci nuovi parametri o configurazioni, puoi aggiungere lo schema personalizzato a questa cartella. È possibile utilizzare lo schema personalizzato per definire le regole di convalida. È possibile convalidare tipi di dati, intervalli o qualsiasi altro vincolo di parametro. È inoltre possibile definire uno schema personalizzato per convalidare i parametri.
