Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Configuración avanzada
El adaptador de SageMaker HyperPod recetas se basa en los marcos Nvidia Nemo y Pytorch-Lightning. Si ya ha utilizado estos marcos, integrar sus modelos o funciones personalizados en el adaptador de SageMaker HyperPod recetas es un proceso similar. Además de modificar el adaptador de recetas, puedes cambiar tu propio guion previo al entrenamiento o ajustarlo con precisión. Para obtener orientación sobre cómo escribir tu guion de entrenamiento personalizado, consulta los ejemplos.
Usa el SageMaker HyperPod adaptador para crear tu propio modelo
Dentro del adaptador de recetas, puede personalizar los siguientes archivos en las siguientes ubicaciones:
-
collections/data: Contiene un módulo responsable de cargar los conjuntos de datos. Actualmente, solo admite conjuntos de datos de. HuggingFace Si tiene requisitos más avanzados, la estructura del código le permite agregar módulos de datos personalizados dentro de la misma carpeta. -
collections/model: Incluye las definiciones de varios modelos de lenguaje. Actualmente, es compatible con los modelos lingüísticos más extensos, como Llama, Mixtral y Mistral. Tiene la flexibilidad de introducir sus propias definiciones de modelos en esta carpeta. -
collections/parts: Esta carpeta contiene estrategias para entrenar modelos de forma distribuida. Un ejemplo es la estrategia Fully Sharded Data Parallel (FSDP), que permite fragmentar un modelo de lenguaje extenso en varios aceleradores. Además, las estrategias admiten diversas formas de paralelismo de modelos. También tiene la opción de introducir sus propias estrategias de formación personalizadas para la formación de modelos. -
utils: Contiene varias utilidades destinadas a facilitar la gestión de un trabajo de formación. Sirve como un repositorio donde guardar tus propias herramientas. Puede utilizar sus propias herramientas para tareas como la solución de problemas o la evaluación comparativa. También puede añadir sus propias llamadas PyTorch Lightning personalizadas en esta carpeta. Puede utilizar PyTorch Lightning Callbacks para integrar sin problemas funcionalidades u operaciones específicas en el ciclo de vida de la formación. -
conf: Contiene las definiciones del esquema de configuración que se utilizan para validar parámetros específicos en un trabajo de formación. Si introduce nuevos parámetros o configuraciones, puede añadir su esquema personalizado a esta carpeta. Puede utilizar el esquema personalizado para definir las reglas de validación. Puede validar los tipos de datos, los rangos o cualquier otra restricción de parámetros. También puede definir su propio esquema personalizado para validar los parámetros.
