Entrenamiento previo continuo y entrenamiento intermedio

El CPT de Nova Forge ofrece capacidades avanzadas que van más allá del CPT estándar, como el acceso a puntos de control intermedios y la combinación de datos con el corpus de entrenamiento previo de Nova. Estas características permiten una adaptación más eficiente al dominio y una mejor conservación de las capacidades generales del modelo.

¿Qué son los puntos de control intermedios y por qué son necesarios?

Los puntos de control intermedios son instantáneas del modelo Amazon Nova guardadas en diferentes etapas del entrenamiento previo, antes de que el modelo alcance su estado final listo para la producción. Durante el desarrollo del modelo, Amazon Nova se somete a varias fases de entrenamiento: entrenamiento previo inicial con un ritmo de aprendizaje constante, reducción del ritmo de aprendizaje, entrenamiento con ampliación del contexto y, por último, adaptación orientada al seguimiento de instrucciones y entrenamiento en seguridad. En el CPT, los puntos de control intermedios suelen ser preferibles al punto de control final de producción, ya que son más plásticos y receptivos a la adaptación al dominio. El punto de control de producción se ha sometido a una amplia adaptación para seguir instrucciones y a un riguroso entrenamiento en seguridad, lo que optimiza el modelo para un uso conversacional general, pero puede hacer que se resista a aprender nuevos patrones específicos de un dominio durante el CPT. En cambio, los puntos de control de solo texto parcial y completamente preentrenados retienen las características del modelo antes del entrenamiento. No cuentan con una orientación marcada hacia comportamientos específicos, lo que los convierte en puntos de partida más eficientes para la adaptación al dominio. Al realizar un CPT a gran escala (más de 10 000 millones de tokens), partir de puntos de control intermedios suele dar como resultado una convergencia más rápida, un entrenamiento más constante y una adquisición más eficaz del conocimiento del dominio. Sin embargo, en el caso del CPT a pequeña escala (menos de 10 000 millones de tokens), o cuando sea necesario conservar las capacidades de seguimiento de instrucciones, el punto de control de producción puede ser más apropiado, ya que permite la adaptación al dominio y, al mismo tiempo, mantiene las capacidades de conversación del modelo.

El CPT necesita varios puntos de control intermedios, ya que ofrecen diferentes niveles de plasticidad del modelo que repercuten en la eficiencia con la que el modelo puede absorber nuevos conocimientos del dominio. El punto de control final de producción se ha sometido a una amplia adaptación para seguir instrucciones y a un riguroso entrenamiento en seguridad, lo que optimiza el modelo para un uso conversacional general, pero hace que este se resista a aprender nuevos patrones específicos de un dominio. En otras palabras, se ha ido endureciendo a través del entrenamiento posterior. En cambio, los puntos de control anteriores retienen las características previas al entrenamiento del modelo y no se han centrado demasiado en comportamientos específicos, lo que los hace más plásticos y receptivos a la adaptación al dominio.

Para lograr la máxima eficiencia en el entrenamiento, se proporcionan varios puntos de control intermedios.

¿Qué puntos de control hay disponibles?

Nova 2.0

Hay tres puntos de control de Amazon Nova Lite 2.0:

La siguiente tabla detalla las diferentes condiciones para el entrenamiento previo e intermedio.

¿Qué punto de control usar?

Los puntos de control de solo texto parcial y completamente preentrenados suelen converger más rápido y requieren menos pasos de entrenamiento para la adaptación al dominio. Sin embargo, no cuentan con refinamiento mediante instrucciones y necesitarían someterse a etapas posteriores de entrenamiento para poder realizar tareas útiles y seguir instrucciones. Es posible que el punto de control de disponibilidad general requiera más pasos para adaptarse, pero proporciona un punto de partida más seguro para experimentos a pequeña escala y mantendrá algunas de sus capacidades posteriores al entrenamiento incluso después del entrenamiento con CPT.

Por lo general, si se trata de conjuntos de datos de entrenamiento de gran tamaño (más de 10 000 millones de tokens), se debe empezar por puntos de control que contengan solo texto preentrenados parcial o totalmente para lograr un entrenamiento más eficiente y estable, ya que la base de conocimientos del modelo se modificará sustancialmente. Con conjuntos de datos pequeños (menos de 10 000 millones de tokens), utilice el punto de control de disponibilidad general para conservar la capacidad de seguir las instrucciones y, al mismo tiempo, adaptarse al dominio.

¿Cómo se utiliza la mezcla de datos para Nova 2.0?

Al realizar el CPT con datos de un dominio nuevo, resulta muy beneficioso mezclar los nuevos datos con algunos de los datos utilizados anteriormente en la fase de entrenamiento previo del modelo. La mezcla de datos antiguos con datos de dominio nuevos resuelve dos problemas:

Capacidades de mezcla de datos del CPT de Nova

El acceso a los datos y puntos de control de entrenamiento previo de Amazon Nova es una de las principales ofertas de personalización del CPT de Amazon Nova. La personalización del CPT de Amazon Nova permite mezclar fácilmente los datos de dominio con el corpus de entrenamiento previo de Amazon Nova. Además, la proporción de muestras de las categorías de datos específicas de Amazon Nova (por ejemplo, código, matemáticas, razonamiento, etc.) se puede cambiar y sus proporciones se pueden controlar para complementar los datos de dominio. Esto permite reforzar las capacidades para adaptarlas a casos de uso concretos y, al mismo tiempo, adaptar el modelo al dominio específico.

Cómo lograr la proporción de mezcla óptima

La proporción óptima entre los datos de Amazon Nova y los datos de dominio depende del dominio, la complejidad, el tamaño y la calidad del conjunto de datos y de la importancia de mantener las capacidades generales. Esta proporción debe descubrirse mediante la experimentación. El siguiente es un marco experimental para determinar la cantidad de datos de Amazon Nova que se van a mezclar.

Seleccione un subconjunto representativo de datos de dominio (por ejemplo, 5000 millones de tokens) y manténgalo constante en todas las iteraciones experimentales.

Realice experimentos de CPT a pequeña escala variando solo la cantidad de datos de Amazon Nova mezclados:

Evalúe cada punto de control en función de los pruebas comparativas internas y generales del dominio. Evalúe también el punto de control inicial (punto de control de Amazon Nova antes de cualquier entrenamiento).

Cuando se haya identificado la proporción de mezcla óptima, lleve a cabo el CPT a gran escala utilizando el conjunto de datos de dominio completo con la proporción de mezcla seleccionada.

Análisis de las categorías de mezcla de datos

A continuación, analizamos cada categoría disponible en la mezcla de datos para que pueda tomar la mejor decisión sobre qué categorías de datos deberían participar en la mezcla de datos general.

¿Cómo habilitar la mezcla de datos?

Agregue la sección data_mixing a la fórmula con la distribución porcentual adecuada entre las categorías del conjunto de datos. La suma de los porcentajes de nova_data debe ser 100.

Configuración de Nova 2.0 con la mezcla de datos

# Note:
# This recipe can run on p5.48xlarge

# Run config
display_name: "Nova Lite Pretrain on P5 GPU"
versions: ["2.0"]
instance_types: ["ml.p5.48xlarge"]

run:
  name: "my-cpt-run"     # A descriptive name for your training job
  model_type: "amazon.nova-2-lite-v1:0:256k" # Model variant specification, do not change
  model_name_or_path: "nova-lite-2/prod" # Base model path, do not change
  replicas: 8       # Number of compute instances for training, allowed values are 4, 8, 16, 32
  data_s3_path: ""       # Customer data paths
  validation_data_s3_path: ""        # Customer validation data paths
  output_s3_path: ""   # Output artifact path, SageMaker HyperPod job-specific configuration - not compatible with standard SageMaker Training jobs

## Training specific configs
training_config:
  task_type: cpt
  max_length: 8192              # Maximum context window size (tokens)
  global_batch_size: 64        # Global batch size, allowed values are 32, 64, 128, 256.

  trainer:
    max_steps: 10               # The number of training steps to run total
    val_check_interval: 10      # The number of steps between running validation
    limit_val_batches: 2        # Batches of the validation set to use each trigger

  model:
    hidden_dropout: 0.0           # Dropout for hidden states, must be between 0.0 and 1.0
    attention_dropout: 0.0        # Dropout for attention weights, must be between 0.0 and 1.0

  optim:
    optimizer: adam
    lr: 1e-5                      # Learning rate
    name: distributed_fused_adam  # Optimizer algorithm, do not change
    adam_w_mode: true             # Enable AdamW mode
    eps: 1e-06                    # Epsilon for numerical stability
    weight_decay: 0.0             # L2 regularization strength, must be between 0.0 and 1.0
    adam_beta1: 0.9               # Beta1 for Adam optimizer
    adam_beta2: 0.95              # Beta2 for Adam optimizer
    sched:
      warmup_steps: 10            # Learning rate warmup steps
      constant_steps: 0           # Steps at constant learning rate
      min_lr: 1e-6                # Minimum learning rate, must be lower than lr

data_mixing:
  dataset_catalog: cpt_text_lite
  sources:
    nova_data:   # percent inputs for Nova data must sum to 100%; use 0% if you want to exclude a data grouping
      agents: 20
      business-and-finance: 4
      scientific: 10
      code: 5
      factual-and-news: 5
      longform-text: 6
      health-and-medicine: 1
      humanities-and-education: 1
      legal: 1
      math: 9
      additional-languages: 15
      social-and-personal-interest: 11
      entertainment: 0.5
      reasoning: 10
      other: 0.5
      tables: 1
    customer_data: # percent input of customer data. 100 = use only customer data, 0 = use only the nova_data mix above
      percent: 25

Qué significan estas categorías

Nota: Nova 2.0 incluye categorías adicionales específicas de su capacidad de razonamiento (por ejemplo, reasoning-code, reasoning-math y reasoning-instruction-following) que no están disponibles en Nova 1.0.

Resumen de categorías y etiquetas informativas:

Guía de parámetros

El número total de tokens utilizados en el entrenamiento se puede calcular de esta forma: max_length * global_batch_size * max_steps

Limitaciones

El CPT actual solo admite datos de texto y no admite ningún conjunto de datos multimodales de clientes.