Entrenamiento previo continuo (CPT)
El entrenamiento previo continuo (CPT) es una técnica de entrenamiento que amplía la fase de entrenamiento previo de un modelo básico exponiéndolo a texto adicional sin etiquetar de dominios o corpus específicos. A diferencia del refinamiento supervisado, que requiere combinaciones de entradas y salidas etiquetadas, el CPT entrena con documentos sin procesar para ayudar al modelo a adquirir un conocimiento más profundo de nuevos dominios, aprender terminología y patrones de escritura específicos de cada dominio y adaptarse a tipos de contenido o áreas temáticas particulares.
Este enfoque es particularmente valioso cuando se tienen grandes volúmenes (decenas de miles de millones de tokens) de datos de texto específicos de un dominio, como documentos legales, bibliografía médica, documentación técnica o contenido empresarial patentado, y se desea que el modelo desarrolle una fluidez nativa en ese dominio. Por lo general, después de la fase de CPT, el modelo tiene que pasar por etapas adicionales de ajuste mediante instrucciones para poder utilizar el conocimiento recién adquirido y completar tareas útiles.
Modelos compatibles
El CPT está disponible para los siguientes modelos de Amazon Nova:
-
Nova 1.0 (Micro, Lite, Pro)
-
Nova 2.0 (Lite)
Cuándo se debe usar Nova 1.0 en lugar de Nova 2.0
La familia de modelos de Amazon Nova ofrece varios puntos operativos de relación entre precio y rendimiento para optimizar la precisión, la velocidad y el costo.
Elija Nova 2.0 cuando necesite lo siguiente:
-
Capacidades de razonamiento avanzadas para tareas analíticas complejas
-
Rendimiento superior en codificación, matemáticas y resolución de problemas científicos
-
Soporte de mayor longitud de contexto
-
Mejor rendimiento multilingüe
nota
El modelo más grande no siempre es mejor. Tenga en cuenta la relación costo-rendimiento y los requisitos específicos de su empresa cuando tenga que elegir entre los modelos de Nova 1.0 y Nova 2.0.
