Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Pré-entraînement continu (CPT)
Le pré-entraînement continu (CPT) est une technique de formation qui prolonge la phase de pré-entraînement d'un modèle de base en l'exposant à du texte supplémentaire non étiqueté provenant de domaines ou de corpus spécifiques. Contrairement au réglage fin supervisé, qui nécessite des paires d'entrées-sorties étiquetées, le CPT s'entraîne sur des documents bruts pour aider le modèle à acquérir une connaissance plus approfondie de nouveaux domaines, à apprendre la terminologie et les modèles d'écriture spécifiques au domaine, et à s'adapter à des types de contenu ou à des domaines particuliers.
Cette approche est particulièrement utile lorsque vous disposez de volumes importants (des dizaines de milliards de jetons) de données textuelles spécifiques à un domaine, telles que des documents juridiques, de la littérature médicale, de la documentation technique ou du contenu commercial propriétaire, et que vous souhaitez que le modèle développe une fluidité native dans ce domaine. Généralement, après la phase CPT, le modèle doit subir des étapes supplémentaires de réglage des instructions pour permettre au modèle d'utiliser les connaissances nouvellement acquises et d'effectuer des tâches utiles.
Quand utiliser le CPT
Utilisez le CPT lorsque vous devez enseigner au modèle des connaissances spécifiques au domaine qui ne sont pas bien représentées dans ses données d'apprentissage d'origine. Le CPT est idéal lorsque :
-
Vous disposez de gros volumes de textes spécifiques à un domaine (contenu juridique, médical, technique ou propriétaire)
-
Vous souhaitez que le modèle développe une maîtrise native de la terminologie spécialisée et des modèles d'écriture
-
Votre cas d'utilisation nécessite une compréhension du langage standard sans raisonnement avancé
Modèles pris en charge
Le CPT est disponible pour les modèles Amazon Nova suivants :
-
Nova 1.0 (Micro, Lite, Pro)
-
Nouvelle version 2.0 (version allégée)
Quand utiliser Nova 1.0 par rapport à Nova 2.0
La famille de modèles Amazon Nova propose plusieurs points de fonctionnement en termes de rapport prix/performances afin d'optimiser la précision, la vitesse et les coûts.
Choisissez Nova 2.0 lorsque vous avez besoin des éléments suivants :
-
Capacités de raisonnement avancées pour des tâches analytiques complexes
-
Performances supérieures en matière de codage, de mathématiques et de résolution de problèmes scientifiques
-
Support pour une longueur de contexte plus longue
-
Meilleures performances multilingues
Choisissez Nova 1.0 lorsque :
-
Vous souhaitez optimiser pour réduire les coûts de formation et d'inférence
-
Votre cas d'utilisation nécessite une compréhension du langage standard sans raisonnement avancé
-
Vous avez déjà validé les performances sur Nova 1.0 et vous n'avez pas besoin de fonctionnalités supplémentaires
Note
Le modèle plus grand n'est pas toujours meilleur. Tenez compte du compromis coût-performance et des besoins spécifiques de votre entreprise lorsque vous choisissez entre les modèles Nova 1.0 et Nova 2.0.
