継続的事前トレーニング (CPT)

継続的な事前トレーニング (CPT) は、基盤モデルの事前トレーニングフェーズを、特定のドメインまたはコーパスからラベル付けされていない追加のテキストに公開することで拡張するトレーニング手法です。ラベル付き入出力ペアを必要とする教師ありファインチューニングとは異なり、CPT は raw ドキュメントでトレーニングして、モデルが新しいドメインに関する深い知識を取得し、ドメイン固有の用語と書き込みパターンを学習し、特定のコンテンツタイプやサブジェクト領域に適応するのに役立ちます。

このアプローチは、法的文書、医学文献、技術文書、独自のビジネスコンテンツなど、ドメイン固有のテキストデータが多く (数百億トークン)、モデルにそのドメインでネイティブレベルの流暢さを身につけさせたい場合に特に役立ちます。一般的に、CPT ステージの後、モデルは新しく取得した知識を使用し、有用なタスクを完了できるように、追加の命令調整ステージを経る必要があります。

CPT はどのような場合に使用するか

元のトレーニングデータで十分に表現されていないドメイン固有の知識をモデルに学習させる必要がある場合は、CPT を使用します。CPT は、次の場合に最適です。

サポートされているモデル

CPT は、以下の Amazon Nova モデルで使用できます。

Nova 1.0 または Nova 2.0 を使用する場合

Amazon Nova モデルファミリーは、精度、速度、コストを最適化するために、複数の料金パフォーマンスの運用ポイントを提供します。

以下が必要な場合は、Nova 2.0 を選択します。

以下の場合は、Nova 1.0 を選択します。