翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

モデルカスタマイズに関するガイドライン

モデルをカスタマイズする理想的なパラメータは、データセットと、モデルが対象とするタスクによって異なります。値をいろいろ試して、どのパラメータがお客様自身のケースで最も適切に機能するかを確認する必要があります。参考までに、モデル評価ジョブを実行してモデルを評価してください。詳細については、「Amazon Bedrock リソースのパフォーマンスを評価する」を参照してください。

このトピックでは、Amazon Titan Text Premier モデルのカスタマイズの基準となるガイドラインと推奨値を示します。他のモデルについては、プロバイダーのドキュメントを確認してください。

ファインチューニングジョブの送信時に生成される出力ファイルに含まれるトレーニングと検証のメトリクスを使用して、パラメータを調整します。この出力ファイルは、出力を書き込んだ Amazon S3 バケット内で見つけるか、GetCustomModel オペレーションを使用してください。

Amazon Nova モデル

ファインチューニングジョブ Amazon Bedrock を作成することで、ラベル付き専有データでAmazon Novaモデルをカスタマイズし、モデルがout-of-the-box使用できるよりもパフォーマンスを向上させることができます。つまり、ファインチューニングは、ゼロショーまたは数ショーの呼び出しやその他のプロンプトエンジニアリング技術によって得られる以上の機能強化を提供します。詳細については、Amazon Nova「モデルの微調整」を参照してください。

Amazon Titan Text Premier

以下のガイドラインは、Titan Text Premier text-to-text モデル向けです。設定できるハイパーパラメータの詳細については、「Amazon Titan テキストモデルのカスタマイズハイパーパラメータ」を参照してください。

他のタスクタイプへの影響

一般に、トレーニングデータセットが大きいほど、当該タスクのパフォーマンスが向上します。ただし、特定のタスクにトレーニングを行うと、特にサンプルを多数使用する場合など、他のタスクでモデルのパフォーマンスが低下する可能性があります。例えば、要約タスクのトレーニングデータセットに 100,000 個のサンプルが含まれている場合、モデルのパフォーマンスが分類タスクで低下する可能性があります。

モデルサイズ

一般に、与えられているトレーニングデータが少ない場合でも、大規模なモデルほど、タスクのパフォーマンスは向上します。

このモデルを分類タスクに使用する場合、特にクラス数が比較的少ないとき (100 サンプル未満)、数ショットでの微調整 (100 サンプル未満) で得られる利益は比較的小さくなる可能性があります。

エポック

設定するエポック数を決定するには、以下のメトリクスを使用することをお勧めします。

バッチサイズ

バッチサイズを変更する場合は、次の式を使用して学習率を変更することをお勧めします。

newLearningRate = oldLearningRate x newBatchSize / oldBatchSize

Titan Text Premier モデルは、現在、お客様のファインチューニング向けに 1 のミニバッチサイズのみをサポートしています。

学習率

ファインチューニング機能から最良の結果を得るには、1.00E-07 から 1.00E-05 までの学習率を使用することが推奨されます。適切な開始点は、推奨されるデフォルト値の 1.00E-06 です。学習率を大きくすると、トレーニングの収束が速くなる可能性がありますが、コアモデルの機能に悪影響を及ぼす可能性があります。

小さなサブサンプルでトレーニングデータを検証する - トレーニングデータの品質を検証するには、より大きなトレーニングデータセットでトレーニングジョブを送信する前に、より小さなデータセット (約 100 個のサンプル) を試し、検証メトリクスを監視することが推奨されます。

学習率のウォームアップステップ

デフォルト値である 5 が推奨されます。