模型自訂的指導方針 - Amazon Bedrock
Amazon Nova 模型Amazon Titan Text Premier

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

模型自訂的指導方針

用於自訂模型的理想參數，取決於資料集和模型所預期的任務。您應該對值進行實驗以確定哪些參數最適合您的特定情況。如需協助，請執行模型評估任務來評估您的模型。如需詳細資訊，請參閱評估 Amazon Bedrock 資源的效能。

本主題提供準則和建議值，做為自訂 Amazon Titan Text Premier 模型的基準。對於其他模型，請查看提供者的文件。

使用提交微調任務時產生的輸出檔案中的訓練和驗證指標，協助您調整參數。在您寫入輸出的 Amazon S3 儲存貯體中尋找這些檔案，或使用 GetCustomModel 操作。

Amazon Nova 模型

您可以透過建立微調任務 Amazon Bedrock 來自訂Amazon Nova具有標籤專屬資料的模型，以獲得比模型提供out-of-the-box更多效能。也就是說，微調可提供的增強功能，超出了零或少量顯示調用和其他提示工程技術獲得的增強功能。如需詳細資訊，請參閱微調Amazon Nova模型。

Amazon Titan Text Premier

下列指導方針適用於 Titan Text Premier text-to-text模型模型。如需您可以設定的超參數詳細資訊，請參閱 Amazon Titan 文本模型定制超參數。

對其他任務類型的影響

一般而言，訓練資料集越大，特定任務的效能就越好。但是，對特定任務進行培訓可能會使模型在不同任務上的表現變差，特別是如果您使用了很多範例。例如，假設摘要任務的訓練資料集包含 100,000 個範例，則該模型在分類任務上的效能可能會較差)。

模型大小

一般而言，模型越大，在訓練資料有限的情況下，任務執行的效果越好。

如果您使用模型進行分類任務，您可能會看到少量樣本微調的增益相對較小 (少於 100 個樣本)，尤其是在類別數量相對較小 (少於 100 個) 時。

Epoch

我們建議使用下列指標來判斷要設定的 epoch 數量：

  1. 驗證輸出準確度 — 將 epoch 數設定為可產生高精確度的時期數。

  2. 訓練和驗證損失 — 決定訓練和驗證損失變穩的 epoch 數。這對應於模型收斂時。在 step_wise_training_metrics.csv 和 validation_metrics.csv 檔案中尋找訓練損失值。

批次大小

當您變更批次大小，建議您使用下列公式變更學習速率：

newLearningRate = oldLearningRate x newBatchSize / oldBatchSize

Titan Text Premier 模型目前僅支援 1 的微型批次大小，以供客戶微調。

學習速率

若要從微調功能獲得最佳結果，我們建議您使用介於 1.00E-07 和 1.00E-05 之間的學習率。良好的起點是建議的預設值 1.00E-06。較高的學習率可能有助於更快速地訓練收斂，但可能會對核心模型功能造成負面影響。

使用小型子樣本驗證您的訓練資料 - 若要驗證訓練資料的品質，建議您先實驗較小的資料集 （約 100 個範例），並監控驗證指標，再使用較大的訓練資料集提交訓練任務。

學習暖機步驟

我們建議預設值為 5。