本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
持續預先訓練 (CPT)
持續訓練前 (CPT) 是一種訓練技術,透過向特定網域或企業的其他未標記文字公開基礎模型,來擴展訓練前階段。與需要標記的輸入輸出對的監督式微調不同,CPT 會在原始文件上進行訓練,以協助模型更深入了解新網域、學習特定網域的術語和撰寫模式,以及適應特定內容類型或主題領域。
當您有大量 (數十億個字符) 的網域特定文字資料,例如法律文件、醫學文獻、技術文件或專屬商業內容,而且您希望模型在該網域中開發原生流暢度時,這種方法特別有用。一般而言,在 CPT 階段之後,模型需要經過額外的指令調校階段,讓模型能夠使用新取得的知識並完成有用的任務。
何時使用 CPT
當您需要教導模型領域特定的知識,而這些知識在原始訓練資料中未充分呈現時,請使用 CPT。CPT 的理想時機:
-
您有大量特定網域的文字 (法律、醫療、技術或專屬內容)
-
您希望模型在專業術語和撰寫模式中開發原生流暢度
-
您的使用案例需要標準語言理解,而不需要進階推理
支援的模型
CPT 適用於下列 Amazon Nova 模型:
-
Nova 1.0 (Micro、Lite、Pro)
-
Nova 2.0 (精簡型)
何時使用 Nova 1.0 與 Nova 2.0
Amazon Nova 系列模型提供多個價格效能操作點,可在準確度、速度和成本之間進行最佳化。
當您需要下列項目時,請選擇 Nova 2.0:
-
複雜分析任務的進階推理功能
-
編碼、數學和科學問題解決的卓越效能
-
更長的內容長度支援
-
更好的多語言效能
在下列情況下選擇 Nova 1.0:
-
您想要最佳化以降低訓練和推論成本
-
您的使用案例需要標準語言理解,而不需要進階推理
-
您已驗證 Nova 1.0 的效能,不需要其他功能
注意
較大的模型不一定會更好。在 Nova 1.0 和 Nova 2.0 模型之間進行選取時,請考慮成本效能權衡和您的特定業務需求。