進階設定 - Amazon SageMaker AI
使用 SageMaker HyperPod 轉接器建立您自己的模型

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

進階設定

SageMaker HyperPod 配方轉接器建置在 Nvidia Nemo 和 Pytorch 閃電架構之上。如果您已使用這些架構，則將您的自訂模型或功能整合到 SageMaker HyperPod 配方轉接器中，是類似的程序。除了修改配方轉接器之外，您還可以變更自己的預先訓練或微調指令碼。如需撰寫自訂訓練指令碼的指引，請參閱範例。

使用 SageMaker HyperPod 轉接器建立您自己的模型

在配方轉接器中，您可以在下列位置自訂下列檔案：

  1. collections/data：包含負責載入資料集的模組。目前，它僅支援來自 的資料集 HuggingFace。如果您有更進階的需求，程式碼結構可讓您在相同的資料夾中新增自訂資料模組。

  2. collections/model：包括各種語言模型的定義。目前，它支援常見的大型語言模型，例如 Llama、Mixtral 和 Mistral。您可以靈活地在此資料夾中介紹自己的模型定義。

  3. collections/parts：此資料夾包含以分散式方式訓練模型的策略。其中一個範例是全碎片資料平行 (FSDP) 策略，允許跨多個加速器分割大型語言模型。此外，這些策略支援各種形式的模型平行處理。您也可以選擇推出自己的自訂訓練策略，以進行模型訓練。

  4. utils：包含旨在促進訓練任務管理的各種公用程式。它可做為儲存庫，其中適用於您自己的工具。您可以使用自己的工具進行疑難排解或基準測試等任務。您也可以在此資料夾中新增自己的個人化 PyTorch Lightning 回呼。您可以使用 PyTorch Lightning 回呼，將特定功能或操作無縫整合到訓練生命週期中。

  5. conf：包含用於驗證訓練任務中特定參數的組態結構描述定義。如果您引進新的參數或組態，您可以將自訂結構描述新增至此資料夾。您可以使用自訂結構描述來定義驗證規則。您可以驗證資料類型、範圍或任何其他參數限制。您也可以定義自己的自訂結構描述來驗證參數。