將自訂模型匯入至 Amazon Bedrock - Amazon Bedrock
支援的架構匯入來源匯入模型

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

將自訂模型匯入至 Amazon Bedrock

自訂模型匯入在 Amazon Bedrock 的預覽版本中，可能會有所變更。

您可以使用自訂模型匯入功能在 Amazon Bedrock 中建立自訂模型，以匯入您在其他環境中自訂的 Foundation 模型，例如 Amazon SageMaker。例如，您可能有一個在 Amazon 中建立的模型 SageMaker ，其具有專有模型權重。您現在可以將該模型匯入 Amazon Bedrock，然後利用 Amazon Bedrock 功能對模型進行推論呼叫。

您可以使用隨需輸送量匯入的模型。使用 InvokeModel或 InvokeModelWithResponseStream操作對模型進行推論呼叫。如需詳細資訊，請參閱提交操作的 InvokeModel API單一提示。

注意

對於預覽版本，自訂模型匯入僅適用於美國東部 （維吉尼亞北部） 和美國西部 （奧勒岡） AWS 區域。您無法搭配下列 Amazon Bedrock 功能使用自訂模型匯入。

  • Amazon Bedrock 代理程式

  • Amazon Bedrock 知識庫

  • Amazon Bedrock Guardrails

  • 批次推論

  • AWS CloudFormation

您必須先請求增加配額，才能使用自訂模型匯入Imported models per account。如需詳細資訊，請參閱請求增加配額。

透過自訂模型匯入，您可以建立支援下列模式的自訂模型。

  • 微調或持續預先訓練模型：您可以使用專有資料自訂模型權重，但保留基本模型的組態。

  • 適應 您可以自訂網域的模型，以用於模型無法良好概括化的使用案例。網域修正會修改模型，以針對目標網域進行一般化，並處理跨網域的差異，例如想要建立在定價上廣泛化的模型的金融產業。另一個範例是語言適應。例如，您可以自訂模型，以產生葡萄牙文或坦米爾文的回應。通常，這涉及變更您正在使用的模型詞彙。

  • 從頭開始預先訓練 - 除了自訂模型的權重和詞彙之外，您還可以變更模型組態參數，例如注意力頭數、隱藏圖層或內容長度。

支援的架構

您匯入的模型必須位於下列其中一個架構中。

  • Mistral — 以解碼器為基礎的轉換器型架構，具有滑動視窗注意力 （SWA） 和群組查詢注意力 （） 的選項GQA。如需詳細資訊，請參閱 Hugging Face 文件中的 Mistral。

  • Flan — T5 架構的增強版本，以編碼器解碼器為基礎的轉換器模型。如需詳細資訊，請參閱 Flan T5 Hugging Face 文件中的 。

  • Llama 2 以及 Llama3 — 改善的 版本 Llama 使用分組查詢注意 （GQA）。如需詳細資訊，請參閱 Llama 2 和 Llama 3 Hugging Face 文件中的 。

匯入來源

您可以在 Amazon Bedrock 主控台中建立模型匯入任務，以將模型匯入 Amazon Bedrock。在任務中，您可以URI為模型檔案的來源指定 Amazon S3。或者，如果您在 Amazon 中建立模型 SageMaker，則可以指定 SageMaker 模型。在模型訓練期間，匯入任務會自動偵測模型的架構。

如果您從 Amazon S3 儲存貯體匯入 ，則需要在 中提供模型檔案 Hugging Face 權重格式。您可以使用 Hugging Face 轉換器程式庫來建立檔案。為 建立模型檔案 Llama 模型，請參閱 convert_llama_weights_to_hf.py。若要建立 的檔案 Mistral AI 模型，請參閱 convert_mistral_weights_to_hf.py 。

若要從 Amazon S3 匯入模型，您至少需要 Hugging Face 轉換器程式庫建立的下列檔案。

  • .safetensor — Safetensor 格式的模型權重。Safetensors 是由 建立的格式 Hugging Face 將模型權重儲存為張量。您必須將模型的張量存放在副檔名為 的檔案中.safetensors。如需詳細資訊，請參閱 Safetensors 。如需將模型權重轉換為 Safetensor 格式的相關資訊，請參閱將權重轉換為 safetensor。

    注意

    • 目前，Amazon Bedrock 僅支援具有 FP32、 FP16和 BF16精確度的模型權重。如果您提供模型權重任何其他精確度，Amazon Bedrock 將拒絕模型權重。內部 Amazon Bedrock 會將FP32模型轉換為BF16精確度。

    • Amazon Bedrock 不支援匯入量化模型。

  • config.json — 如需範例，請參閱 LlamaConfig和 MistralConfig。

  • tokenizer_config.json — 如需範例，請參閱 LlamaTokenizer。

  • tokenizer.json

  • tokenizer.model

匯入模型

下列程序說明如何透過匯入已自訂的模型來建立自訂模型。模型匯入任務可能需要幾分鐘的時間。在匯入任務期間，Amazon Bedrock 會驗證模型是否使用相容的模型架構。

若要提交模型匯入任務，請執行下列步驟。

  1. 請求提高配額Imported models per account。如需詳細資訊，請參閱請求增加配額。

  2. 如果您要從 Amazon S3 匯入模型檔案，請將模型轉換為 Hugging Face 格式。

    1. 如果您的模型是 Mistral AI 模型，請使用 convert_mistral_weights_to_hf.py 。

    2. 如果您的模型是 Llama 模型，請參閱 convert_llama_weights_to_hf.py 。

    3. 將模型檔案上傳至您 AWS 帳戶中的 Amazon S3 儲存貯體。如需詳細資訊，請參閱將物件上傳至儲存貯體 。

  3. AWS Management Console 使用IAM具有 Amazon Bedrock 許可 的角色登入 ，並在 開啟 Amazon Bedrock 主控台https://console.aws.amazon.com/bedrock/。

  4. 從左側導覽窗格的基礎模型下選擇匯入的模型。

  5. 選擇模型標籤。

  6. 選擇 Import model (匯入模型)。

  7. 在匯入索引標籤中，選擇匯入模型以開啟匯入模型頁面。

  8. 在模型詳細資訊區段中，執行下列動作：

    1. 在模型名稱中輸入模型的名稱。

    2. （選用） 若要將標籤與模型建立關聯，請展開標籤區段，然後選取新增標籤 。

  9. 在匯入任務名稱區段中，執行下列動作：

    1. 在任務名稱中輸入模型匯入任務的名稱。

    2. （選用） 若要將標籤與自訂模型建立關聯，請展開標籤區段，然後選取新增標籤 。

  10. 在模型匯入設定 中，選取您要使用的匯入選項。

    • 如果您要從 Amazon S3 儲存貯體匯入模型檔案，請選擇 Amazon S3 儲存貯體，然後在 Amazon S3 S3 位置。或者，您可以選擇瀏覽 S3 來選擇檔案位置。

    • 如果您要從 Amazon 匯入模型 SageMaker，請選擇 Amazon SageMaker 模型，然後選擇要在 SageMaker 模型 中SageMaker 匯入的模型。

  11. 在服務存取區段中，選取下列其中一項：

    • 建立並使用新的服務角色 — 輸入服務角色的名稱。

    • 使用現有服務角色 — 從下拉式清單中選取服務角色。若要查看現有服務角色所需的許可，請選擇檢視許可詳細資訊 。

      如需使用適當許可設定服務角色的詳細資訊，請參閱 建立模型匯入的服務角色。

  12. 選擇匯入。

  13. 在自訂模型頁面上，選擇匯入的 。

  14. 在任務區段中，檢查匯入任務的狀態。您選擇的模型名稱會識別模型匯入任務。如果模型的狀態值為完成 ，表示任務已完成。

  15. 執行下列動作，取得模型的模型 ID。

    1. 在匯入的模型頁面上，選擇模型索引標籤。

    2. 從資料ARN欄ARN複製您要使用的模型的 。

  16. 使用您的模型進行推論呼叫。如需詳細資訊，請參閱提交操作的 InvokeModel API單一提示。您可以使用模型搭配隨需輸送量。

    您也可以在 Amazon Bedrock 文字遊樂場 中使用模型。