將自訂模型匯入 Amazon Bedrock - Amazon Bedrock
支援的架構匯入來源

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

將自訂模型匯入 Amazon Bedrock

您可以使用 Amazon Bedrock 自訂模型匯入功能，匯入您在其他環境中自訂的基礎模型，例如 Amazon SageMaker AI，以在 Amazon Bedrock 中建立自訂模型。例如，您可能有一個在 Amazon SageMaker AI 中建立的模型，具有專有模型權重。您現在可以將該模型匯入 Amazon Bedrock，然後利用 Amazon Bedrock 功能對模型進行推論呼叫。

您可以使用隨需輸送量匯入的模型。使用 InvokeModel 或 InvokeModelWithResponseStream 操作對模型進行推論呼叫。如需詳細資訊，請參閱使用 提交單一提示 InvokeModel。

下列區域支援 Amazon Bedrock Custom Model Import （如需 Amazon Bedrock 支援區域的詳細資訊，請參閱 Amazon Bedrock 端點和配額)：

  • 美國東部 (維吉尼亞北部)

  • 美國西部 (奧勒岡)

注意

請確定您在 Amazon Bedrock 中匯入和使用模型時，符合適用於模型的條款或授權。

您無法搭配下列 Amazon Bedrock 功能使用自訂模型匯入。

  • 批次推論

  • AWS CloudFormation

透過自訂模型匯入，您可以建立支援下列模式的自訂模型。

  • 微調或持續預先訓練模型：您可以使用專有資料自訂模型權重，但保留基本模型的組態。

  • 適應 您可以自訂網域的模型，以用於模型無法妥善一般化的使用案例。網域調整會修改模型，以針對目標網域進行一般化，並處理跨網域的差異，例如想要建立在定價上廣泛化的模型的金融產業。另一個範例是語言適應。例如，您可以自訂模型，以產生葡萄牙文或坦米爾文的回應。通常，這涉及變更您正在使用的模型詞彙。

  • 從頭開始預先訓練 - 除了自訂模型的權重和詞彙之外，您也可以變更模型組態參數，例如注意力頭數、隱藏圖層或內容長度。

主題

支援的架構

您匯入的模型必須位於下列其中一個架構中。

  • Mistral — 以解碼器為基礎的轉換器架構，具有滑動視窗注意力 (SWA) 和群組查詢注意力 (GQA) 的選項。如需詳細資訊，請參閱 Hugging Face 文件Mistral中的 。

    注意

    Amazon Bedrock 自訂模型匯入Mistral Nemo目前不支援。

  • Mixtral — 僅使用解碼器的轉換器模型，具有稀疏的專家混合 (MoE) 模型。如需詳細資訊，請參閱 Hugging Face 文件中的 Mixtral。

  • Flan — T5 架構的增強版本，以編碼器解碼器為基礎的轉換器模型。如需詳細資訊，請參閱 Hugging Face 文件Flan T5中的 。

  • Llama 2、Llama3、Llama3.2、 Llama3.1和 Llama 3.3— 改善的 版本，Llama具有分組查詢注意力 (GQA)。如需詳細資訊，請參閱 Hugging Face 文件Llama 3.3中的 Llama 2、Llama 3.2、、 Llama 3 Llama 3.1和 。

注意

  • 匯入模型權重的大小在多模型模型中必須小於 100GB，在文字模型中必須小於 200GB。

  • Amazon Bedrock 支援轉換器 4.45.2 版。微調模型時，請確定您使用的是 4.45.2 版的轉換器。

匯入來源

您可以在 Amazon Bedrock 主控台或 API 中建立模型匯入任務，以將模型匯入 Amazon Bedrock。在任務中，您可以為模型檔案的來源指定 Amazon S3 URI。或者，如果您在 Amazon SageMaker AI 中建立模型，則可以指定 SageMaker AI 模型。在模型訓練期間，匯入任務會自動偵測模型的架構。

如果您從 Amazon S3 儲存貯體匯入 ，則需要以Hugging Face權重格式提供模型檔案。您可以使用 Hugging Face 轉換器程式庫來建立檔案。若要建立模型的Llama模型檔案，請參閱 convert_llama_weights_to_hf.py。若要建立Mistral AI模型的檔案，請參閱 convert_mistral_weights_to_hf.py。

若要從 Amazon S3 匯入模型，您至少需要 Hugging Face 轉換器程式庫建立的下列檔案。

  • .safetensor — Safetensor 格式的模型權重。Safetensors 是由 建立的格式Hugging Face，可將模型權重儲存為張量。您必須將模型的張量存放在副檔名為 的檔案中.safetensors。如需詳細資訊，請參閱 Safetensors。如需將模型權重轉換為 Safetensor 格式的相關資訊，請參閱將權重轉換為 safetensor。

    注意

    • 目前，Amazon Bedrock 僅支援具有 FP32, FP16和 BF16 精確度的模型權重。如果您提供模型權重任何其他精確度，Amazon Bedrock 將拒絕模型權重。內部 Amazon Bedrock 會將 FP32 模型轉換為 BF16 精確度。

    • Amazon Bedrock 不支援匯入量化模型。

  • config.json — 如需範例，請參閱 LlamaConfig 和 MistralConfig。

    注意

    Amazon Bedrock 會以下列llama3rope_scaling值覆寫值：

    • original_max_position_embeddings=8192

    • high_freq_factor=4

    • low_freq_factor=1

    • factor=8

  • tokenizer_config.json 如需範例，請參閱 LlamaTokenizer。

  • tokenizer.json

  • tokenizer.model

支援的權杖化器

Amazon Bedrock 自訂模型匯入支援下列權杖化工具。您可以搭配任何模型使用這些字符器。

  • T5Tokenizer

  • T5TokenizerFast

  • LlamaTokenizer

  • LlamaTokenizerFast

  • CodeLlamaTokenizer

  • CodeLlamaTokenizerFast

  • GPT2Tokenizer

  • GPT2TokenizerFast

  • GPTNeoXTokenizer

  • GPTNeoXTokenizerFast

  • PreTrainedTokenizer

  • PreTrainedTokenizerFast