Import a customized model into Amazon Bedrock - Amazon Bedrock
対応アーキテクチャインポートソース

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Import a customized model into Amazon Bedrock

Amazon Bedrock でカスタムモデルを作成するには、Amazon Bedrock カスタムモデルインポート機能を使用して、Amazon SageMaker AI などの他の環境でカスタマイズした基盤モデルをインポートします。例えば、Amazon SageMaker AI で作成した独自のモデルの重みを持つモデルがあるとします。そのモデルを Amazon Bedrock にインポートすると、Amazon Bedrock 機能を使用して、モデルに推論呼び出しを行えます。

オンデマンドスループットでインポートするモデルを使用できます。InvokeModel または InvokeModelWithResponseStreamオペレーションを使用して、モデルに推論呼び出しを行います。詳細については、「を使用して 1 つのプロンプトを送信する InvokeModel」を参照してください。

Amazon Bedrock Custom Model Import は、次のリージョンでサポートされています (Amazon Bedrock でサポートされているリージョンの詳細については、「Amazon Bedrock エンドポイントとクォータ」を参照してください）。

  • 米国東部 (バージニア北部)

  • 米国西部 (オレゴン)

注記

Amazon Bedrock でのモデルのインポートと使用が、モデルに適用される条件またはライセンスに準拠していることを確認します。

次の Amazon Bedrock 機能では、カスタムモデルインポートを使用できません。

  • バッチ推論

  • AWS CloudFormation

カスタムモデルインポートでは、次のパターンをサポートするカスタムモデルを作成できます。

  • ファインチューニング済みまたは継続的な事前トレーニングモデル — 専有データを使用してモデルの重みをカスタマイズできますが、ベースモデルの設定は保持されます。

  • 適応 モデルがいまく一般化されないユースケースに合わせて、モデルをドメインにカスタマイズできます。ドメイン適応は、ターゲットドメインを一般化し、価格を適切に一般化するモデルを作成したい金融業界など、ドメイン間の不一致に対処するようにモデルを変更します。もう 1 つの例は、言語の適応です。例えば、モデルをカスタマイズすると、ポルトガル語またはタミル語でレスポンスを生成できます。ほとんどの場合、これには使用しているモデルの語彙の変更が含まれます。

  • ゼロから事前トレーニング済み — モデルの重みと語彙をカスタマイズするだけでなく、注意ヘッドの数、非表示レイヤー、コンテキストの長さなどのモデル設定パラメータを変更することもできます。

トピック

対応アーキテクチャ

インポートするモデルは、次のいずれかのアーキテクチャにある必要があります。

  • Mistral — スライディングウィンドウアテンション (SWA) とグループ化されたクエリアテンション () のオプションを備えたデコーダーのみのトランスフォーマーベースのアーキテクチャGQA。詳細については、「」を参照してくださいMistral Hugging Face ドキュメントの 。

    注記

    Amazon Bedrock Custom Model Import は をサポートしていません Mistral Nemo 現時点では 。

  • Mixtral — スパース Mixture of Experts (MoE) モデルを備えたデコーダー専用トランスフォーマーモデル。詳細については、「」を参照してくださいHugging Face ドキュメントの Mixtral。

  • Flan — T5 アーキテクチャの拡張バージョン、エンコーダーデコーダーベースのトランスフォーマーモデル。詳細については、「」を参照してくださいFlan T5 Hugging Face ドキュメントの 。

  • Llama 2, Llama3, Llama3.1 および Llama3.2 — の改善されたバージョンの Llama グループ化されたクエリアテンション (GQA) を使用する。詳細については、「」を参照してくださいLlama 2, Llama 3, Llama 3.1、および Llama 3.2 の Hugging Face ドキュメント内) を参照してください。

注記

  • インポートされるモデルの重みのサイ　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　ズは、マルチモーダルモデルでは 100GB 未満、テキストモデルでは 200GB 未満である必要があります。

  • Amazon Bedrock では、トランスフォーマーバージョン 4.45.2 をサポートします。モデルをファインチューニングするときは、トランスフォーマーバージョン 4.45.2 を使用していることを確認してください。

インポートソース

Amazon Bedrock コンソールまたは でモデルインポートジョブを作成して、Amazon Bedrock にモデルをインポートしますAPI。ジョブでは、モデルファイルのソースURIに Amazon S3 を指定します。または、Amazon SageMaker AI でモデルを作成した場合は、 SageMaker AI モデルを指定できます。モデルトレーニング中、インポートジョブはモデルのアーキテクチャを自動的に検出します。

Amazon S3 バケットからインポートする場合は、 でモデルファイルを指定する必要があります。Hugging Face weights 形式。Hugging Face トランスフォーマーライブラリを使用するとファイルを作成できます。のモデルファイルを作成するには Llama モデルについては、「vert_llama_weights_to_hf.py」を参照してください。のファイルを作成するには Mistral AI モデルについては、「vert_mistral_weights_to_hf.py」を参照してください。

Amazon S3 からモデルをインポートするには、Hugging Face トランスフォーマーライブラリが作成する次のファイルを最小限に抑える必要があります。

  • .safetensor — Safetensor 形式のモデルの重み。セーフテンソルは、 によって作成された形式です。Hugging Face モデルの重みをテンソルとして保存する 。モデルのテンソルは、拡張子 .safetensors のファイルに保存する必要があります。詳細については、「Safetensors」を参照してください。モデルの重みを Safetensor 形式に変換する方法については、「Convert weights to safetensors」を参照してください。

    注記

    • 現在、Amazon Bedrock は、FP32、、FP16および BF16精度のモデル重みのみをサポートしています。Amazon Bedrock は、他の精度を指定した場合、モデルの重みを拒否します。Amazon Bedrock の内部では、FP32モデルがBF16精度に変換されます。

    • Amazon Bedrock は、量子化されたモデルのインポートをサポートしていません。

  • config.json — 例については、LlamaConfig「」および「」を参照してくださいMistralConfig。

    注記

    Amazon Bedrock オーバーライド llama3 rope_scaling 値と以下の値：

    • original_max_position_embeddings=8192

    • high_freq_factor=4

    • low_freq_factor=1

    • factor=8

  • tokenizer_config.json 例については、「」を参照してくださいLlamaTokenizer。

  • tokenizer.json

  • tokenizer.model

対応トークナイザ

Amazon Bedrock カスタムモデルインポートでは、次のトークナイザに対応しています。これらのトークナイザは、どのモデルでも使用できます。

  • T5Tokenizer

  • T5TokenizerFast

  • LlamaTokenizer

  • LlamaTokenizerFast

  • CodeLlamaTokenizer

  • CodeLlamaTokenizerFast

  • GPT2Tokenizer

  • GPT2TokenizerFast

  • GPTNeoXTokenizer

  • GPTNeoXTokenizerFast

  • PreTrainedTokenizer

  • PreTrainedTokenizerFast