Import a customized model into Amazon Bedrock - Amazon Bedrock
対応アーキテクチャインポートソース

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Import a customized model into Amazon Bedrock

Amazon Bedrock でカスタムモデルを作成するには、Amazon Bedrock カスタムモデルインポート機能を使用して、Amazon SageMaker AI などの他の環境でカスタマイズした基盤モデルをインポートします。例えば、Amazon SageMaker AI で作成した独自のモデルの重みを持つモデルがあるとします。そのモデルを Amazon Bedrock にインポートすると、Amazon Bedrock 機能を使用して、モデルに推論呼び出しを行えます。

オンデマンドスループットでインポートするモデルを使用できます。InvokeModel または InvokeModelWithResponseStream オペレーションを使用して、モデルに推論呼び出しを行います。詳細については、「を使用して 1 つのプロンプトを送信する InvokeModel」を参照してください。

Amazon Bedrock カスタムモデルインポートは、次のリージョンでサポートされています (Amazon Bedrock でサポートされているリージョンの詳細については、「Amazon Bedrock エンドポイントとクォータ」を参照してください）。

  • 米国東部 (バージニア北部)

  • 米国西部 (オレゴン)

注記

Amazon Bedrock でのモデルのインポートと使用が、モデルに適用される条件またはライセンスに準拠していることを確認します。

次の Amazon Bedrock 機能では、カスタムモデルインポートを使用できません。

  • バッチ推論

  • AWS CloudFormation

カスタムモデルインポートでは、次のパターンをサポートするカスタムモデルを作成できます。

  • ファインチューニング済みまたは継続的な事前トレーニングモデル — 専有データを使用してモデルの重みをカスタマイズできますが、ベースモデルの設定は保持されます。

  • 適応 モデルがいまく一般化されないユースケースに合わせて、モデルをドメインにカスタマイズできます。ドメイン適応は、ターゲットドメインを一般化し、価格を適切に一般化するモデルを作成したい金融業界など、ドメイン間の不一致に対処するようにモデルを変更します。もう 1 つの例は、言語の適応です。例えば、モデルをカスタマイズすると、ポルトガル語またはタミル語でレスポンスを生成できます。ほとんどの場合、これには使用しているモデルの語彙の変更が含まれます。

  • ゼロから事前トレーニング済み — モデルの重みと語彙をカスタマイズするだけでなく、注意ヘッドの数、非表示レイヤー、コンテキストの長さなどのモデル設定パラメータを変更することもできます。

トピック

対応アーキテクチャ

インポートするモデルは、次のいずれかのアーキテクチャにある必要があります。

  • Mistral — Sliding Window Attention (SWA) と Grouped Query Attention (GQA) のオプションを備えたデコーダー専用トランスフォーマーベースのアーキテクチャ。詳細については、Hugging Face ドキュメントの「Mistral」を参照してください。

    注記

    Amazon Bedrock カスタムモデルインポートはMistral Nemo、現時点では をサポートしていません。

  • Mixtral — スパース Mixture of Experts (MoE) モデルを備えたデコーダー専用トランスフォーマーモデル。詳細については、Hugging Face ドキュメントの「 Mixtral」を参照してください。

  • Flan — T5 アーキテクチャの拡張バージョン、エンコーダーデコーダーベースのトランスフォーマーモデル。詳細については、Hugging Face ドキュメントの「Flan T5」を参照してください。

  • Llama 2、Llama3、Llama3.1、Llama3.2、 Llama 3.3- グループ化されたクエリアテンション (GQA) Llamaを使用した の改善バージョン。詳細については、 Hugging FaceドキュメントのLlama 2「」、「」、「」、Llama 3.2「」、「」、Llama 3Llama 3.1Llama 3.3「」を参照してください。

注記

  • インポートされるモデルの重みのサイ　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　ズは、マルチモーダルモデルでは 100GB 未満、テキストモデルでは 200GB 未満である必要があります。

  • Amazon Bedrock では、トランスフォーマーバージョン 4.45.2 をサポートします。モデルをファインチューニングするときは、トランスフォーマーバージョン 4.45.2 を使用していることを確認してください。

インポートソース

Amazon Bedrock コンソールまたは API でモデルインポートジョブを作成して、モデルを Amazon Bedrock にインポートします。ジョブで、モデルファイルのソースに Amazon S3 URI を指定します。または、Amazon SageMaker AI でモデルを作成した場合は、SageMaker AI モデルを指定できます。モデルトレーニング中、インポートジョブはモデルのアーキテクチャを自動的に検出します。

Amazon S3 バケットからインポートする場合は、モデルファイルを Hugging Face の重み形式で指定する必要があります。Hugging Face トランスフォーマーライブラリを使用するとファイルを作成できます。Llama モデルのモデルファイルを作成するには、「convert_llama_weights_to_hf.py」を参照してください。Mistral AI モデルのファイルを作成するには、「convert_mistral_weights_to_hf.py」を参照してください。

Amazon S3 からモデルをインポートするには、Hugging Face トランスフォーマーライブラリが作成する次のファイルを最小限に抑える必要があります。

  • .safetensor — Safetensor 形式のモデルの重み。Safetensor は、モデル重みをテンソルとして保存する Hugging Face が作成した形式です。モデルのテンソルは、拡張子 .safetensors のファイルに保存する必要があります。詳細については、「Safetensors」を参照してください。モデルの重みを Safetensor 形式に変換する方法については、「Convert weights to safetensors」を参照してください。

    注記

    • 現在、Amazon Bedrock は、FP32、FP16、および BF16 精度のモデルの重みのみをサポートしています。Amazon Bedrock は、他の精度を指定した場合、モデルの重みを拒否します。Amazon Bedrock は、内部で FP32 モデルを BF16 精度に変換します。

    • Amazon Bedrock は、量子化されたモデルのインポートをサポートしていません。

  • config.json — 例については、「LlamaConfig」と「MistralConfig」を参照してください。

    注記

    Amazon Bedrock は、llama3rope_scaling を値を次の値で上書きします。

    • original_max_position_embeddings=8192

    • high_freq_factor=4

    • low_freq_factor=1

    • factor=8

  • tokenizer_config.json 例については、「LlamaTokenizer」を参照してください。

  • tokenizer.json

  • tokenizer.model

対応トークナイザ

Amazon Bedrock カスタムモデルインポートでは、次のトークナイザに対応しています。これらのトークナイザは、どのモデルでも使用できます。

  • T5Tokenizer

  • T5TokenizerFast

  • LlamaTokenizer

  • LlamaTokenizerFast

  • CodeLlamaTokenizer

  • CodeLlamaTokenizerFast

  • GPT2Tokenizer

  • GPT2TokenizerFast

  • GPTNeoXTokenizer

  • GPTNeoXTokenizerFast

  • PreTrainedTokenizer

  • PreTrainedTokenizerFast