カスタマイズされたモデルを Amazon Bedrock にインポートする - Amazon Bedrock
サポートされているアーキテクチャインポートソースモデルのインポート

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

カスタマイズされたモデルを Amazon Bedrock にインポートする

カスタムモデルインポートは Amazon Bedrock のプレビューリリース中であり、変更される可能性があります。

Amazon Bedrock でカスタムモデルを作成するには、カスタムモデルインポート機能を使用して、Amazon などの他の環境でカスタマイズした Foundation Models をインポートします SageMaker。例えば、独自のモデル重みを持つモデル SageMaker を Amazon で作成したとします。そのモデルを Amazon Bedrock にインポートし、Amazon Bedrock の機能を活用してモデルに推論呼び出しを実行できるようになりました。

オンデマンドスループットでインポートするモデルを使用できます。InvokeModel または InvokeModelWithResponseStreamオペレーションを使用して、モデルに推論呼び出しを行います。詳細については、「オペレーションで 1 InvokeModel APIつのプロンプトを送信する」を参照してください。

注記

プレビューリリースでは、カスタムモデルインポートは米国東部 (バージニア北部) および米国西部 (オレゴン) AWS リージョンでのみ使用できます。次の Amazon Bedrock 機能では、カスタムモデルインポートを使用できません。

  • Amazon Bedrock エージェント

  • Amazon Bedrock ナレッジベース

  • Amazon Bedrock ガードレール

  • バッチ推論

  • AWS CloudFormation

カスタムモデルインポートを使用する前に、まずクォータのImported models per accountクォータ引き上げをリクエストする必要があります。詳細については、「Requesting a quota increase」(クォータ引き上げのリクエスト) を参照してください。

カスタムモデルインポートでは、次のパターンをサポートするカスタムモデルを作成できます。

  • 微調整済みまたは継続的な事前トレーニングモデル — 専有データを使用してモデルの重みをカスタマイズできますが、ベースモデルの設定は保持できます。

  • 適応 モデルが一般化されないユースケースに合わせて、モデルをドメインにカスタマイズできます。ドメイン適応は、ターゲットドメインを一般化し、価格を適切に一般化するモデルを作成したい金融業界など、ドメイン間の不一致に対処するようにモデルを変更します。もう 1 つの例は、言語の適応です。例えば、モデルをカスタマイズして、ポルトガル語またはタミル語でレスポンスを生成できます。ほとんどの場合、これには使用しているモデルの語彙の変更が含まれます。

  • ゼロから事前トレーニング済み — モデルの重みと語彙をカスタマイズするだけでなく、注意ヘッドの数、非表示レイヤー、コンテキストの長さなどのモデル設定パラメータを変更することもできます。

サポートされているアーキテクチャ

インポートするモデルは、次のいずれかのアーキテクチャにある必要があります。

  • Mistral — スライディングウィンドウアテンション (SWA) とグループ化されたクエリアテンション () のオプションを備えたデコーダーのみのトランスフォーマーベースのアーキテクチャGQA。詳細については、「」を参照してくださいHugging Face ドキュメントのミスラル。

  • Flan — T5 アーキテクチャの拡張バージョン、エンコーダーデコーダーベースのトランスフォーマーモデル。詳細については、「」を参照してくださいFlan T5 Hugging Face ドキュメントの 。

  • Llama 2 また、Llama3 — の改良されたバージョン Llama グループ化されたクエリアテンション (GQA）。詳細については、「」を参照してくださいLlama 2 および Llama 3 Hugging Face ドキュメントの 。

インポートソース

Amazon Bedrock コンソールでモデルインポートジョブを作成して、Amazon Bedrock にモデルをインポートします。ジョブで、モデルファイルのソースURIに Amazon S3 を指定します。または、Amazon でモデルを作成した場合は SageMaker、 SageMaker モデルを指定できます。モデルトレーニング中、インポートジョブはモデルのアーキテクチャを自動的に検出します。

Amazon S3 バケットから をインポートする場合は、Hugging Face 重みの形式。Hugging Face トランスフォーマーライブラリを使用してファイルを作成できます。のモデルファイルを作成するには Llama モデルについては、「 convert_llama_weights_to_hf.py」を参照してください。のファイルを作成するには Mistral AI モデルについては、「vert_mistral_weights_to_hf.py」を参照してください。

Amazon S3 からモデルをインポートするには、Hugging Face トランスフォーマーライブラリが作成する以下のファイルを最小限に抑える必要があります。

  • .safetensor — Safetensor 形式のモデルの重み。Safetensor は、 によって作成された形式です。Hugging Face はモデルの重みをテンソルとして保存します。モデルのテンソルは、拡張子 のファイルに保存する必要があります.safetensors。詳細については、「Safetensors 」を参照してください。モデルの重みを Safetensor 形式に変換する方法については、「重みを safetensor に変換する」を参照してください。

    注記

    • 現在、Amazon Bedrock は、FP32、、FP16および BF16精度のモデル重みのみをサポートしています。Amazon Bedrock は、他の精度を指定した場合、モデルの重みを拒否します。Amazon Bedrock は内部的にFP32モデルをBF16精度に変換します。

    • Amazon Bedrock は、量子化されたモデルのインポートをサポートしていません。

  • config.json — 例については、LlamaConfig「」および「」を参照してくださいMistralConfig。

  • tokenizer_config.json — 例については、「」を参照してくださいLlamaTokenizer。

  • tokenizer.json

  • tokenizer.model

モデルのインポート

次の手順では、既にカスタマイズしたモデルをインポートしてカスタムモデルを作成する方法を示します。モデルインポートジョブには数分かかる場合があります。インポートジョブ中、Amazon Bedrock はモデルが互換性のあるモデルアーキテクチャを使用していることを確認します。

モデルインポートジョブを送信するには、次の手順を実行します。

  1. クォータのImported models per accountクォータ引き上げをリクエストします。詳細については、「Requesting a quota increase」(クォータ引き上げのリクエスト) を参照してください。

  2. Amazon S3 からモデルファイルをインポートする場合は、モデルを Hugging Face の形式で設定。

    1. モデルが の場合 Mistral AI モデル、convert_mistral_weights_to_hf.py を使用します。

    2. モデルが の場合 Llama モデルについては、「 convert_llama_weights_to_hf.py」を参照してください。

    3. モデルファイルを AWS アカウントの Amazon S3 バケットにアップロードします。詳細については、「オブジェクトをバケットにアップロードする」を参照してください。

  3. IAM Amazon Bedrock アクセス許可 を持つロール AWS Management Console を使用して にサインインし、 で Amazon Bedrock コンソールを開きますhttps://console.aws.amazon.com/bedrock/。

  4. 左側のナビゲーションペインから Foundation モデルでインポートされたモデルを選択します。

  5. [モデル] タブを選択します。

  6. [Import model (モデルのインポート)] を選択します。

  7. インポートタブで、インポートモデルを選択してインポートモデルページを開きます。

  8. モデルの詳細セクションで、以下を実行します。

    1. モデル名にモデルの名前を入力します。

    2. （オプション) タグをモデルに関連付けるには、タグセクションを展開し、新しいタグの追加 を選択します。

  9. ジョブ名のインポート セクションで、次の操作を行います。

    1. ジョブ名にモデルインポートジョブの名前を入力します。

    2. （オプション) タグをカスタムモデルに関連付けるには、タグセクションを展開し、新しいタグの追加 を選択します。

  10. モデルインポート設定 で、使用するインポートオプションを選択します。

    • Amazon S3 バケットからモデルファイルをインポートする場合は、Amazon S3 バケットを選択し、SAmazon S3S3 ロケーション を入力します。必要に応じて、ブラウズ S3 を選択してファイルの場所を選択できます。

    • Amazon からモデルをインポートする場合は SageMaker、Amazon SageMaker モデルを選択し、 SageMaker モデル にSageMaker インポートするモデルを選択します。

  11. [サービスアクセス] セクションで、次のいずれかの操作を行います。

    • 新しいサービスロールを作成して使用 - サービスロールの名前を入力します。

    • 既存のサービスロールを使用 - ドロップダウンリストからサービスロールを選択します。既存のサービスロールに必要なアクセス許可を確認するには、アクセス許可の詳細を表示する を選択します。

      適切なアクセス許可を持つサービスロールの設定の詳細については、「」を参照してくださいモデルインポート用のサービスロールの作成。

  12. [Import] (インポート) を選択します。

  13. カスタムモデルページで、インポートされた を選択します。

  14. ジョブ セクションで、インポートジョブのステータスを確認します。選択したモデル名は、モデルインポートジョブを識別します。モデルのステータス の値が Complete の場合、ジョブは完了します。

  15. 以下を実行して、モデルのモデル ID を取得します。

    1. インポートされたモデルページで、モデルタブを選択します。

    2. ARN 列から使用するARNモデルの をコピーします。

  16. 推論呼び出しにはモデルを使用します。詳細については、「オペレーションで 1 InvokeModel APIつのプロンプトを送信する」を参照してください。オンデマンドスループットでモデルを使用できます。

    Amazon Bedrock テキストプレイグラウンド でモデルを使用することもできます。