生成系 AI を基盤モデルと併用する - Amazon SageMaker
前提条件新しい会話を開始して、コンテンツの生成、抽出、要約を行うドキュメントクエリを使用してドキュメントから情報を抽出するモデルの管理モデル出力を比較する JumpStart 基盤モデルのデプロイ

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

生成系 AI を基盤モデルと併用する

Amazon Canvas SageMaker には、会話型チャットを開始するために使用できる生成 AI 基盤モデルが用意されています。これらのコンテンツ生成モデルは大量のテキストデータに基づいてトレーニングされ、単語間の統計的パターンや関係を学習します。また、トレーニングに使用したテキストと統計的に類似した一貫性のあるテキストを生成できます。この機能を使用して以下を実行し、生産性を向上させることができます。

  • ドキュメントの概要、レポート、ブログなどのコンテンツを生成する

  • 決算説明会の記録、年次報告書、ユーザーマニュアルの章など、大量のテキストからテキストを要約する

  • 会議の議事録や会話など、大量のテキストからインサイトや重要なポイントを抽出する

  • テキストを改善し、文法上の誤りやタイプミスを発見する

基盤モデルは、Amazon SageMaker JumpStart と Amazon Bedrock の大規模言語モデル () の組み合わせですLLMs。Canvas には次のモデルがあります。

モデル 型 説明

Amazon Titan

 Amazon Bedrock モデル

Amazon Titan は強力な汎用言語モデルで、要約、テキスト生成 (ブログ投稿の作成など)、分類、自由形式の Q&A、情報抽出などのタスクに使用できます。大規模なデータセットで事前にトレーニングされているため、複雑なタスクや推論に適しています。AI の責任ある使用におけるベストプラクティスを継続的にサポートするために、Amazon Titan 基盤モデルは、データ内の有害なコンテンツを検出して削除し、ユーザー入力内の不適切なコンテンツを拒否し、不適切なコンテンツ (ヘイトスピーチ、冒涜的、暴力など) を含むモデル出力をフィルタリングするように構築されています。

Anthropic Claude Instant

 Amazon Bedrock モデル

Anthropic の Claude Instant は、より高速で費用対効果が高く、しかも非常に高性能なモデルです。このモデルは、カジュアルな会話、テキスト分析、要約、文書の質問への回答など、さまざまなタスクを処理できます。Claude-2 と同様に、Claude Instant は各プロンプトで最大 100,000 トークンをサポートできます。これは、約 200 ページの情報に相当します。

Anthropic Claude-2

 Amazon Bedrock モデル

Claude-2 は Anthropic の最も強力なモデルで、洗練された会話やクリエイティブなコンテンツの生成から詳細な指示のフォローまで、幅広いタスクに長けています。Claude-2 は各プロンプトで最大 100,000 トークンをサポートできます。これは、約 200 ページの情報に相当します。前のバージョンと比べて、より長い応答を生成できます。質問への回答、情報抽出、 の削除、コンテンツ生成PII、複数選択分類、ロールプレイ、テキストの比較、要約、引用によるドキュメント Q&A などのユースケースをサポートします。

Falcon-7B-Instruct

 JumpStart モデル

Falcon-7B-Instruct には 70 億のパラメータがあり、チャットと指示のデータセットを組み合わせて微調整されています。これはバーチャルアシスタントとして最適で、指示に従ったり会話をしたりするときに最高のパフォーマンスを発揮します。このモデルは大量の英語ウェブデータでトレーニングされているため、ウェブ上でよく見られる固定観念や偏見があり、英語以外の言語には適していません。Falcon-40B-Instruct と比較すると、Falcon-7B-Instruct は、規模が若干小さくコンパクトなモデルです。

Falcon-40B-Instruct

 JumpStart モデル

Falcon-40B-Instruct には 400 億のパラメータがあり、チャットと指示のデータセットを組み合わせて微調整されています。これはバーチャルアシスタントとして最適で、指示に従ったり会話をしたりするときに最高のパフォーマンスを発揮します。このモデルは大量の英語ウェブデータでトレーニングされているため、ウェブ上でよく見られる固定観念や偏見があり、英語以外の言語には適していません。Falcon-7B-Instruct と比較すると、Falcon-40B-Instruct は、規模が若干大きくより強力なモデルです。

Jurassic-2 Mid

 Amazon Bedrock モデル

Jurassic-2 Mid は、大量のテキストコーパス (2022 年半ばまで) でトレーニングされた高性能テキスト生成モデルです。このモデルは柔軟性と汎用性が高く、人間のようなテキストを作成したり、質問への回答やテキストの分類などの複雑なタスクを実行したりすることができます。このモデルはゼロショット指示機能を備えているため、例を使わずに自然言語のみで指示できます。以前の Jurassic-1 モデルと比較して、最大 30% 高速に動作します。

Jurassic-2 Mid は の中規模モデルAI21で、並外れた品質と手頃な価格のバランスを取るように慎重に設計されています。

Jurassic-2 Ultra

 Amazon Bedrock モデル

Jurassic-2 Ultra は、大量のテキストコーパス (2022 年半ばまで) でトレーニングされた高性能テキスト生成モデルです。このモデルは柔軟性と汎用性が高く、人間のようなテキストを作成したり、質問への回答やテキストの分類などの複雑なタスクを実行したりすることができます。このモデルはゼロショット指示機能を備えているため、例を使わずに自然言語のみで指示できます。以前の Jurassic-1 モデルと比較して、最大 30% 高速に動作します。

Jurassic-2 Mid と比べると、Jurassic-2 Ultra は若干規模が大きく、よりパワフルなモデルです。

Llama-2-7b-Chat

 JumpStart モデル

Llama-2-7b-Chat は Meta の基盤モデルで、意味のある一貫性のある会話、新しいコンテンツの生成、既存のメモからの回答の抽出に適しています。このモデルは大量の英語インターネットデータでトレーニングされたため、オンラインでよく見られるバイアスと制限があり、英語のタスクに最適です。

Llama-2-13B-Chat

 Amazon Bedrock モデル

Meta による Llama-2-13B-Chat は、インターネットデータに関する最初のトレーニング後に、会話データに対して微調整されました。自然な会話と魅力的なチャット機能に最適化されており、会話エージェントとして最適です。より小さな Llama-2-7b-Chat, Llama-2-13B-Chat にはほぼ 2 倍のパラメータがあり、より多くのコンテキストを記憶し、より微妙な会話レスポンスを生成できます。Llama-2-7b-Chat, Llama-2-13B-Chat は英語データでトレーニングされており、英語のタスクに最適です。

Llama-2-70B-Chat

 Amazon Bedrock モデル

Llama-2-7b-Chat や Llama-2-13B-Chat と同様に、Meta の Llama-2-70B-Chat モデルは、自然で意味のある対話に従事するように最適化されています。700 億のパラメータを使用すると、この大規模な会話モデルは、より広範なコンテキストを記憶し、よりコンパクトなモデルバージョンと比較して高い一貫性のレスポンスを生成できます。ただし、これは応答が遅くなり、リソース要件が高くなるというコストがかかります。Llama-2-70B-Chat は、大量の英語インターネットデータでトレーニングされており、英語のタスクに最適です。

Mistral-7B

 JumpStart モデル

Mistral.AI の Mistral-7B は、テキスト生成、要約、質問への回答など、さまざまな自然言語 (NLP) タスクに適した優れた汎用言語モデルです。グループ化されたクエリアテンション (GQA) を利用しているため、推論速度が速くなり、パラメータが 2 倍または 3 倍のモデルと比較してパフォーマンスが向上します。英語の書籍、ウェブサイト、科学論文などのテキストデータを組み合わせてトレーニングされたため、英語のタスクに最適です。

Mistral-7B-Chat

 JumpStart モデル

Mistral-7B-Chat は、Mistral-7B に基づく Mistral.AI の会話モデルです。Mistral-7B は一般的なNLPタスクに最適ですが、Mistral-7B-Chat は会話データをさらに微調整して、自然で魅力的なチャットの能力を最適化しました。その結果、Mistral-7B-Chat はより人間のようなレスポンスを生成し、以前のレスポンスのコンテキストを記憶します。Mistral-7B と同様に、このモデルは英語タスクに最適です。

MPT-7B-Instruct

 JumpStart モデル

MPT-7B-Instruct は、タスクに続く長い形式の指示のためのモデルであり、テキストの要約や質問への回答などのタスクの記述を支援して、時間と労力を節約できます。このモデルは大量の微調整されたデータに基づいてトレーニングされており、複雑な文書などの大量の入力を処理できます。このモデルは、大量のテキストを処理する場合や、モデルで長い応答を生成する場合に使用します。

Amazon Bedrock の基盤モデルは、現在、米国東部 (バージニア北部) リージョンと米国西部 (オレゴン) リージョンでのみご利用いただけます。また、Amazon Bedrock の基盤モデルを使用する場合、各モデルプロバイダーが指定した入力トークンと出力トークンの量に基づいて課金されます。詳細については、「Amazon Bedrock の料金ページ」を参照してください。 JumpStart 基盤モデルは SageMaker ホスティングインスタンスにデプロイされ、使用するインスタンスタイプに基づいて使用期間に対して課金されます。さまざまなインスタンスタイプのコストの詳細については、SageMaker 料金ページの「Amazon SageMaker ホスティング: リアルタイム推論」セクションを参照してください。

ドキュメントクエリは、Amazon Kendra を使用してインデックスに保存されているドキュメントのクエリやインサイトの取得に使用できる追加機能です。この機能を使用すると、基盤モデルがトレーニングされた大量のデータに汎用的なレスポンスとは対照的に、これらのドキュメントのコンテキストからコンテンツを生成し、ビジネスユースケースに固有のレスポンスを受け取ることができます。Amazon Kendra のインデックスの詳細については、「Amazon Kendra デベロッパーガイド」を参照してください。

データやユースケースに合わせてカスタマイズされた基盤モデルからレスポンスを取得する場合は、基盤モデルを微調整できます。詳細については、「基盤モデルを微調整する」を参照してください。

使用を開始するには、以下のセクションを参照してください。

前提条件

以下のセクションでは、基盤モデルを操作し、Canvas でドキュメントクエリ機能を使用するための前提条件の概要を説明します。このページの残りの内容は、基盤モデルの前提条件を満たしていることを前提としています。ドキュメントクエリ機能には、追加のアクセス許可が必要です。

基盤モデルの前提条件

モデルを操作するために必要なアクセス許可は、Canvas R eady-to-use モデルのアクセス許可に含まれています。Canvas で生成 AI 搭載モデルを使用するには、Amazon SageMaker ドメインを設定するときに Canvas R eady-to-use モデルの設定権限を有効にする必要があります。詳細については、「Amazon SageMaker Canvas を設定するための前提条件」を参照してください。Canvas Ready-to-use モデル設定は、Canvas ユーザーの AWS Identity and Access Management （IAM) 実行ロールにAmazonSageMakerCanvasAIServicesAccessポリシーをアタッチします。権限の付与に関して問題が発生した場合は、「 SageMaker コンソールを使用したアクセス許可の付与に関する問題のトラブルシューティング」のトピックを参照してください。

ドメインを既にセットアップしている場合は、ドメイン設定を編集してアクセス許可を有効にできます。ドメイン設定を編集する方法については、「」を参照してくださいドメインの表示と編集。ドメインの設定を編集するときは、Canvas の設定に移動し、Canvas Ready-to-use モデルを有効にするオプションをオンにします。

JumpStart 基盤モデルによっては、インスタンスクォータの引き上げを SageMakerリクエストする必要もあります。Canvas は、これらのインスタンスで現在操作しているモデルをホストしますが、アカウントのデフォルトのクォータが不十分である可能性があります。以下のモデルの実行中にエラーが発生した場合は、関連するインスタンスタイプのクォータの増量をリクエストしてください。

  • Falcon-40B – ml.g5.12xlarge、ml.g5.24xlarge

  • Falcon-13B – ml.g5.2xlarge、ml.g5.4xlarge、ml.g5.8xlarge

  • MPT-7B-Instruct – ml.g5.2xlarge、ml.g5.4xlarge、 ml.g5.8xlarge

上記のインスタンスタイプでは、エンドポイントの使用量クォータを 0 から 1 に引き上げることをリクエストしてください。クォータの詳細については、「Service Quotas ユーザーガイド」の「クォータの増加をリクエスト」を参照してください。

ドキュメントクエリの前提条件

注記

ドキュメントクエリは、 AWS リージョン米国東部 (バージニア北部）、米国東部 (オハイオ）、米国西部 (オレゴン）、欧州 (アイルランド）、アジアパシフィック (シンガポール）、アジアパシフィック (シドニー）、アジアパシフィック (東京）、アジアパシフィック (ムンバイ) の でサポートされています。

ドキュメントクエリ機能では、ドキュメントとドキュメントメタデータを保存する Amazon Kendra インデックスが既に必要です。Amazon Kendra の詳細については、「Amazon Kendra デベロッパーガイド」を参照してください。インデックスをクエリするためのクォータの詳細については、「Amazon Kendra デベロッパーガイド」の「クォータ」を参照してください。

また、Canvas ユーザープロファイルにドキュメントクエリに必要なアクセス許可があることを確認する必要があります。AmazonSageMakerCanvasFullAccess ポリシーは、Canvas アプリケーションをホストする SageMaker ドメインIAMの実行ロールに AWS アタッチする必要があります (このポリシーは、すべての新規および既存の Canvas ユーザープロファイルにデフォルトでアタッチされます）。また、特にドキュメントクエリのアクセス許可を付与し、1 つ以上の Amazon Kendra インデックスへのアクセスを指定する必要があります。

Canvas 管理者が新しいドメインまたはユーザープロファイルを設定している場合は、「」の手順に従ってドメインをセットアップしますAmazon SageMaker Canvas を設定するための前提条件。ドメインの設定中に、Canvas R eady-to-use モデル設定 を通じてアクセス許可をクエリするドキュメントを有効にできます。

Canvas 管理者は、ユーザープロファイルレベルでドキュメントクエリのアクセス許可を管理することもできます。例えば、管理者が一部のユーザープロファイルにドキュメントクエリのアクセス許可を付与し、他のユーザープロファイルのアクセス許可を削除したい場合は、特定のユーザーのアクセス許可を編集できます。

次の手順は、特定のユーザープロファイルのドキュメントクエリアクセス許可を有効にする方法を示しています。

  1. で SageMaker コンソールを開きますhttps://console.aws.amazon.com/sagemaker/。

  2. 左のナビゲーションペインで、[管理設定‭] を選択します。

  3. 管理者設定 で、ドメイン を選択します。

  4. ドメインのリストから、ユーザープロファイルのドメインを選択します。

  5. ドメインの詳細ページで、アクセス許可を編集するユーザープロファイルを選択します。

  6. [ユーザーの詳細] ページで、[編集] を選択します。

  7. 左側のナビゲーションペインで、[Canvas の設定] を選択します。

  8. Canvas R eady-to-use モデル設定セクションで、Amazon Kendra トグルを使用してドキュメントクエリを有効にするを有効にします。

  9. ドロップダウンで、アクセス権を付与する Amazon Kendra インデックスを 1 つ以上選択します。

  10. 送信 を選択して、ドメイン設定の変更を保存します。

これで、Canvas 基盤モデルを使用して、指定された Amazon Kendra インデックス内のドキュメントをクエリできるようになりました。

新しい会話を開始して、コンテンツの生成、抽出、要約を行う

Canvas で生成系 AI 基盤モデルの使用を開始するには、モデルの 1 つと新しいチャットセッションを開始します。 JumpStart モデルの場合、モデルがアクティブな間は課金されるため、モデルを使用する場合はモデルを起動し、操作が完了したらシャットダウンする必要があります。 JumpStart モデルをシャットダウンしない場合、Canvas は 2 時間の非アクティブ状態後にモデルをシャットダウンします。Amazon Bedrock モデル (Amazon Titan など) では、プロンプトによって課金されます。モデルは既にアクティブになっているため、起動またはシャットダウンする必要はありません。これらのモデルの使用に対しては Amazon Bedrock から直接課金されます。

モデルとのチャットを開始するには、次の手順に従います

  1. Canvas SageMaker アプリケーションを開きます。

  2. 左側のナビゲーションペインで、Ready-to-use モデル を選択します。

  3. [コンテンツの生成、抽出、要約] を選択します。

  4. ウェルカムページで、デフォルトモデルの起動を勧めるメッセージが表示されます。ユーザーは、推奨モデルを起動することも、ドロップダウンから [別のモデルを選択] を選択して別のモデルを選択することもできます。

  5. JumpStart 基盤モデルを選択した場合は、使用する前に起動する必要があります。モデルを起動 を選択すると、モデルは SageMaker インスタンスにデプロイされます。この処理は、完了まで数分かかる場合があります。モデルの準備ができたら、プロンプトを入力してモデルに質問できます。

    Amazon Bedrock で基盤モデルを選択した場合は、プロンプトを入力して質問するだけで、すぐに使用を開始できます。

モデルによって、さまざまなタスクを実行できます。例えば、テキストの一節を入力して、モデルに要約させることができます。あるいは、モデルに自分のドメインの市場動向の簡単な要約を作成させることもできます。

チャットでのモデルの応答は、前のプロンプトのコンテキストに基づいています。前の会話トピックとは関係のない新しい質問をチャットで聞きたい場合は、モデルと新たにチャットを開始することをおすすめします。

ドキュメントクエリを使用してドキュメントから情報を抽出する

注記

このセクションでは、上記のセクションを完了していることを前提としていますドキュメントクエリの前提条件。

ドキュメントクエリは、Canvas で基盤モデルを操作するときに使用できる機能です。ドキュメントクエリを使用すると、Amazon Kendra インデックス に保存されているドキュメントのコーパスにアクセスできます。このインデックスは、ドキュメントの内容を保持し、ドキュメントを検索可能にするように構造化されています。Amazon Kendra インデックス内のデータを対象とする特定の質問をすると、基盤モデルが質問に対する回答を返します。例えば、IT 情報の内部ナレッジベースをクエリし、「会社のネットワークに接続する方法を教えてください」などの質問をすることができます。インデックスの設定の詳細については、「Amazon Kendra デベロッパーガイド」を参照してください。

ドキュメントクエリ機能を使用する場合、基盤モデルは、検索拡張生成 () と呼ばれる手法を使用して、インデックス内のドキュメントのコンテンツへの応答を制限しますRAG。この手法は、インデックスからの最も関連性の高い情報をユーザーのプロンプトとともにバンドルし、それを基盤モデルに送信してレスポンスを取得します。レスポンスはインデックスに表示されるものに限定され、モデルが外部データに基づいて誤ったレスポンスを提供できないようにします。このプロセスの詳細については、ブログ記事「エンタープライズデータ で高精度の生成 AI アプリケーションをすばやく構築する」を参照してください。

開始するには、Canvas の基盤モデルとのチャットで、ページ上部にあるドキュメントクエリの切り替えをオンにします。ドロップダウンから、クエリを実行する Amazon Kendra インデックスを選択します。次に、インデックス内のドキュメントに関連する質問を開始できます。

重要

ドキュメントクエリは モデル出力を比較する機能をサポートしています。新しいチャットを開始してモデル出力を比較すると、既存のチャット履歴は上書きされます。

モデルの管理

注記

次のセクションでは、Falcon-40B-Instruct などの JumpStart 基盤モデルにのみ適用されるモデルの起動とシャットダウンについて説明します。Amazon Titan などの Amazon Bedrock モデルには、いつでも簡単にアクセスできます。

JumpStart モデルをいくつでも起動できます。アクティブな JumpStartモデルごとにアカウントに料金が発生するため、現在使用しているモデルよりも多くのモデルを起動しないことをお勧めします。

別のモデルを起動するには、次の手順に従います。

  1. [コンテンツの生成、抽出、要約] ページで、[新しいチャット] を選択します。

  2. ドロップダウンメニューでモデルを選択します。ドロップダウンに表示されていないモデルを選択する場合は、[別のモデルを起動] を選択し、起動するモデルを選択します。

  3. [モデルを起動] を選択します。

モデルが起動し始め、数分以内にモデルとチャットできるようになります。

使用していないモデルはシャットダウンすることを強くお勧めします。非アクティブ状態が 2 時間続くと、モデルは自動的にシャットダウンします。モデルを手動でシャットダウンするには、次の手順に従います。

  1. [コンテンツの生成、抽出、要約] ページで、シャットダウンするモデルのチャットを開きます。

  2. チャットページで、[その他のオプション] アイコン ( Vertical ellipsis icon representing a menu or more options. ) を選択します。

  3. [モデルをシャットダウン] を選択します。

  4. [モデルをシャットダウン] 確認ボックスで、[シャットダウン] を選択します。

モデルがシャットダウンし始めます。チャットで 2 つ以上のモデルを比較する場合、チャットページからモデルの [その他のオプション] アイコン ( Vertical ellipsis icon representing a menu or more options. ) を選択し、[モデルをシャットダウン] を選択すると、モデルを個別にシャットダウンできます。

モデル出力を比較する

異なるモデルの出力を並べて比較して、どのモデル出力が好ましいかを確認する場合があります。これにより、どのモデルがユースケースに最も適しているかを判断できます。チャットでは最大 3 つのモデルを比較できます。

注記

個々のモデルごとに、アカウントに料金が発生します。

比較するモデルを追加するには、新しいチャットを開始する必要があります。チャットでモデルの出力を並べて比較するには、次の手順に従います。

  1. チャットで、[新しいチャット] を選択します。

  2. [比較] を選択し、ドロップダウンメニューを使用して追加するモデルを選択します。3 つ目のモデルを追加するには、もう一度 [比較] を選択して別のモデルを追加します。

    注記

    現在アクティブでない JumpStart モデルを使用する場合は、モデルを起動するように求められます。

モデルがアクティブになると、チャットに 2 つのモデルが並んで表示されます。プロンプトを送信すると、次のスクリーンショットに示すように、各モデルが同じチャットで応答します。

2 つのモデルの出力を並べて表示した Canvas インターフェイスのスクリーンショット。

操作が完了したら、追加料金が発生しないように、 JumpStart モデルを個別にシャットダウンしてください。

JumpStart 基盤モデルのデプロイ

アプリケーションまたはウェブサイトを通じて Amazon SageMaker JumpStart 基盤モデルから予測を取得する場合は、モデルを SageMaker エンドポイント にデプロイできます。 SageMaker エンドポイントはモデルをホストし、アプリケーションコードを介してエンドポイントにリクエストを送信して、モデルから予測を受信できます。詳細については、「エンドポイントにモデルをデプロイする」を参照してください。