fmeval ライブラリを使用して自動評価を実行する

前提条件

• Studio UI でモデル評価を実行するには、 AWS Identity and Access Management (IAM) ロールと入力データセットに正しいアクセス許可が必要です。 SageMaker ドメインまたはIAMロールがない場合は、「」のステップに従いますAmazon のセットアップガイド SageMaker。

Amazon S3 バケットのアクセス許可を設定するには

ドメインとロールを作成したら、次のステップを使用してモデルの評価に必要なアクセス許可を追加します。

1. で Amazon SageMaker コンソールを開きますhttps://console.aws.amazon.com/sagemaker/。

2. ナビゲーションペインで、ページの上部にある検索バーS3に を入力します。

3. サービス で S3 を選択します。

4. ナビゲーションペインからバケットを選択します。

5. 汎用バケットセクションの名前 で、モデルの入出力をコンソールに保存するために使用する S3 バケットの名前を選択します。S3 バケットがない場合は、以下を実行します。

   1. バケットの作成を選択して、新しいバケットの作成ページを開きます。

   2. 全般設定セクションのAWS リージョン で、基盤モデルがあるリージョンを選択します AWS 。

   3. バケット名 の入力ボックスに S3 バケットに名前を付けます。

   4. デフォルトの選択肢をすべて受け入れます。

   5. [Create bucket] (バケットの作成) を選択します。

   6. 汎用バケットセクションの名前 で、作成した S3 バケットの名前を選択します。

6. [アクセス許可] タブを選択します。

7. ウィンドウ下部のクロスオリジンリソース共有 (CORS） セクションまでスクロールします。[編集] を選択します。

8. 基礎評価のアクセス許可をバケットに追加するには、入力ボックスに次のコードが表示されていることを確認します。入力ボックスに以下をコピーして貼り付けることもできます。

   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]

9. [Save changes] (変更の保存) をクリックします。

IAM ポリシーにアクセス許可を追加するには

1. ページ上部の検索バーに と入力しますIAM。

2. サービス で、アイデンティティとアクセス管理 (IAM） を選択します。

3. ナビゲーションペインからポリシーを選択します。

4. 検索バーAmazonSageMakerFullAccessに を入力します。表示されるポリシーの横にあるラジオボタンを選択します。アクションボタンを選択できるようになりました。

5. アクション の横にある下矢印を選択します。2 つのオプションが表示されます。

6. 添付を選択します。

7. 表示されるIAMリストで、作成したロールの名前を検索します。名前の横にあるチェックボックスをオンにします。

8. Attach policy] (ポリシーのアタッチ) を選択します。

Studio の使用を開始する

1. ページ上部の検索バーに と入力しますSageMaker。

2. サービス で、Amazon SageMakerを選択します。

3. ナビゲーションペインから Studio を選択します。

4. ドメインを選択 の下矢印を展開した後、開始するセクションからドメインを選択します。

5. ユーザープロファイルを選択 の下向き矢印を展開した後、「開始方法」セクションからユーザープロファイルを選択します。

6. Open Studio を選択して Studio のランディングページを開きます。

7. ナビゲーションペインからファイルブラウザを選択し、ルートディレクトリに移動します。

8. ノートブックの作成 を選択します。

9. 開いたノートブック環境ダイアログボックスで、Data Science 3.0 イメージを選択します。

10. [選択] を選びます。

11. 次のコード例に示すように、 fmevalパッケージを開発環境にインストールします。

    !pip install fmeval

    注記

    を使用する環境にfmevalライブラリをインストールする Python 3.10。 の実行に必要な要件の詳細については、fmeval「依存関係fmeval」を参照してください。

JumpStart モデルを定義し、 を設定する ModelRunner

1. 次のいずれかを実行してエンドポイントを指定します。

   • を既存の JumpStartエンドポイント、、model_idおよび EndpointNameに指定しますmodel_version。

   • model_version モデルの model_idと を指定し、 JumpStart エンドポイントを作成します。

   次のコード例は、 のエンドポイントを作成する方法を示しています。 Llama 2 foundation model は を通じて利用できます JumpStart。

   import sagemaker
   from sagemaker.jumpstart.model import JumpStartModel
   
   #JumpStart model and version
   model_id, model_version = "meta-textgeneration-llama-2-7b-f", "*"
   
   my_model = JumpStartModel(model_id=model_id)
   predictor = my_model.deploy()
   endpoint_name = predictor.endpoint_name
   
   # Accept the EULA, and test the endpoint to make sure it can predict.
   predictor.predict({"inputs": [[{"role":"user", "content": "Hello how are you?"}]]}, custom_attributes='accept_eula=true')

   前のコード例はEULA、 end-use-license-agreement () を表す を参照していますEULA。EULA は、使用しているモデルのモデルカードの説明に記載されています。一部の JumpStart モデルを使用するには、前の への呼び出しに示すようにaccept_eula=true、 を指定する必要がありますpredict。の詳細についてはEULA、「」の「ライセンスとモデルソース」セクションを参照してください。 モデルソースとライセンス契約

   使用可能な JumpStart モデルのリストは、事前トレーニング済みのモデルテーブル を備えた組み込みアルゴリズムで確認できます。

2. 次の設定例に示すようにJumpStartModelRunner、 ModelRunnerを使用して を設定します。

   from fmeval.model_runners.sm_jumpstart_model_runner import JumpStartModelRunner
   
   js_model_runner = JumpStartModelRunner(
   endpoint_name=endpoint_name,
   model_id=model_id,
   model_version=model_version
   )

   前の設定例では、エンドポイントの作成に使用した model_version endpoint_name、model_id、 と同じ値を使用します。

3. をテストしますModelRunner。次のコード例に示すように、モデルにサンプルリクエストを送信します。

   js_model_runner.predict("What is the capital of London")

Amazon Bedrock モデルを定義し、 を設定する ModelRunner

1. モデルの詳細を定義して印刷するには、Amazon Bedrock で利用可能な Titan モデルに次のコード例を使用します。

   import boto3
   import json
   bedrock = boto3.client(service_name='bedrock')
   bedrock_runtime = boto3.client(service_name='bedrock-runtime')
   
   model_id = "amazon.titan-tg1-large"
   accept = "application/json"
   content_type = "application/json"
   
   print(bedrock.get_foundation_model(modelIdentifier=modelId).get('modelDetails'))

   前のコード例では、 acceptパラメータは の評価に使用するデータの形式を指定しますLLM。は、リクエストの入力データの形式contentTypeを指定します。contentType Amazon Bedrock モデルでは acceptと でのみサポートMIME_TYPE_JSONされています。これらのパラメータの詳細については、「」を参照してくださいInvokeModelWithResponseStream。

2. を設定するにはModelRunner、次の設定例に示すようにBedrockModelRunner、 を使用します。

   from fmeval.model_runners.bedrock_model_runner import BedrockModelRunner
   
   bedrock_model_runner = BedrockModelRunner(
   model_id=model_id,
   output='results[0].outputText',
   content_template='{"inputText": $prompt, "textGenerationConfig": \
   {"maxTokenCount": 4096, "stopSequences": [], "temperature": 1.0, "topP": 1.0}}',
   )

   ModelRunner 次のように設定をパラメータ化します。

   • モデルのデプロイmodel_idに使用したのと同じ値を使用します。

   • output を使用して、生成されたjsonレスポンスの形式を指定します。例えば、 がレスポンス LLMを提供した場合[{"results": "this is the output"}]、 は output='results[0].outputText'を返しますthis is the output。

   • content_template を使用して、 がリクエストとLLMやり取りする方法を指定します。次の設定テンプレートは、前の設定例を説明するためにのみ詳しく説明されており、必須ではありません。

     • 前の設定例では、 変数はプロンプトinputTextを指定し、ユーザーが行ったリクエストをキャプチャします。

     • 変数は、 が次のようにレスポンスLLMを生成する方法textGenerationConfigを指定します。

       • パラメータmaxTokenCountは、 によって返されるトークンの数を制限することで、レスポンスの長さを制限するために使用されますLLM。

       • パラメータstopSequencesは、レスポンスの生成を停止LLMするように に指示する文字シーケンスのリストを指定するために使用されます。モデル出力は、リストされている文字列のいずれかが出力で初めて検出されたときに停止します。例えば、キャリッジリターンシーケンスを使用してモデルレスポンスを 1 行に制限できます。

       • パラメータは、次のトークンを生成するときに考慮するトークンのセットを制限することで、ランダム性topPを制御します。このパラメータは0.0、 と の間の値を受け入れます1.0。の値が大きいほど、より広い語彙を含むセットtopPが許可され、値が低いほど、トークンのセットはより可能性の高い単語に制限されます。

       • パラメータは生成されたテキストのランダム性temperatureを制御し、正の値を受け入れます。の値が大きいほど、よりランダムで多様なレスポンスを生成するようにモデルtemperatureに指示します。値を小さくすると、予測可能なレスポンスが生成されます。の一般的な範囲temperatureは 0.2と の間です2.0。

       特定の Amazon Bedrock 基盤モデルのパラメータの詳細については、「基盤モデルの推論パラメータ」を参照してください。

     content_template パラメータの形式は、 でサポートされている入力とパラメータによって異なりますLLM。例えば、Anthropic’s Claude 2 モデルは、次の をサポートできますcontent_template。

     "content_template": "{\"prompt\": $prompt, \"max_tokens_to_sample\": 500}"

     別の例として、Falcon 7b モデルは次の をサポートできますcontent_template。

     "content_template": "{\"inputs\": $prompt, \"parameters\":{\"max_new_tokens\": \
     10, \"top_p\": 0.9, \"temperature\": 0.8}}"

     最後に、 をテストしますModelRunner。次のコード例に示すように、モデルにサンプルリクエストを送信します。

     bedrock_model_runner.predict("What is the capital of London?")