エンドポイントにモデルをデプロイする

Amazon SageMaker Canvas では、モデルをエンドポイントにデプロイして予測を行うことができます。 は、選択したコンピューティングインスタンスを使用してモデルをエンドポイントでホストするための ML インフラストラクチャ SageMaker を提供します。その後、エンドポイントを呼び出し (予測リクエストを送信）、モデルからリアルタイム予測を取得できます。この機能を使用すると、本番環境でモデルを使用して受信リクエストに応答し、モデルを既存のアプリケーションやワークフローと統合できます。

開始するには、デプロイするモデルが必要です。構築したカスタムモデルバージョン、Amazon SageMaker JumpStart 基盤モデル、および微調整された JumpStart 基盤モデルをデプロイできます。Canvas でモデルを構築する方法の詳細については、「」を参照してくださいカスタムモデルを構築する。Canvas の基盤モデルの詳細については JumpStart、「」を参照してください生成系 AI を基盤モデルと併用する。

次のアクセス許可管理セクションを確認し、モデルのデプロイセクションで新しいデプロイの作成を開始します。

権限の管理

デフォルトでは、モデルを SageMaker ホスティングエンドポイントにデプロイするアクセス許可があります。 は、Canvas アプリケーションをホストする SageMaker ドメインIAMの実行ロールに AWS アタッチされているAmazonSageMakerCanvasFullAccessポリシーを通じて、すべての新規および既存の Canvas ユーザープロファイルに対してこれらのアクセス許可 SageMaker を付与します。

Canvas 管理者が新しいドメインまたはユーザープロファイルを設定している場合、ドメインを設定し、「」の前提条件に従っているときにAmazon SageMaker Canvas を設定するための前提条件、 SageMakerデフォルトで有効になっている Canvas モデルの直接デプロイを有効にするオプションを使用して、モデルのデプロイ許可を有効にします。

Canvas 管理者は、ユーザープロファイルレベルでモデルデプロイのアクセス許可を管理することもできます。例えば、管理者がドメインの設定時にすべてのユーザープロファイルにモデルデプロイ許可を付与したくない場合は、ドメインの作成後に特定のユーザーに許可を付与できます。

次の手順は、特定のユーザープロファイルのモデルデプロイ許可を変更する方法を示しています。

これで、ユーザープロファイルにモデルデプロイのアクセス許可が付与されます。

ドメインまたはユーザープロファイルにアクセス許可を付与したら、ユーザーが Canvas アプリケーションからログアウトし、再度ログインしてアクセス許可の変更を適用していることを確認します。

モデルをデプロイする

モデルのデプロイを開始するには、Canvas で新しいデプロイを作成し、モデルのホストに使用するコンピューティングインスタンスのタイプや数など、ML インフラストラクチャとともにデプロイするモデルバージョンを指定します。

Canvas は、モデルタイプに基づいてデフォルトのタイプとインスタンス数を提案します。または、Amazon SageMaker 料金ページ でさまざまな SageMaker インスタンスタイプの詳細を確認できます。エンドポイントがアクティブな間は、 SageMaker インスタンスの料金に基づいて課金されます。

JumpStart 基盤モデルをデプロイする場合、デプロイ時間の長さを指定するオプションもあります。モデルはエンドポイントに無期限にデプロイできます (つまり、デプロイを削除するまでエンドポイントがアクティブになります）。または、エンドポイントを短期間だけ必要とし、コストを削減したい場合は、指定された期間、モデルをエンドポイントにデプロイし、その後でエンドポイントを SageMaker シャットダウンできます。

モデルが SageMaker ホスティングリアルタイム推論エンドポイント にデプロイされたら、エンドポイントを呼び出すことで予測を開始できます。

Canvas アプリケーションからモデルをデプロイする方法は複数あります。モデルデプロイオプションには、次のいずれかの方法でアクセスできます。

これらのメソッドはすべて、デプロイモデルサイドパネルを開き、モデルのデプロイ設定を指定します。このパネルからモデルをデプロイするには、次の手順を実行します。

これで、モデルはエンドポイントにデプロイされるはずです。デプロイの詳細を表示したり、さまざまなアクションを実行したりする方法については、以下のセクションを参照してください。

デプロイを表示する

Canvas でのモデルデプロイのステータスまたは詳細を確認することをお勧めします。例えば、デプロイが失敗した場合は、トラブルシューティングの詳細を確認することをお勧めします。

Canvas モデルのデプロイは、Canvas アプリケーションまたは Amazon SageMaker コンソールから表示できます。

Canvas からデプロイの詳細を表示するには、次のいずれかの手順を選択します。

ML Ops ページからデプロイの詳細を表示するには、次の手順を実行します。

モデルバージョンのページからデプロイの詳細を表示するには、次の手順を実行します。

デプロイの詳細ページが開き、最新の予測時刻、エンドポイントのステータスと設定、エンドポイントに現在デプロイされているモデルバージョンなどの情報を表示できます。

SageMaker コンソールのSageMaker ダッシュボードから、現在アクティブな Canvas ワークスペースインスタンスとアクティブなエンドポイントを表示することもできます。Canvas エンドポイントは、作成した他の SageMaker ホスティングエンドポイントと一緒にリストされ、Canvas タグでエンドポイントを検索してフィルタリングできます。

次のスクリーンショットは、 SageMaker ダッシュボードを示しています。Canvas セクションでは、1 つのワークスペースインスタンスが稼働中であり、4 つのエンドポイントがアクティブであることがわかります。

デプロイ設定を更新する

デプロイ設定を更新することもできます。例えば、更新されたモデルバージョンをエンドポイントにデプロイしたり、容量のニーズに基づいてエンドポイントの背後にあるインスタンスタイプやインスタンス数を更新したりできます。

Canvas アプリケーションからデプロイを更新するには、いくつかの方法があります。次のいずれかの方法を使用できます。

上記のどちらの方法でも、設定の更新サイドパネルが開き、デプロイ設定を変更できます。設定を更新するには、次の手順を実行します。

これで、デプロイ設定が更新されます。

デプロイをテストする

Canvas アプリケーションを通じてエンドポイントを呼び出すか、単一の予測リクエストを行うことで、デプロイをテストできます。この機能を使用すると、エンドポイントを本番環境でプログラムで呼び出す前に、エンドポイントがリクエストに応答することを確認できます。

カスタムモデルのデプロイをテストする

ML Ops ページからカスタムモデルのデプロイにアクセスし、1 回の呼び出しを行うことで、予測が正しい確率とともに予測を返すので、カスタムモデルのデプロイをテストできます。

Canvas アプリケーションを使用してエンドポイントをテストするには、次の手順を実行します。

予測は、呼び出しが成功したかどうか、およびリクエストの処理にかかった時間を示す呼び出し結果フィールドとともにロードされます。

次のスクリーンショットは、デプロイのテストタブの Canvas アプリケーションで実行された予測を示しています。

数値予測と時系列予測を除くすべてのモデルタイプについて、予測は次のフィールドを返します。

数値予測モデルの場合、予測にはスコアフィールドのみが含まれます。スコアフィールドは、家の予測価格など、モデルの予測出力です。

時系列予測モデルの場合、予測は分位数別の予測を示すグラフです。スキーマビューを選択すると、各分位数の予測数値を表示できます。

デプロイテストページから単一の予測を引き続き行うか、次のセクションを参照して、アプリケーションからプログラムでエンドポイントエンドポイントを呼び出すを呼び出す方法を学習できます。

JumpStart 基盤モデルのデプロイをテストする

Canvas アプリケーションを使用してデプロイされた JumpStart 基盤モデルまたは微調整された基盤モデルとチャットし、コードを呼び出す前にその機能をテストできます。

デプロイされた JumpStart 基盤モデルまたは微調整された基盤モデルとチャットするには、次の手順を実行します。

エンドポイントを呼び出す

デプロイをテストした後、他のSageMaker リアルタイムエンドポイント を呼び出すのと同じ方法でエンドポイントをプログラムで呼び出すことで、アプリケーションで本番環境でエンドポイントを使用できます。エンドポイントを呼び出すと、前のセクション で説明したのと同じフィールドを含むレスポンスオブジェクトがプログラムで返されますデプロイをテストする 。

エンドポイントをプログラムで呼び出す方法の詳細については、「」を参照してくださいリアルタイム推論用のモデルを呼び出す。

次の Python の例は、モデルタイプに基づいてエンドポイントを呼び出す方法を示しています。

import boto3
import pandas as pd

client = boto3.client("runtime.sagemaker")
body = pd.DataFrame(
    [['feature_column1', 'feature_column2'], 
    ['feature_column1', 'feature_column2']]
).to_csv(header=False, index=False).encode("utf-8")
    
response = client.invoke_endpoint(
    EndpointName="endpoint_name",
    ContentType="text/csv",
    Body=body,
    Accept="application/json"
)

import boto3
import pandas as pd

client = boto3.client("runtime.sagemaker")
body = pd.DataFrame(['feature_column1', 'feature_column2'], ['feature_column1', 'feature_column2']).to_csv(header=False, index=False).encode("utf-8")
    
response = client.invoke_endpoint(
    EndpointName="endpoint_name",
    ContentType="text/csv",
    Body=body,
    Accept="application/json"
)

import boto3
import pandas as pd

csv_path = './real-time-payload.csv'
data = pd.read_csv(csv_path)

client = boto3.client("runtime.sagemaker")

body = data.to_csv(index=False).encode("utf-8")
    
response = client.invoke_endpoint(
    EndpointName="endpoint_name",
    ContentType="text/csv",
    Body=body,
    Accept="application/json"
)

import boto3
client = boto3.client("runtime.sagemaker")
with open("example_image.jpg", "rb") as file:
    body = file.read()
    response = client.invoke_endpoint(
        EndpointName="endpoint_name",
        ContentType="application/x-image",
        Body=body,
        Accept="application/json"
    )

import boto3
import pandas as pd

client = boto3.client("runtime.sagemaker")
body = pd.DataFrame([["Example text 1"], ["Example text 2"]]).to_csv(header=False, index=False).encode("utf-8")
    
response = client.invoke_endpoint(
    EndpointName="endpoint_name",
    ContentType="text/csv",
    Body=body,
    Accept="application/json"
)

モデルのデプロイを削除する

Canvas アプリケーションからモデルデプロイを削除できます。このアクションは、 SageMaker コンソールからエンドポイントを削除し、エンドポイント関連のリソースをシャットダウンします。

Canvas でデプロイを削除するには、次の手順を実行します。

これで、デプロイエンドポイントと SageMaker ホスティングエンドポイントが Canvas と SageMaker コンソールの両方から削除されるはずです。デプロイが正常に削除されると、ステータスが Deleted の Canvas デプロイのリストに表示されます。