翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

API を使用して推論エンドポイントをデプロイします。 AWS CLI

SageMaker 推論エンドポイントで SageMaker トレーニングプランを使用するには、 CreateEndpointConfig API オペレーションを呼び出すCapacityReservationConfigときに、 で目的のトレーニングプランリソース ARN を持つ MlReservationArnパラメータを指定します。推論エンドポイントごとに 1 つのプランのみを使用できます。

トレーニングプラン予約を使用してエンドポイント設定を作成する

推論エンドポイントをリザーブドキャパシティにバインドするエンドポイント設定を作成します。ProductionVariants セクションに CapacityReservationConfig オブジェクトを含め、 MlReservationArnをトレーニングプラン ARN に設定します。

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ftp-ep-config" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0,
          "CapacityReservationConfig": {
              "CapacityReservationPreference": "capacity-reservations-only",
              "MlReservationArn": "arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint"
          }
      }]'

CapacityReservationPreference の設定により、エンドポイントcapacity-reservations-onlyはリザーブドキャパシティでのみ実行され、予約が終了するとトラフィックの処理が停止します。

リザーブドキャパシティにエンドポイントをデプロイする

エンドポイント設定の準備ができたら、エンドポイントをデプロイします。

aws sagemaker create-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ftp-ep-config"

エンドポイントは、リザーブドトレーニングプラン容量内で完全に実行されるようになりました。エンドポイントInServiceのステータスに達したら、推論のためにエンドポイントを呼び出すことができます。

エンドポイントの呼び出し

アクティブな予約ウィンドウ中、エンドポイントは通常動作し、キャパシティーへの予測可能なアクセスを提供します。

aws sagemaker-runtime invoke-endpoint \
  --endpoint-name "my-endpoint" \
  --body fileb://input.json \
  --content-type "application/json" \
  output.json

エンドポイントを更新する

SageMaker AI は、リザーブドキャパシティへの接続を維持しながら、いくつかの更新シナリオをサポートしています。

新しいモデルバージョンへの更新

同じ予約容量を維持しながら、新しいモデルバージョンに更新できます。

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ftp-ep-config-v2" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model-v2",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0,
          "CapacityReservationConfig": {
              "CapacityReservationPreference": "capacity-reservations-only",
              "MlReservationArn": "arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint"
          }
      }]'

aws sagemaker update-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ftp-ep-config-v2"

トレーニングプランからオンデマンドキャパシティに移行する

予約期間を超えてエンドポイントを移行するには、オンデマンドキャパシティに移行できます。

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ondemand-ep-config" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0
    }]'

aws sagemaker update-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ondemand-ep-config"

エンドポイントのスケーリング

最初にデプロイした容量よりも多くの容量を予約した場合は、予約制限内でスケールアップできます。

aws sagemaker update-endpoint-weights-and-capacities \
  --endpoint-name "my-endpoint" \
  --desired-weights-and-capacities '[{
          "VariantName": "AllTraffic",
          "DesiredInstanceCount": 2
      }]'

エンドポイントを削除する

推論エンドポイントが不要になった場合は、エンドポイント設定とともに削除します。

aws sagemaker delete-endpoint \
  --endpoint-name "my-endpoint"

aws sagemaker delete-endpoint-config \
  --endpoint-config-name "ftp-ep-config"