スケーリングポリシーを定義する

モデルにスケーリングポリシーを追加する前に、ポリシー設定をJSONブロックとしてテキストファイルに保存します。 AWS Command Line Interface （AWS CLI) または Application Auto Scaling を呼び出すときに、そのテキストファイルを使用しますAPI。適切な CloudWatch メトリクスを選択することで、スケーリングを最適化できます。ただし、本番環境でカスタムメトリクスを使用する前に、カスタムメトリクスを使用して自動スケーリングをテストする必要があります。

このセクションでは、ターゲット追跡スケーリングポリシーのポリシー設定例を示します。

事前定義されたメトリクスを指定する (CloudWatch メトリクス： InvocationsPerInstance）

{
    "TargetValue": 70.0,
    "PredefinedMetricSpecification":
    {
        "PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
    }
}

高解像度の事前定義済みメトリクスを指定する (CloudWatch メトリクス: ConcurrentRequestsPerModel および ConcurrentRequestsPerCopy）

次の高解像度 CloudWatch メトリクスを使用すると、モデルが受信する同時リクエストの量に対してスケーリングポリシーを設定できます。

これらのメトリクスは、モデルコンテナが処理する同時リクエストの数を追跡します。これには、コンテナ内でキューに入れられたリクエストも含まれます。トークンのストリームとして推論レスポンスを送信するモデルの場合、これらのメトリクスは、モデルがリクエストの最後のトークンを送信するまで、各リクエストを追跡します。

高解像度メトリクスとして、標準 CloudWatchメトリクスよりも頻繁にデータを生成します。メトリクスなどの標準InvocationsPerInstanceメトリクスは、1 分に 1 回データを送信します。ただし、これらの高解像度メトリクスは 10 秒ごとにデータを送信します。したがって、モデルへの同時トラフィックが増加すると、ポリシーは標準メトリクスよりもはるかに迅速にスケールアウトすることで対応します。ただし、モデルへのトラフィックが減少すると、ポリシーは標準メトリクスと同じ速度でスケールインします。

以下は、モデルあたりの同時リクエスト数が 5 を超える場合にインスタンスを追加するターゲット追跡ポリシー設定の例です。この設定を config.json という名前のファイルに保存してください。

{
    "TargetValue": 5.0,
    "PredefinedMetricSpecification":
    {
        "PredefinedMetricType": "SageMakerVariantConcurrentRequestsPerModelHighResolution"
    }
}

推論コンポーネントを使用して複数のモデルを同じエンドポイントにデプロイする場合は、同等のポリシーを作成できます。この場合、 PredefinedMetricType を に設定しますSageMakerInferenceComponentConcurrentRequestsPerCopyHighResolution。

詳細については、「Application Auto Scaling APIリファレンスTargetTrackingScalingPolicyConfiguration」の「」を参照してください。

カスタムメトリクスを定義する (CloudWatch メトリクス: CPUUtilization）

カスタムメトリクスを使用してターゲット追跡スケーリングポリシーを作成するには、メトリクスの名前、名前空間、単位、統計、ゼロ以上のディメンションを指定します。ディメンションには、そのディメンションの名前と値を含みます。キャパシティに比例して変化する本番稼働用バリアントメトリクスを使用できます。

{
    "TargetValue": 50.0,
    "CustomizedMetricSpecification":
    {
        "MetricName": "CPUUtilization",
        "Namespace": "/aws/sagemaker/Endpoints",
        "Dimensions": [
            {"Name": "EndpointName", "Value": "my-endpoint" },
            {"Name": "VariantName","Value": "my-variant"}
        ],
        "Statistic": "Average",
        "Unit": "Percent"
    }
}

カスタムメトリクスを定義する (CloudWatch メトリクス： ExplanationsPerInstance）

エンドポイントでオンライン説明可能性が有効になっている場合、バリアントについて、インスタンスごとに 1 分あたりに説明されたレコードの平均数を出力するExplanationsPerInstanceメトリクスが出力されます。レコードを説明するリソース使用率は、レコードを予測する場合と大きく異なることがあります。このメトリクスは、オンライン説明可能性が有効になっているエンドポイントのターゲット追跡スケーリングに強くお勧めします。

スケーラブルなターゲットに対して複数のターゲット追跡ポリシーを作成できます。（InvocationsPerInstanceポリシーに加えて) 事前定義されたメトリクスを指定する (CloudWatch メトリクス： InvocationsPerInstance）セクションからExplanationsPerInstanceポリシーを追加することを検討してください。EnableExplanations パラメータでしきい値が設定されているため、ほとんどの呼び出しで説明が返されない場合、エンドポイントはInvocationsPerInstanceポリシーを選択できます。多数の説明がある場合、エンドポイントは ExplanationsPerInstance ポリシーを使用できます。

{
    "TargetValue": 20.0,
    "CustomizedMetricSpecification":
    {
        "MetricName": "ExplanationsPerInstance",
        "Namespace": "AWS/SageMaker",
        "Dimensions": [
            {"Name": "EndpointName", "Value": "my-endpoint" },
            {"Name": "VariantName","Value": "my-variant"}
        ],
        "Statistic": "Sum"
    }
}

詳細については、「Application Auto Scaling APIリファレンスCustomizedMetricSpecification」の「」を参照してください。

クールダウン期間を指定する

オプションで、 ScaleOutCooldown および ScaleInCooldownパラメータを指定することで、ターゲット追跡スケーリングポリシーでクールダウン期間を定義できます。

{
    "TargetValue": 70.0,
    "PredefinedMetricSpecification":
    {
        "PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
    },
    "ScaleInCooldown": 600,
    "ScaleOutCooldown": 300
}