註冊模型 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

註冊模型

在將擴展政策新增至模型之前,您必須先註冊模型以進行自動擴展,並定義模型的擴展限制。

下列程序說明如何使用 () 或 Application Auto Scaling 註冊模型 AWS Command Line Interface (生產變體AWS CLI) 以進行自動擴展API。

註冊模型 (AWS CLI)

若要註冊生產變體,請使用 register-scalable-target命令搭配下列參數:

  • --service-namespace—將此值設定為 sagemaker

  • --resource-id—模型的資源識別符 (特別是,生產變體)。針對這項參數,資源的類型為 endpoint,而唯一識別符是生產變體的名稱。例如:endpoint/my-endpoint/variant/my-variant

  • --scalable-dimension—將此值設定為 sagemaker:variant:DesiredInstanceCount

  • --min-capacity- 執行個體的最小數量。此值必須設定為至少大於 1,而且必須小於或等於 max-capacity 所指定的值。

  • --max-capacity- 執行個體數量上限。此值必須設定為至少大於 1,而且必須大於或等於 min-capacity 所指定的值。

下列範例示範如何註冊在my-endpoint端點上執行my-variant的名為 的變體,該變體可以動態擴展為具有 1 到 8 個執行個體。

aws application-autoscaling register-scalable-target \ --service-namespace sagemaker \ --resource-id endpoint/my-endpoint/variant/my-variant \ --scalable-dimension sagemaker:variant:DesiredInstanceCount \ --min-capacity 1 \ --max-capacity 8

註冊模型 (Application Auto ScalingAPI)

若要向 Application Auto Scaling 註冊模型,請使用 RegisterScalableTarget Application Auto Scaling API動作搭配下列參數:

  • ServiceNamespace—將此值設定為 sagemaker

  • ResourceID—生產變體的資源識別符。針對這項參數,資源的類型為 endpoint,而唯一識別符是變體的名稱。例如 endpoint/my-endpoint/variant/my-variant

  • ScalableDimension—將此值設定為 sagemaker:variant:DesiredInstanceCount

  • MinCapacity- 執行個體的最小數量。此值必須設定為至少大於 1,而且必須小於或等於 MaxCapacity 所指定的值。

  • MaxCapacity- 執行個體數目上限。此值必須設定為至少大於 1,而且必須大於或等於 MinCapacity 所指定的值。

下列範例示範如何註冊在my-endpoint端點上執行my-variant的名為 的變體,該變體可以動態擴展為使用一到八個執行個體。

POST / HTTP/1.1 Host: application-autoscaling.us-east-2.amazonaws.com Accept-Encoding: identity X-Amz-Target: AnyScaleFrontendService.RegisterScalableTarget X-Amz-Date: 20230506T182145Z User-Agent: aws-cli/2.0.0 Python/3.7.5 Windows/10 botocore/2.0.0dev4 Content-Type: application/x-amz-json-1.1 Authorization: AUTHPARAMS { "ServiceNamespace": "sagemaker", "ResourceId": "endpoint/my-endpoint/variant/my-variant", "ScalableDimension": "sagemaker:variant:DesiredInstanceCount", "MinCapacity": 1, "MaxCapacity": 8 }