스케일링 정책 적용 - Amazon SageMaker AI
대상 추적 크기 조정 정책 적용(AWS CLI)스케일링 정책 적용(Application Auto Scaling API)

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

스케일링 정책 적용

모델을 등록하고 스케일링 정책을 정의한 이후 등록된 모델에 스케일링 정책을 적용합니다. 이 섹션에서는 AWS Command Line Interface (AWS CLI) 또는 Application Auto Scaling API를 사용하여 조정 정책을 적용하는 방법을 보여줍니다.

대상 추적 크기 조정 정책 적용(AWS CLI)

모델에 조정 정책을 적용하려면 put-scaling-policy AWS CLI 명령을 다음 파라미터와 함께 사용합니다.

  • --policy-name - 스케일링 정책의 이름입니다.

  • --policy-type - 이 값을 TargetTrackingScaling로 설정하세요.

  • --resource-id - 변형의 리소스 식별자입니다. 이 파라미터에서 리소스 유형은 endpoint이고 고유 식별자는 변형의 이름입니다. 예: endpoint/my-endpoint/variant/my-variant.

  • --service-namespace - 이 값을 sagemaker로 설정하세요.

  • --scalable-dimension - 이 값을 sagemaker:variant:DesiredInstanceCount로 설정하세요.

  • --target-tracking-scaling-policy-configuration—모델에 사용할 대상 추적 스케일링 정책 구성.

다음 예제는 my-endpoint 엔드포인트에서 실행되며 이름이 my-variant인 변수에 my-scaling-policy 대상 추적 크기 조정 정책을 적용하는 방법을 보여줍니다. --target-tracking-scaling-policy-configuration 옵션에서 이전에 생성한 config.json 파일을 지정합니다.

aws application-autoscaling put-scaling-policy \
  --policy-name my-scaling-policy \
  --policy-type TargetTrackingScaling \
  --resource-id endpoint/my-endpoint/variant/my-variant \
  --service-namespace sagemaker \
  --scalable-dimension sagemaker:variant:DesiredInstanceCount \
  --target-tracking-scaling-policy-configuration file://config.json

스케일링 정책 적용(Application Auto Scaling API)

PutScalingPolicy Application Auto Scaling API를 사용하여 변형에 스케일링 정책을 적용하려면, 다음 파라미터와 함께 Application Auto Scaling API 작업을 사용하세요.

  • PolicyName - 스케일링 정책의 이름입니다.

  • ServiceNamespace - 이 값을 sagemaker로 설정하세요.

  • ResourceID - 변형의 리소스 식별자입니다. 이 파라미터에서 리소스 유형은 endpoint이고 고유 식별자는 변형의 이름입니다. 예: endpoint/my-endpoint/variant/my-variant.

  • ScalableDimension - 이 값을 sagemaker:variant:DesiredInstanceCount로 설정하세요.

  • PolicyType - 이 값을 TargetTrackingScaling로 설정하세요.

  • TargetTrackingScalingPolicyConfiguration - 변형에 사용할 대상 추적 스케일링 정책 구성.

다음 예제는 my-endpoint 엔드포인트에서 실행되며 이름이 my-variant인 변수에 my-scaling-policy 대상 추적 크기 조정 정책을 적용하는 방법을 보여줍니다. 정책 구성은 인스턴스당 평균 호출을 70으로 유지합니다.

POST / HTTP/1.1
Host: application-autoscaling.us-east-2.amazonaws.com
Accept-Encoding: identity
X-Amz-Target: AnyScaleFrontendService.
X-Amz-Date: 20230506T182145Z
User-Agent: aws-cli/2.0.0 Python/3.7.5 Windows/10 botocore/2.0.0dev4
Content-Type: application/x-amz-json-1.1
Authorization: AUTHPARAMS

{
    "PolicyName": "my-scaling-policy",
    "ServiceNamespace": "sagemaker",
    "ResourceId": "endpoint/my-endpoint/variant/my-variant",
    "ScalableDimension": "sagemaker:variant:DesiredInstanceCount",
    "PolicyType": "TargetTrackingScaling",
    "TargetTrackingScalingPolicyConfiguration": {
        "TargetValue": 70.0,
        "PredefinedMetricSpecification":
        {
            "PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
        }
    }
}