콘솔을 사용하여 모델 오토 스케일링 구성 - Amazon SageMaker

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

콘솔을 사용하여 모델 오토 스케일링 구성

모델에 대한 Auto Scaling을 구성하려면(콘솔)

  1. 에서 Amazon SageMaker 콘솔을 엽니다https://console.aws.amazon.com/sagemaker/.

  2. 탐색 창에서 추론 을 선택한 다음 엔드포인트 를 선택합니다.

  3. 엔드포인트를 선택한 다음 엔드포인트 런타임 설정에서 변형을 선택합니다.

  4. 오토 스케일링 구성을 선택합니다.

  5. 변형 자동 조정 구성 페이지의 변형 자동 조정 에 대해 다음을 수행합니다.

    1. 최소 인스턴스 수 에 조정 정책이 유지 관리할 최소 인스턴스 수를 입력합니다. 최소 1개 이상의 인스턴스가 필요합니다.

    2. 최대 인스턴스 수 에 크기 조정 정책에서 유지할 최대 인스턴스 수를 입력합니다.

  6. 기본 제공 크기 조정 정책 의 경우 다음을 수행합니다.

    1. 대상 지표 의 경우 SageMakerVariantInvocationsPerInstance는 지표에 대해 자동으로 선택되며 변경할 수 없습니다.

    2. 대상 값 에 모델의 분당 인스턴스당 평균 호출 수를 입력합니다. 이 값을 결정하려면 로드 테스트.의 지침을 따릅니다.

    3. (선택 사항) 스케일 인 쿨다운(초) 및 스케일 아웃 쿨다운(초)에 각 쿨다운 기간의 시간을 초 단위로 입력합니다.

    4. (선택 사항) 트래픽이 감소할 때 인스턴스를 자동 조정으로 종료하지 않으려면 에서 크기 조정 비활성화를 선택합니다.

  7. 저장(Save)을 선택합니다.

이 절차는 Application Auto Scaling을 사용하여 확장 가능한 대상으로 모델을 등록합니다. 모델을 등록할 때 Application Auto Scaling은 유효성 검사 확인을 통해 다음 사항을 확인합니다.

  • 모델의 존재 여부

  • 권한이 효율적인지 여부

  • T2와 같은 확장 가능한 성능 인스턴스를 포함하여 변형을 등록하지 않습니다.

    참고

    SageMaker 는 T2와 같은 버스트 가능한 인스턴스에 대한 자동 조정을 지원하지 않습니다. 이는 이미 증가된 워크로드에서 용량 증가를 허용하기 때문입니다. 버스트 가능한 성능 인스턴스에 대한 자세한 내용은 Amazon EC2 인스턴스 유형 섹션을 참조하세요.