기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

API를 사용하여 추론 엔드포인트 배포, AWS CLI

SageMaker 추론 엔드포인트에서 SageMaker 훈련 계획을 사용하려면 CreateEndpointConfig API 작업을 호출할 CapacityReservationConfig 때에서 원하는 훈련 계획 리소스 ARN으로 MlReservationArn 파라미터를 지정합니다. 추론 엔드포인트당 정확히 하나의 계획을 사용할 수 있습니다.

훈련 계획 예약으로 엔드포인트 구성 생성

추론 엔드포인트를 예약된 용량에 바인딩하는 엔드포인트 구성을 생성합니다. ProductionVariants 섹션에 CapacityReservationConfig 객체를 포함하고를 훈련 계획 ARNMlReservationArn으로 설정합니다.

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ftp-ep-config" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0,
          "CapacityReservationConfig": {
              "CapacityReservationPreference": "capacity-reservations-only",
              "MlReservationArn": "arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint"
          }
      }]'

를 CapacityReservationPreference 설정capacity-reservations-only하면 엔드포인트가 예약된 용량에서만 실행되고 예약이 종료될 때 트래픽 서비스가 중지됩니다.

예약된 용량에 엔드포인트 배포

엔드포인트 구성이 준비되면 엔드포인트를 배포합니다.

aws sagemaker create-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ftp-ep-config"

이제 엔드포인트는 예약된 훈련 계획 용량 내에서 완전히 실행됩니다. 엔드포인트가 InService 상태에 도달하면 추론을 위해 엔드포인트를 호출할 수 있습니다.

API 엔드포인트 호출

활성 예약 기간 동안 엔드포인트는 용량에 대한 예측 가능한 액세스 권한으로 정상적으로 작동합니다.

aws sagemaker-runtime invoke-endpoint \
  --endpoint-name "my-endpoint" \
  --body fileb://input.json \
  --content-type "application/json" \
  output.json

엔드포인트 업데이트트

SageMaker AI는 예약 용량에 대한 연결을 유지하면서 여러 업데이트 시나리오를 지원합니다.

새 모델 버전으로 업데이트

동일한 예약 용량을 유지하면서 새 모델 버전으로 업데이트할 수 있습니다.

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ftp-ep-config-v2" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model-v2",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0,
          "CapacityReservationConfig": {
              "CapacityReservationPreference": "capacity-reservations-only",
              "MlReservationArn": "arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint"
          }
      }]'

aws sagemaker update-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ftp-ep-config-v2"

훈련 계획에서 온디맨드 용량으로 마이그레이션

예약 기간 이후에 엔드포인트를 전환하려면 온디맨드 용량으로 마이그레이션하면 됩니다.

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ondemand-ep-config" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0
    }]'

aws sagemaker update-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ondemand-ep-config"

엔드포인트 확장

처음에 배포한 용량보다 더 많은 용량을 예약한 경우 예약 한도 내에서 스케일 업할 수 있습니다.

aws sagemaker update-endpoint-weights-and-capacities \
  --endpoint-name "my-endpoint" \
  --desired-weights-and-capacities '[{
          "VariantName": "AllTraffic",
          "DesiredInstanceCount": 2
      }]'

엔드포인트 삭제

추론 엔드포인트가 더 이상 필요하지 않으면 엔드포인트 구성과 함께 삭제합니다.

aws sagemaker delete-endpoint \
  --endpoint-name "my-endpoint"

aws sagemaker delete-endpoint-config \
  --endpoint-config-name "ftp-ep-config"