트래픽 이동을 한 번에 모두 사용 - Amazon SageMaker

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

트래픽 이동을 한 번에 모두 사용

올앳원스 트래픽 시프팅을 이용하면 블루/그린 배포의 안전 가드레일을 사용하여 엔드포인트 업데이트를 신속하게 롤아웃할 수 있습니다. 이 트래픽 시프팅 옵션을 사용하면 블루/그린 배포의 가용성 보장을 계속 활용하면서 업데이트 기간을 최소화할 수 있습니다. 베이킹 기간 기능은 이전 인스턴스를 종료하기 전에 새 인스턴스의 성능과 기능을 모니터링하여 새 플릿이 제대로 작동하는지 확인할 수 있습니다.

다음 다이어그램은 올앳원스 트래픽 시프팅이 기존 플릿과 새 플릿을 관리하는 방법을 보여줍니다.

트래픽이 이전 플릿에서 새 플릿으로 100% 성공적으로 이동했습니다.

트래픽 전환 시 모두 사용하면 는 트래픽의 100%를 새 플릿(녹색 플릿)으로 SageMaker 라우팅합니다. 그린 플릿에 트래픽이 들어오기 시작하면 베이킹 기간이 시작됩니다. 베이킹 기간은 미리 지정된 Amazon CloudWatch 경보가 그린 플릿의 성능을 모니터링하는 설정된 시간입니다. 베이킹 기간 동안 경보 트립이 없으면 는 이전 플릿(파란색 플릿)을 SageMaker 종료합니다. 베이킹 기간 중에 경보가 발생하면 자동 롤백이 시작되고 트래픽의 100% 가 다시 블루 플릿으로 이동합니다.

사전 조건

트래픽 이동을 한 번에 모두 사용하여 배포를 설정하기 전에 엔드포인트에서 지표를 감시하기 위해 Amazon CloudWatch 경보를 생성해야 합니다. 베이킹 기간 중에 경보가 하나라도 발생하면 트래픽이 블루 플릿으로 롤백됩니다. 엔드포인트에서 CloudWatch 경보를 설정하는 방법을 알아보려면 사전 조건 페이지를 참조하세요자동 롤백 구성 및 모니터링. CloudWatch 경보에 대한 자세한 내용은 Amazon 사용 설명서의 Amazon CloudWatch 경보 사용을 참조하세요. CloudWatch

올앳원스 트래픽 시프팅 구성

배포 준비가 되고 엔드포인트에 대한 CloudWatch 경보를 설정한 후에는 SageMaker UpdateEndpoint의 API 또는 update-endpoint 명령을 사용하여 배포를 AWS Command Line Interface 시작할 수 있습니다.

엔드포인트를 업데이트하는 방법(API)

다음 예제에서는 Amazon UpdateEndpoint 에서 를 사용하여 트래픽 이동을 한 번에 모두 사용하여 엔드포인트를 업데이트하는 방법을 보여줍니다 SageMaker API.

import boto3 client = boto3.client("sagemaker") response = client.update_endpoint( EndpointName="<your-endpoint-name>", EndpointConfigName="<your-config-name>", DeploymentConfig={ "BlueGreenUpdatePolicy": { "TrafficRoutingConfiguration": { "Type": "ALL_AT_ONCE" }, "TerminationWaitInSeconds": 600, "MaximumExecutionTimeoutInSeconds": 1800 }, "AutoRollbackConfiguration": { "Alarms": [ { "AlarmName": "<your-cw-alarm>" }, ] } } )

올앳원스 트래픽 시프팅 옵션을 구성하려면 다음을 수행합니다.

  • EndpointName의 경우 업데이트할 기존 엔드포인트의 이름을 사용합니다.

  • EndpointConfigName에는 사용할 엔드포인트 구성 이름을 사용합니다.

  • DeploymentConfigBlueGreenUpdatePolicyTrafficRoutingConfiguration에서 Type 파라미터를 ALL_AT_ONCE로 설정합니다. 이렇게 지정하면 배포가 올앳원스 트래픽 시프팅 모드를 사용하게 됩니다.

  • TerminationWaitInSeconds에는 600을 사용합니다. 이 파라미터는 그린 플릿이 완전히 활성화된 후 지정된 시간(초) 동안 기다렸다가 블루 플릿의 인스턴스를 종료 SageMaker 하도록 지시합니다. 이 예제에서는 블루 플릿을 종료하기 전에 최종 베이킹 기간 후 10분 동안 SageMaker 기다립니다.

  • MaximumExecutionTimeoutInSeconds에는 1800을 사용합니다. 이 파라미터는 시간이 초과되기 전에 배포를 실행할 수 있는 최대 시간을 설정합니다. 위 예제에서는 배포를 완료하는 데 걸리는 시간이 30분으로 제한되어 있습니다.

  • Alarms 필드 AutoRollbackConfiguration내에서 이름별로 CloudWatch 경보를 추가할 수 있습니다. 사용하려는 각 알람에 대해 AlarmName: <your-cw-alarm> 항목을 하나씩 생성합니다.

기존 블루/그린 업데이트 정책으로 엔드포인트를 업데이트하는 방법(API)

CreateEndpoint API 를 사용하여 엔드포인트를 생성할 때 향후 엔드포인트 업데이트에 재사용할 배포 구성을 선택적으로 지정할 수 있습니다. 이전 UpdateEndpoint API 예제와 동일한 DeploymentConfig 옵션을 사용할 수 있습니다. 동작에는 CreateEndpoint API 변경 사항이 없습니다. 배포 구성을 지정해도 엔드포인트에서 블루/그린 업데이트가 자동으로 수행되지는 않습니다.

이전 배포 구성을 사용하는 옵션은 를 사용하여 엔드포인트UpdateEndpointAPI를 업데이트할 때 발생합니다. 엔드포인트를 업데이트할 때 RetainDeploymentConfig 옵션을 사용하여 엔드포인트를 생성할 때 지정한 배포 구성을 유지할 수 있습니다.

를 호출할 때 를 RetainDeploymentConfigUpdateEndpoint API설정True하여 원래 엔드포인트 구성의 DeploymentConfig 옵션을 유지합니다.

response = client.update_endpoint( EndpointName="<your-endpoint-name>", EndpointConfigName="<your-config-name>", RetainDeploymentConfig=True )

엔드포인트를 업데이트하는 방법(CLI)

를 사용하는 경우 AWS CLI다음 예제에서는 update-endpoint 명령을 사용하여 한 번에 블루/그린 배포를 시작하는 방법을 보여줍니다.

update-endpoint --endpoint-name <your-endpoint-name> --endpoint-config-name <your-config-name> --deployment-config '"BlueGreenUpdatePolicy": {"TrafficRoutingConfiguration": {"Type": "ALL_AT_ONCE"}, "TerminationWaitInSeconds": 600, "MaximumExecutionTimeoutInSeconds": 1800}, "AutoRollbackConfiguration": {"Alarms": [{"AlarmName": "<your-alarm>"}]}'

올앳원스 트래픽 시프팅 옵션을 구성하려면 다음을 수행합니다.

  • endpoint-name에는 업데이트할 엔드포인트의 이름을 사용합니다.

  • endpoint-config-name에는 사용할 엔드포인트 구성 이름을 사용합니다.

  • 의 경우 BlueGreenUpdatePolicy JSON 객체를 deployment-config사용합니다.

참고

JSON 객체를 파일에 저장하려면 AWS CLI 사용 설명서AWS CLI 스켈레톤 및 입력 파라미터 생성을 참조하세요.