一次使用全部流量轉移 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

一次使用全部流量轉移

透過一次全部流量轉移,您可以使用藍/綠部署的安全防護機制快速推出端點更新。您可以使用此流量轉移選項,將更新持續時間降至最低,同時仍可利用藍/綠部署的可用性保證。製作中期間功能可協助您在終止舊執行個體之前監控新執行個體的效能和功能,確保新機群可完全運作。

下圖顯示了一次全部流量轉移如何管理新舊機群。

從舊機群成功將 100% 流量轉移到新機群。

當您一次使用全部流量轉移時, 會將 100% 的流量 SageMaker 路由至新的機群 (綠色機群)。一旦綠色機群開始接收流量,製作中期間開始。烘焙期間是預先指定的 Amazon CloudWatch 警示監控綠色機群效能的固定時間量。如果烘烤期間沒有警示跳脫, 會 SageMaker 終止舊機群 (藍色機群)。如果在製作中期間觸發任何警示,則會啟動自動還原,並且將 100% 的流量轉移回藍色機群。

必要條件

在設定一次轉移所有流量的部署之前,您必須建立 Amazon CloudWatch 警示,以從端點監控指標。如果有任何警報在製作中期間觸發,那麼流量就會回復到您的藍色機群。若要了解如何在端點上設定 CloudWatch 警示,請參閱先決條件頁面 自動回復組態與監控。若要進一步了解 CloudWatch 警示,請參閱 Amazon 使用者指南 中的使用 Amazon CloudWatch 警示 CloudWatch

設定一次全部流量轉移

準備好部署並設定端點的 CloudWatch 警示後,您可以使用 SageMaker UpdateEndpoint中的 API或 update-endpoint 命令 AWS Command Line Interface 來啟動部署。

如何更新端點 (API)

下列範例示範如何在 Amazon UpdateEndpoint中使用 進行流量轉移時,一次使用 全部更新端點 SageMaker API。

import boto3 client = boto3.client("sagemaker") response = client.update_endpoint( EndpointName="<your-endpoint-name>", EndpointConfigName="<your-config-name>", DeploymentConfig={ "BlueGreenUpdatePolicy": { "TrafficRoutingConfiguration": { "Type": "ALL_AT_ONCE" }, "TerminationWaitInSeconds": 600, "MaximumExecutionTimeoutInSeconds": 1800 }, "AutoRollbackConfiguration": { "Alarms": [ { "AlarmName": "<your-cw-alarm>" }, ] } } )

若要設定一次全部流量轉移選項,請執行下列動作:

  • 針對 EndpointName,請使用您要更新的現有端點名稱。

  • EndpointConfigName 中,使用您要使用的端點組態名稱。

  • DeploymentConfigBlueGreenUpdatePolicy 下,在 TrafficRoutingConfiguration 中,將 Type 參數設定為 ALL_AT_ONCE。這會指定使用一次全部流量轉移模式的部署。

  • 對於 TerminationWaitInSeconds,請使用 600。此參數會指示在綠色機群完全作用中後 SageMaker 等待指定的時間量 (以秒為單位),然後再終止藍色機群中的執行個體。在此範例中,在終止藍色機群之前,會在最終烘烤期間後 SageMaker 等待 10 分鐘。

  • 對於 MaximumExecutionTimeoutInSeconds,請使用 1800。此參數設定部署在逾時前可以執行的時間上限。在上述範例中,您的部署時間上限為 30 分鐘。

  • AutoRollbackConfigurationAlarms 欄位內,您可以依名稱新增 CloudWatch 警示。為您要使用的每個警示建立一個 AlarmName: <your-cw-alarm> 項目。

如何使用現有的藍/綠更新政策更新端點 (API)

當您使用 CreateEndpointAPI建立端點時,您可以選擇指定部署組態,以重複使用於未來的端點更新。您可以使用與上 UpdateEndpoint API一個範例相同的DeploymentConfig選項。行為 CreateEndpoint API沒有變更。指定部署組態不會自動在端點上執行藍/綠更新。

使用 UpdateEndpointAPI更新端點時,會出現使用先前部署組態的選項。更新端點時,您可以使用 RetainDeploymentConfig 選項來保留您在建立端點時指定的部署組態。

呼叫 UpdateEndpoint 時API,請將 RetainDeploymentConfig 設定為 True,以保留原始端點組態中的DeploymentConfig選項。

response = client.update_endpoint( EndpointName="<your-endpoint-name>", EndpointConfigName="<your-config-name>", RetainDeploymentConfig=True )

如何更新端點 (CLI)

如果您使用的是 AWS CLI,下列範例會示範如何使用 update-endpoint 命令,在部署一次啟動全部藍/綠。

update-endpoint --endpoint-name <your-endpoint-name> --endpoint-config-name <your-config-name> --deployment-config '"BlueGreenUpdatePolicy": {"TrafficRoutingConfiguration": {"Type": "ALL_AT_ONCE"}, "TerminationWaitInSeconds": 600, "MaximumExecutionTimeoutInSeconds": 1800}, "AutoRollbackConfiguration": {"Alarms": [{"AlarmName": "<your-alarm>"}]}'

若要設定一次全部流量轉移選項,請執行下列動作:

  • endpoint-name 中,使用您想更新的端點名稱。

  • endpoint-config-name 中,使用您要使用的端點組態名稱。

  • 對於 deployment-config,請使用 BlueGreenUpdatePolicy JSON 物件。

注意

如果您想要將JSON物件儲存在檔案中,請參閱 AWS CLI 使用者指南 中的產生 AWS CLI 骨骼和輸入參數