使用線性流量轉移 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用線性流量轉移

線性流量轉移可讓您逐步將舊機群 (藍色機群) 的流量轉移到新機群 (綠色機群)。透過線性流量轉移,您可以透過多個步驟轉移流量,將端點中斷的機會降到最低。此藍/綠部署選項可讓您對流量轉移進行最精細的控制。

您可以選擇執行個體數量,或綠色機群在每個步驟中啟動的容量百分比。每個線性步驟應該只在綠色機群容量的 10-50% 之間。對於每個步驟,都有一個烘焙期間,您的預先指定 Amazon CloudWatch 警示會監控綠色機群上的指標。製作中期間結束並且沒有觸發警示後,綠色機群的作用中部分將繼續接收流量,並開始新步驟。如果在任何製作中期間觸發警示,則 100% 的端點流量會回復到藍色機群。

下圖顯示線性流量轉移如何將流量路由至藍色和綠色機群。

成功的三步驟線性流量從舊機群轉移到新機群。

SageMaker 佈建新機群後,綠色機群的第一個部分會開啟並接收流量。 SageMaker 會停用藍色機群的相同大小部分,而且烘烤期間會開始。如果觸發任何警示,則所有端點流量都會回復至藍色機群。如果製作中期間結束,則開始後續步驟。綠色機群的另一部分啟動並接收流量,部分藍色機群停用,另一個製作中期間開始。同樣的過程會重複,直到藍色機群完全停用,綠色機群完全作用中並接收所有流量為止。如果警示在任何時候停止, 會 SageMaker 終止轉移程序,且 100% 的流量會復原為藍色機群。

必要條件

在設定具有線性流量轉移的部署之前,您必須建立 CloudWatch 警示來監控端點的指標。警示在製作中期間處於啟動中狀態,如果觸發任何警示,則所有端點流量都會回復到藍色機群。若要了解如何在端點上設定 CloudWatch警示,請參閱先決條件頁面 自動回復組態與監控。若要進一步了解 CloudWatch 警示,請參閱 Amazon 使用者指南 中的使用 Amazon CloudWatch 警示 CloudWatch

設定線性流量轉移

準備好部署並為您的端點設定 CloudWatch 警示後,您可以使用 中的 Amazon SageMaker UpdateEndpoint API或 update-endpoint 命令 AWS CLI 來啟動部署。

如何更新端點 (API)

下列範例UpdateEndpointAPI示範如何更新具有線性流量轉移的端點。

import boto3 client = boto3.client("sagemaker") response = client.update_endpoint( EndpointName="<your-endpoint-name>", EndpointConfigName="<your-config-name>", DeploymentConfig={ "BlueGreenUpdatePolicy": { "TrafficRoutingConfiguration": { "Type": "LINEAR", "LinearStepSize": { "Type": "CAPACITY_PERCENT", "Value": 20 }, "WaitIntervalInSeconds": 300 }, "TerminationWaitInSeconds": 300, "MaximumExecutionTimeoutInSeconds": 3600 }, "AutoRollbackConfiguration": { "Alarms": [ { "AlarmName": "<your-cw-alarm>" } ] } } )

若要設定線性流量轉移選項,請執行下列動作:

  • EndpointName 中,使用您要更新的現有端點名稱。

  • EndpointConfigName 中,使用您要使用的端點組態名稱。

  • DeploymentConfigBlueGreenUpdatePolicy 下,在 TrafficRoutingConfiguration 中,將 Type 參數設定為 LINEAR。這會指定使用線性流量轉移的部署。

  • LinearStepSize 欄位中,您可以透過修改 TypeValue 參數來變更步驟的大小。在 Type 中,使用 CAPACITY_PERCENT,表示您要用作刻度大小的綠色機群的百分比,然後設置 Value20。在此範例中,您為每個流量轉移步驟開啟綠色機群容量的 20%。請注意,自訂線性刻度大小時,您應該只使用綠色機群容量 10-50% 的刻度。

  • 對於 WaitIntervalInSeconds,請使用 300。參數會指示 SageMaker 在每個流量轉移之間等待指定的時間量 (以秒為單位)。此間隔是每個線性步驟之間製作中期間的持續時間。在上述範例中,每次流量轉移之間 SageMaker 等待 5 分鐘。

  • 對於 TerminationWaitInSeconds,請使用 300。此參數會指示在綠色機群完全作用中後 SageMaker 等待指定的時間量 (以秒為單位),然後再終止藍色機群中的執行個體。在此範例中,在終止藍色機群之前,會在最終烘烤期間後 SageMaker 等待 5 分鐘。

  • 對於 MaximumExecutionTimeoutInSeconds,請使用 3600。此參數設定部署逾時前可以執行的時間上限。在上述範例中,您的部署有 1 小時的限制可完成。

  • AutoRollbackConfigurationAlarms 欄位內,您可以依名稱新增 CloudWatch 警示。為您要使用的每個警示建立一個 AlarmName: <your-cw-alarm> 項目。

如何使用現有的藍/綠更新政策更新端點 (API)

當您使用 CreateEndpointAPI建立端點時,您可以選擇指定部署組態,以重複使用於未來的端點更新。您可以使用與上 UpdateEndpoint API一個範例相同的DeploymentConfig選項。行為 CreateEndpoint API沒有變更。指定部署組態不會自動在端點上執行藍/綠更新。

使用 UpdateEndpointAPI更新端點時,會出現使用先前部署組態的選項。更新端點時,您可以使用 RetainDeploymentConfig 選項來保留您在建立端點時指定的部署組態。

呼叫 UpdateEndpoint 時API,請將 RetainDeploymentConfig 設定為 True,以保留原始端點組態中的DeploymentConfig選項。

response = client.update_endpoint( EndpointName="<your-endpoint-name>", EndpointConfigName="<your-config-name>", RetainDeploymentConfig=True )

如何更新端點 (CLI)

如果您使用的是 AWS CLI,下列範例示範如何使用 update-endpoint 命令啟動藍/綠線性部署。

update-endpoint --endpoint-name <your-endpoint-name> --endpoint-config-name <your-config-name> --deployment-config '{"BlueGreenUpdatePolicy": {"TrafficRoutingConfiguration": {"Type": "LINEAR", "LinearStepSize": {"Type": "CAPACITY_PERCENT", "Value": 20}, "WaitIntervalInSeconds": 300}, "TerminationWaitInSeconds": 300, "MaximumExecutionTimeoutInSeconds": 3600}, "AutoRollbackConfiguration": {"Alarms": [{"AlarmName": "<your-alarm>"}]}'

若要設定線性流量轉移選項,請執行下列動作:

  • endpoint-name 中,使用您想更新的端點名稱。

  • endpoint-config-name 中,使用您要使用的端點組態名稱。

  • 對於 deployment-config,請使用 BlueGreenUpdatePolicy JSON 物件。

注意

如果您想要將JSON物件儲存在檔案中,請參閱 AWS CLI 使用者指南 中的產生 AWS CLI 骨骼和輸入參數