Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Spostamento del traffico Canary

Con lo spostamento del traffico Canary, puoi testare una parte del tuo traffico dell’endpoint sul nuovo parco istanze, mentre il vecchio parco istanze gestisce il resto del traffico. Questa fase di test è un guardrail di sicurezza che convalida la funzionalità del nuovo parco istanze prima di spostare tutto il traffico verso il nuovo parco istanze. Continui ad avere i vantaggi di un'implementazione blu/verde e la funzionalità Canary aggiunta ti consente di assicurarti che il tuo nuovo parco istanze (verde) sia in grado di gestire l’inferenza prima di consentirgli di gestire il 100% del traffico.

La parte del tuo parco istanze verde che si attiva per ricevere traffico è denominata canary e puoi scegliere la dimensione di questo canary. Tieni presente che la dimensione del canary non deve superare il 50% della capacità del nuovo parco istanze. Una volta terminato il periodo di cottura e non scatta alcun CloudWatch allarme Amazon prestabilito, il resto del traffico si sposta dalla vecchia flotta (blu) a quella verde. Lo spostamento del traffico Canary ti offre maggiore sicurezza durante l'implementazione, poiché qualsiasi problema con il modello aggiornato ha un impatto solo sul canary.

Il diagramma seguente mostra come lo spostamento del traffico Canary gestisce la distribuzione del traffico tra i parchi istanze blu e verdi.

Una volta SageMaker rifornito il parco veicoli verde, SageMaker indirizza una parte del traffico in entrata (ad esempio il 25%) verso le isole Canarie. Inizia quindi il periodo di cottura, durante il quale gli CloudWatch allarmi monitorano le prestazioni della flotta verde. Durante questo periodo, sia il parco istanze blu che quello verde sono parzialmente attivi e ricevono traffico. Se uno qualsiasi degli allarmi scatta durante il periodo di cottura, SageMaker avvia un rollback e tutto il traffico ritorna alla flotta blu. Se nessuno degli allarmi viene attivaro, tutto il traffico si sposta verso il parco istanze verde e c’è un ultimo periodo di baking. Se l'ultimo periodo di cottura termina senza far scattare alcun allarme, la flotta verde serve tutto il traffico e SageMaker interrompe la flotta blu.

Prerequisiti

Prima di configurare una distribuzione con Canary Traffic Shifting, devi creare CloudWatch allarmi Amazon per monitorare le metriche dal tuo endpoint. Gli allarmi sono attivi durante il periodo di baking e, se qualche allarme si attiva, tutto il traffico degli endpoint torna al parco istanze blu. Per sapere come configurare gli CloudWatch allarmi su un endpoint, consulta la pagina dei prerequisiti. Configurazione e monitoraggio del rollback automatico Per ulteriori informazioni sugli CloudWatch allarmi, consulta Using Amazon CloudWatch alarms nella Amazon CloudWatch User Guide.

Configurare lo spostamento del traffico Canary

Una volta che sei pronto per la distribuzione e hai configurato gli CloudWatch allarmi Amazon per il tuo endpoint, puoi utilizzare l' SageMaker UpdateEndpointAPI Amazon o il comando update-endpoint per avviare la AWS CLI distribuzione.

Come aggiornare un endpoint (API)

Il seguente esempio di UpdateEndpointAPI mostra come aggiornare un endpoint con Canary Traffic Shifting.

import boto3
client = boto3.client("sagemaker")

response = client.update_endpoint(
    EndpointName="<your-endpoint-name>",
    EndpointConfigName="<your-config-name>",
    DeploymentConfig={
        "BlueGreenUpdatePolicy": {
            "TrafficRoutingConfiguration": {
                "Type": "CANARY",
                "CanarySize": {
                    "Type": "CAPACITY_PERCENT",
                    "Value": 30
                },
                "WaitIntervalInSeconds": 600
            },
            "TerminationWaitInSeconds": 600,
            "MaximumExecutionTimeoutInSeconds": 1800
        },
        "AutoRollbackConfiguration": {
            "Alarms": [
                {
                    "AlarmName": "<your-cw-alarm>"
                }
            ]
        }
    }
)

Per configurare l’opzione di spostamento del traffico canary, procedi come segue:

Come aggiornare un endpoint con una policy di aggiornamento (API) blu/verde esistente

Quando utilizzi l'CreateEndpointAPI per creare un endpoint, puoi facoltativamente specificare una configurazione di distribuzione da riutilizzare per futuri aggiornamenti degli endpoint. È possibile utilizzare le stesse DeploymentConfig opzioni dell'esempio di API precedente. UpdateEndpoint Non sono state apportate modifiche al comportamento dell' CreateEndpoint API. Specificare la configurazione di implementazione non significa che l’aggiornamento blu/verde sull'endpoint venga eseguito automaticamente.

L'opzione di utilizzare una configurazione di distribuzione precedente si verifica quando si utilizza l'UpdateEndpointAPI per aggiornare l'endpoint. Quando aggiorni l'endpoint, puoi utilizzare l'opzione RetainDeploymentConfig per mantenere la configurazione di implementazione specificata durante la creazione dell'endpoint.

Quando chiamate l'UpdateEndpointAPI, impostatela in modo da RetainDeploymentConfig True mantenere le DeploymentConfig opzioni della configurazione originale dell'endpoint.

response = client.update_endpoint(
    EndpointName="<your-endpoint-name>",
    EndpointConfigName="<your-config-name>",
    RetainDeploymentConfig=True
)

Come aggiornare un endpoint (CLI)

Se utilizzi il AWS CLI, l'esempio seguente mostra come avviare una distribuzione Blue/Green Canary utilizzando il comando update-endpoint.

update-endpoint
--endpoint-name <your-endpoint-name>
--endpoint-config-name <your-config-name> 
--deployment-config '"BlueGreenUpdatePolicy": {"TrafficRoutingConfiguration": {"Type": "CANARY",
    "CanarySize": {"Type": "CAPACITY_PERCENT", "Value": 30}, "WaitIntervalInSeconds": 600},
    "TerminationWaitInSeconds": 600, "MaximumExecutionTimeoutInSeconds": 1800},
    "AutoRollbackConfiguration": {"Alarms": [{"AlarmName": "<your-alarm>"}]}'

Per configurare l’opzione di spostamento del traffico canary, procedi come segue: