Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Distribuzioni in sequenza

Quando aggiorni l'endpoint, puoi specificare un'implementazione progressiva per spostare gradualmente il traffico dal vecchio parco istanze a un nuovo parco istanze. Puoi controllare la dimensione delle fasi di spostamento del traffico e specificare un periodo di valutazione per monitorare le nuove istanze alla ricerca di eventuali problemi prima di eliminare le istanze dal vecchio parco istanze. Con le implementazioni periodiche, le istanze del vecchio parco istanze vengono ripulite dopo ogni trasferimento di traffico verso il nuovo parco istanze, riducendo la quantità di istanze aggiuntive necessarie per aggiornare l'endpoint. Ciò è utile soprattutto per le istanze accelerate che sono molto richieste.

Le distribuzioni in sequenza sostituiscono gradualmente l'implementazione precedente della versione del modello con la nuova versione aggiornando l'endpoint in batch di dimensioni configurabili. Il comportamento di spostamento del traffico delle distribuzioni in sequenza è simile alla modalità di spostamento del traffico lineare nelle implementazioni blu/verdi, ma le implementazioni cicliche offrono il vantaggio di requisiti di capacità ridotti rispetto alle implementazioni blu/verdi. Con le distribuzioni in sequenza, sono attive meno istanze alla volta e hai un controllo più granulare sul numero di istanze che desideri aggiornare nel nuovo parco istanze. Se disponi di modelli di grandi dimensioni o di un endpoint di grandi dimensioni con molte istanze, dovresti prendere in considerazione l'utilizzo di una distribuzioni in sequenza anziché una distribuzione blu/verde.

L'elenco seguente descrive le caratteristiche principali delle distribuzioni in sequenza in Amazon: SageMaker

Come funziona

Durante un'implementazione continua, SageMaker fornisce l'infrastruttura necessaria per spostare il traffico dalla vecchia flotta a quella nuova senza dover effettuare il provisioning di tutte le nuove istanze contemporaneamente. SageMaker utilizza i seguenti passaggi per spostare il traffico:

Se viene attivato un allarme durante uno dei periodi di baking, il traffico viene ripristinato al vecchio parco istanze in batch della dimensione specificata dall'utente. In alternativa, puoi specificare la distribuzioni in sequenza per riportare il 100% del traffico al vecchio parco istanze se scatta un allarme.

Il diagramma seguente mostra la progressione di una distribuzione in sequenza di successo, come descritto nelle fasi precedenti.

Per creare una distribuzioni in sequenza, è sufficiente specificare la configurazione di distribuzione desiderata. Quindi si SageMaker occupa del provisioning di nuove istanze, della chiusura delle vecchie istanze e dello spostamento del traffico per te. È possibile creare e gestire la distribuzione tramite i comandi e e esistenti. UpdateEndpointCreateEndpoint SageMaker API AWS Command Line Interface

Prerequisiti

Prima di configurare una distribuzione continua, devi creare CloudWatch allarmi Amazon per monitorare i parametri dal tuo endpoint. Se uno qualsiasi degli allarmi scatta durante il periodo di baking, il traffico inizia a rifluire verso il vecchia parco istanze. Per informazioni su come configurare gli CloudWatch allarmi su un endpoint, consulta la pagina dei prerequisiti Auto-Rollback Configuration and Monitoring. Per ulteriori informazioni sugli CloudWatch allarmi, consulta Using Amazon CloudWatch alarms nella Amazon CloudWatch User Guide.

Inoltre, consulta la pagina Esclusioni per assicurarti che l'endpoint soddisfi i requisiti per una distribuzioni in sequenza.

Determina la dimensione del batch di sequenza

Prima di aggiornare l'endpoint, determina la dimensione del batch che desideri utilizzare per spostare in modo incrementale il traffico verso il nuovo parco istanze.

Per le implementazioni in sequenza, puoi specificare una dimensione del batch pari al 5-50% della capacità del tuo parco istanze. Se scegli un batch di grandi dimensioni, la distribuzione viene completata più rapidamente. Tuttavia, tieni presente che l'endpoint richiede una maggiore capacità durante l'aggiornamento, all'incirca il sovraccarico delle dimensioni del batch. Se scegli un batch di dimensioni inferiori, la distribuzione richiede più tempo, ma si utilizza meno capacità durante la distribuzione.

Configurare una distribuzioni in sequenza

Una volta che sei pronto per la distribuzione e hai configurato gli CloudWatch allarmi per il tuo endpoint, puoi utilizzare il comando SageMaker UpdateEndpointAPIo il comando update-endpoint in per avviare la distribuzione. AWS Command Line Interface

Come aggiornare un endpoint

L'esempio seguente mostra come aggiornare l'endpoint con una distribuzione continua utilizzando il metodo update_endpoint del client Boto3. SageMaker

Per configurare una distribuzioni in sequenza, utilizza l'esempio e i campi seguenti:

import boto3
client = boto3.client("sagemaker")

response = client.update_endpoint(
    EndpointName="<your-endpoint-name>",
    EndpointConfigName="<your-config-name>",
    DeploymentConfig={
        "AutoRollbackConfiguration": {
            "Alarms": [
                {
                    "AlarmName": "<your-cw-alarm>"
                },
            ]
        },
        "RollingUpdatePolicy": { 
            "MaximumExecutionTimeoutInSeconds": number,
            "WaitIntervalInSeconds": number,
            "MaximumBatchSize": {
                "Type": "INSTANCE_COUNT" | "CAPACITY_PERCENTAGE" (default),
                "Value": number
            },
            "RollbackMaximumBatchSize": {
                "Type": "INSTANCE_COUNT" | "CAPACITY_PERCENTAGE" (default),
                "Value": number
            },
        }  
    }
)

Dopo aver aggiornato l'endpoint, potresti voler controllare lo stato della distribuzioni in sequenza e verificare lo stato dell'endpoint. Puoi controllare lo stato del tuo endpoint nella SageMaker console oppure puoi controllare lo stato del tuo endpoint utilizzando il. DescribeEndpointAPI

Nell'VariantStatusoggetto restituito da DescribeEndpointAPI, il Status campo indica lo stato di implementazione o operativo corrente dell'endpoint. Per ulteriori informazioni sui possibili stati e sul loro significato, consulta. ProductionVariantStatus

Se hai tentato di eseguire una distribuzioni in sequenza e lo stato dell'endpoint è UpdateRollbackFailed, consulta la sezione seguente per una guida alla risoluzione dei problemi.

Gestione dei guasti

Se le distribuzioni in sequenza falliscono e anche il rollback automatico fallisce, l'endpoint può avere uno stato di UpdateRollbackFailed. Questo stato significa che diverse configurazioni degli endpoint vengono distribuite sulle istanze sottostanti all'endpoint e che l'endpoint è in servizio con una combinazione di configurazioni di endpoint vecchie e nuove.

Puoi effettuare un'altra chiamata al per UpdateEndpointAPIriportare l'endpoint a uno stato integro. Specifica la configurazione dell’endpoint e la configurazione di distribuzione desiderate (come distribuzioni in sequenza, blu/verde o nessuna delle due) per aggiornare l'endpoint.

Puoi chiamarlo DescribeEndpointAPIper verificare nuovamente lo stato dell'endpoint, che viene restituito nell'VariantStatusoggetto come campo. Status Se l'aggiornamento ha esito positivo, lo Status dell'endpoint torna a InService.