Distribuzione di modelli su un endpoint

In Amazon SageMaker Canvas, puoi distribuire i tuoi modelli su un endpoint per fare previsioni. SageMaker fornisce l'infrastruttura ML per ospitare il modello su un endpoint con le istanze di calcolo che preferisci. Quindi, puoi invocare l'endpoint (inviare una richiesta di previsione) e ottenere una previsione in tempo reale dal tuo modello. Con questa funzionalità, puoi utilizzare il modello in produzione per rispondere alle richieste in arrivo e puoi integrarlo con applicazioni e flussi di lavoro esistenti.

Per iniziare, dovresti avere un modello che desideri implementare. Puoi distribuire versioni di modelli personalizzate che hai creato, modelli Amazon SageMaker JumpStart Foundation e modelli di base ottimizzati JumpStart . Per ulteriori informazioni sulla creazione di un modello in Canvas, consulta Creazione di un modello personalizzato. Per ulteriori informazioni sui modelli di JumpStart base in Canvas, consulta. Utilizzo dell'IA generativa con i modelli di base

Consulta la sezione Permissions management, quindi inizia a creare nuove distribuzioni nella sezione Deploy a model.

Gestione delle autorizzazioni

Per impostazione predefinita, disponi delle autorizzazioni per distribuire modelli sugli endpoint di SageMaker hosting. SageMaker concede queste autorizzazioni per tutti i profili utente Canvas nuovi ed esistenti tramite la AmazonSageMakerCanvasFullAccesspolitica, che è allegata al AWS IAMruolo di esecuzione per il SageMaker dominio che ospita l'applicazione Canvas.

Se l'amministratore di Canvas sta configurando un nuovo dominio o profilo utente, quando configura il dominio e segue le istruzioni sui prerequisiti contenute inPrerequisiti per la configurazione di Amazon Canvas SageMaker , SageMaker attiva le autorizzazioni di distribuzione del modello tramite l'opzione Abilita la distribuzione diretta dei modelli Canvas, che è abilitata per impostazione predefinita.

L’amministratore di Canvas può gestire le autorizzazioni per distribuire il modello anche a livello di profilo utente. Ad esempio, se l'amministratore non desidera concedere le autorizzazioni di distribuzione del modello a tutti i profili utente durante la configurazione di un dominio, può concedere le autorizzazioni a utenti specifici dopo aver creato il dominio.

La procedura seguente mostra come modificare le autorizzazioni di distribuzione del modello per un profilo utente specifico:

Il profilo utente dovrebbe ora disporre delle autorizzazioni di distribuzione del modello.

Dopo aver concesso le autorizzazioni al dominio o al profilo utente, assicurati che l'utente si disconnetta dall'applicazione Canvas e acceda nuovamente per applicare le modifiche alle autorizzazioni.

Distribuzione di un modello

Per iniziare a distribuire il modello, crea una nuova distribuzione in Canvas e specifica la versione del modello che desideri distribuire, oltre all'infrastruttura ML, ad esempio il tipo e il numero di istanze di calcolo che desideri utilizzare per ospitare il modello.

Canvas suggerisce un tipo e un numero di istanze predefiniti in base al tipo di modello, oppure puoi saperne di più sui vari tipi di SageMaker istanza nella pagina SageMaker dei prezzi di Amazon. L'addebito si basa sul prezzo dell' SageMaker istanza mentre l'endpoint è attivo.

Quando si distribuiscono i modelli di JumpStart base, è inoltre possibile specificare la durata del tempo di implementazione. È possibile distribuire il modello su un endpoint a tempo indeterminato (il che significa che l'endpoint è attivo fino a quando non si elimina la distribuzione). Oppure, se hai bisogno dell'endpoint solo per un breve periodo di tempo e desideri ridurre i costi, puoi implementare il modello su un endpoint per un periodo di tempo specificato, dopodiché SageMaker spegnere l'endpoint automaticamente.

Dopo aver distribuito il modello su un endpoint di inferenza in tempo reale di SageMaker Hosting, puoi iniziare a fare previsioni richiamando l'endpoint.

Esistono diversi modi per distribuire un modello dall'applicazione Canvas. Puoi accedere all'opzione di distribuzione del modello tramite uno dei seguenti metodi:

Tutti questi metodi aprono il pannello laterale Distribuisci modello, in cui puoi specificare la configurazione di distribuzione per il tuo modello. Per distribuire il modello da questo pannello, procedi come segue:

Il modello dovrebbe ora essere distribuito su un endpoint. Per informazioni su come visualizzare i dettagli della distribuzione o eseguire altre azioni, consulta le sezioni seguenti.

Visualizzazione delle distribuzioni

Potresti voler controllare lo stato o i dettagli della distribuzione di un modello in Canvas. Ad esempio, se la distribuzione non è riuscita, potresti volerne controllare i dettagli per la risoluzione dei problemi.

Puoi visualizzare le distribuzioni del modello Canvas dall'applicazione Canvas o dalla console Amazon SageMaker .

Per visualizzare i dettagli della distribuzione da Canvas, scegli una delle procedure seguenti:

Per visualizzare i dettagli della distribuzione dalla pagina ML Ops, procedi come segue:

Per visualizzare i dettagli della distribuzione dalla pagina delle versioni di un modello, procedi come segue:

Si aprirà la pagina dei dettagli della distribuzione e potrai visualizzare informazioni come l'ora della previsione più recente, lo stato e la configurazione dell'endpoint e la versione del modello attualmente distribuita sull'endpoint.

Puoi anche visualizzare le istanze e gli endpoint attivi dell'area di lavoro Canvas attualmente attivi dalla SageMaker dashboard della console. SageMaker I tuoi endpoint Canvas sono elencati insieme a tutti gli altri endpoint di SageMaker Hosting che hai creato e puoi filtrarli cercando gli endpoint con il tag Canvas.

La schermata seguente mostra la dashboard. SageMaker Nella sezione Canvas, puoi vedere che un'istanza del workspace è in servizio e quattro endpoint sono attivi.

Aggiornamento di una configurazione della distribuzione

Puoi anche aggiornare la configurazione della distribuzione. Ad esempio, puoi distribuire una versione aggiornata del modello sull'endpoint oppure aggiornare il tipo o il numero di istanze alla base dell'endpoint in base alle tue esigenze di capacità.

Esistono diversi modi per aggiornare la tua distribuzione dall'applicazione Canvas. Puoi utilizzare uno dei seguenti metodi:

I due metodi precedentemente indicati aprono il pannello laterale Aggiorna configurazione, in cui puoi apportare modifiche alla configurazione della distribuzione. Per aggiornare la configurazione, procedi in uno dei seguenti modi:

La configurazione della distribuzione dovrebbe essere ora aggiornata.

Test della distribuzione

Puoi testare la tua distribuzione invocando l'endpoint o effettuando richieste di previsione singole tramite l'applicazione Canvas. Puoi utilizzare questa funzionalità per confermare che l'endpoint risponda alle richieste prima di invocarlo in modo programmatico in un ambiente di produzione.

Prova l'implementazione di un modello personalizzato

È possibile testare la distribuzione di un modello personalizzato accedendovi tramite la pagina ML Ops ed effettuando una singola chiamata, che restituisce una previsione insieme alla probabilità che la previsione sia corretta.

Per testare l'endpoint tramite l'applicazione Canvas, procedi come segue:

La previsione viene caricata insieme ai campi Risultati dell'invocazione, che indicano se l’invocazione ha avuto esito positivo o meno e il tempo impiegato per l'elaborazione della richiesta.

Lo screenshot seguente mostra una previsione generata nell'applicazione Canvas nella scheda Testa distribuzione.

Per tutti i tipi di modello ad eccezione della previsione numerica e della previsione delle serie temporali, la previsione restituisce i seguenti campi:

Per i modelli di previsione numerica, la previsione contiene solo il campo punteggio, che è l'output previsto del modello, ad esempio il prezzo previsto di una casa.

Per i modelli di previsione delle serie temporali, la previsione è un grafico che mostra le previsioni per quantile. Puoi scegliere la visualizzazione Schema per vedere i valori numerici previsti per ogni quantile.

Puoi continuare a generare previsioni singole tramite la pagina di test della distribuzione oppure puoi consultare la sezione seguente Invocazione del tuo endpoint per scoprire come invocare l'endpoint in modo programmatico dalle applicazioni.

Prova l'implementazione di un modello base JumpStart

Puoi chattare con un modello di JumpStart base distribuito o un modello di base perfezionato tramite l'applicazione Canvas per testarne la funzionalità prima di richiamarlo tramite codice.

Per chattare con un modello di JumpStart base distribuito o un modello di base ottimizzato, procedi come segue:

Invocazione del tuo endpoint

Dopo aver testato la distribuzione, puoi utilizzare l'endpoint in produzione con le tue applicazioni richiamando l'endpoint a livello di codice nello stesso modo in cui puoi richiamare qualsiasi altro endpoint in tempo reale. SageMaker L’invocazione di un endpoint in modo programmatico restituisce un oggetto di risposta che contiene gli stessi campi menzionati nella sezione precedente Test della distribuzione .

Per informazioni più dettagliate su come invocare gli endpoint in modo programmatico, consulta Richiama modelli per l'inferenza in tempo reale.

I seguenti esempi in Python mostrano come invocare l'endpoint in base al tipo di modello.

import boto3
import pandas as pd

client = boto3.client("runtime.sagemaker")
body = pd.DataFrame(
    [['feature_column1', 'feature_column2'], 
    ['feature_column1', 'feature_column2']]
).to_csv(header=False, index=False).encode("utf-8")
    
response = client.invoke_endpoint(
    EndpointName="endpoint_name",
    ContentType="text/csv",
    Body=body,
    Accept="application/json"
)

import boto3
import pandas as pd

client = boto3.client("runtime.sagemaker")
body = pd.DataFrame(['feature_column1', 'feature_column2'], ['feature_column1', 'feature_column2']).to_csv(header=False, index=False).encode("utf-8")
    
response = client.invoke_endpoint(
    EndpointName="endpoint_name",
    ContentType="text/csv",
    Body=body,
    Accept="application/json"
)

import boto3
import pandas as pd

csv_path = './real-time-payload.csv'
data = pd.read_csv(csv_path)

client = boto3.client("runtime.sagemaker")

body = data.to_csv(index=False).encode("utf-8")
    
response = client.invoke_endpoint(
    EndpointName="endpoint_name",
    ContentType="text/csv",
    Body=body,
    Accept="application/json"
)

import boto3
client = boto3.client("runtime.sagemaker")
with open("example_image.jpg", "rb") as file:
    body = file.read()
    response = client.invoke_endpoint(
        EndpointName="endpoint_name",
        ContentType="application/x-image",
        Body=body,
        Accept="application/json"
    )

import boto3
import pandas as pd

client = boto3.client("runtime.sagemaker")
body = pd.DataFrame([["Example text 1"], ["Example text 2"]]).to_csv(header=False, index=False).encode("utf-8")
    
response = client.invoke_endpoint(
    EndpointName="endpoint_name",
    ContentType="text/csv",
    Body=body,
    Accept="application/json"
)

Eliminazione della distribuzione di un modello

Puoi eliminare la distribuzione del tuo modello dall'applicazione Canvas. Questa azione elimina anche l'endpoint dalla console e chiude tutte le risorse relative all'endpoint. SageMaker

Per eliminare una distribuzione in Canvas, procedi come segue:

L'endpoint di distribuzione e SageMaker hosting dovrebbe ora essere eliminato sia da Canvas che dalla SageMaker console. Quando la distribuzione viene eliminata con successo, viene visualizzata nell'elenco delle distribuzioni Canvas con lo stato Eliminata.