Sessioni stateful con modelli Amazon SageMaker AI

Per avviare una sessione con stato

1. Per avviare una sessione con un modello stateful ospitato da Amazon SageMaker AI, il tuo client invia una InvokeEndpointrichiesta con l' SageMaker API. Per il parametro di SessionID richiesta, il client dice all' SageMaker IA di iniziare una nuova sessione specificando il valore. NEW_SESSION Nel payload della richiesta, il client dice anche al contenitore di iniziare una nuova sessione. La sintassi di questa dichiarazione varia in base all'implementazione del contenitore. Dipende da come il codice del contenitore gestisce il payload della richiesta.

   L'esempio seguente avvia una nuova sessione utilizzando l'SDK for Python (Boto3):

   import boto3
   import sagemaker
   import json
   
   payload = {
   "requestType":"NEW_SESSION"
   }
   payload = json.dumps(payload)
   
   smr = boto3.client(
       'sagemaker-runtime',
       region_name="region_name",
       endpoint_url="endoint_url")
   
   create_session_response = smr.invoke_endpoint(
       EndpointName="endpoint_name",
       Body=payload,
       ContentType="application/json",
       SessionId="NEW_SESSION")

2. Il contenitore del modello gestisce la richiesta del cliente avviando una nuova sessione. Per la sessione, memorizza nella cache i dati che il client invia nel payload della richiesta. Inoltre, crea un ID di sessione e imposta un timestamp TTL (time to live). Questo timestamp indica quando scade la sessione. Il contenitore deve fornire l'ID di sessione e il timestamp ad Amazon SageMaker AI impostando la seguente intestazione HTTP nella risposta:

   X-Amzn-SageMaker-Session-Id: session_id; Expires=yyyy-mm-ddThh:mm:ssZ

3. Nella risposta alla InvokeEndpoint richiesta, Amazon SageMaker AI fornisce l'ID di sessione e il timestamp TTL per il NewSessionID parametro di risposta.

   L'esempio seguente estrae l'ID di sessione dalla risposta: invoke_endpoint

   session_id = create_session_response['ResponseMetadata']['HTTPHeaders']['x-amzn-sagemaker-new-session-id'].split(';')[0]

Per continuare una sessione con stato

• Per utilizzare la stessa sessione per una successiva richiesta di inferenza, il client invia un'altra richiesta. InvokeEndpoint Per il parametro SessionID request, specifica l'ID della sessione. Con questo ID, SageMaker AI indirizza la richiesta alla stessa istanza ML in cui è stata avviata la sessione. Poiché il contenitore ha già memorizzato nella cache il payload della richiesta originale, il client non deve passare gli stessi dati di contesto presenti nella richiesta originale.

  L'esempio seguente continua una sessione passando l'ID di sessione con il parametro di SessionId richiesta:

  smr.invoke_endpoint(
      EndpointName="endpoint_name",
      Body=payload,
      ContentType="application/json",
      SessionId=session_id)

Per chiudere una sessione con stato

1. Per chiudere una sessione, il cliente invia una richiesta finaleInvokeEndpoint. Per il parametro di SessionID richiesta, il client fornisce l'ID della sessione. Nel payload nel corpo della richiesta, il client afferma che il contenitore deve chiudere la sessione. La sintassi di questa dichiarazione varia in base all'implementazione del contenitore.

   L'esempio seguente chiude una sessione:

   payload = {
       "requestType":"CLOSE"
   }
   payload = json.dumps(payload)
   
   closeSessionResponse = smr.invoke_endpoint(
       EndpointName="endpoint_name",
       Body=payload,
       ContentType="application/json",
       SessionId=session_id)

2. Quando chiude la sessione, il contenitore restituisce l'ID di sessione ad SageMaker AI impostando la seguente intestazione HTTP nella risposta:

   X-Amzn-SageMaker-Closed-Session-Id: session_id

3. Nella risposta alla InvokeEndpoint richiesta del client, SageMaker AI fornisce l'ID di sessione per il parametro di ClosedSessionId risposta.

   L'esempio seguente estrae l'ID della sessione chiusa dalla invoke_endpoint risposta:

   closed_session_id = closeSessionResponse['ResponseMetadata']['HTTPHeaders']['x-amzn-sagemaker-closed-session-id'].split(';')[0]