使用 Amazon SageMaker 模型的可設定狀態會話

若要啟動可設定狀態階段作業

1. 若要使用 Amazon 託管的可設定狀態模型開始工作階段 SageMaker，您的用戶端會傳InvokeEndpoint送具有. SageMaker API 對於SessionID請求參數，客戶端告訴 SageMaker 通過指定值啟動一個新的會話NEW_SESSION。在請求有效負載中，客戶端還告訴容器啟動新的會話。這個陳述式的語法會根據您的容器實作而有所不同。這取決於您的容器代碼如何處理請求有效負載。

   下列範例會使用 Python (Boto3) 來啟SDK動新的工作階段：

   import boto3
   import sagemaker
   import json
   
   payload = {
   "requestType":"NEW_SESSION"
   }
   payload = json.dumps(payload)
   
   smr = boto3.client(
       'sagemaker-runtime',
       region_name="region_name",
       endpoint_url="endoint_url")
   
   create_session_response = smr.invoke_endpoint(
       EndpointName="endpoint_name",
       Body=payload,
       ContentType="application/json",
       SessionId="NEW_SESSION")

2. 您的模型容器通過啟動一個新的會話來處理客戶端的請求。對於會話，它緩存客戶端在請求有效負載中發送的數據。它還創建一個會話 ID，並設置一個時間為 live (TTL) 時間戳。此時間戳記表示工作階段到期的時間。容器必須透過在回應中設定下列HTTP標頭，向 Amazon SageMaker 提供工作階段 ID 和時間戳記：

   X-Amzn-SageMaker-Session-Id: session_id; Expires=yyyy-mm-ddThh:mm:ssZ

3. 在回應InvokeEndpoint請求時，Amazon 會為回NewSessionID應參數 SageMaker 提供工作階段 ID 和TTL時間戳記。

   下列範例會從invoke_endpoint回應中擷取工作階段 ID：

   session_id = create_session_response['ResponseMetadata']['HTTPHeaders']['x-amzn-sagemaker-new-session-id'].split(';')[0]

若要繼續可設定狀態階段作業

• 若要在後續的推論要求中使用相同的工作階段，您的用戶端會傳送另一個InvokeEndpoint要求。對於SessionID請求參數，它指定了會話的 ID。使用此 ID，將要求 SageMaker 路由傳送至啟動工作階段的相同 ML 執行個體。由於您的容器已經緩存了原始請求有效負載，因此您的客戶端不需要傳遞原始請求中的相同上下文數據。

  下列範例會傳遞工作階段 ID 與 SessionId request 參數，繼續工作階段：

  smr.invoke_endpoint(
      EndpointName="endpoint_name",
      Body=payload,
      ContentType="application/json",
      SessionId=session_id)

若要關閉可設定狀態階段作業

1. 要關閉會話，您的客戶端發送最終InvokeEndpoint請求。對於SessionID請求參數，客戶端提供會話的 ID。在請求主體的有效負載中，您的客戶端聲明容器應關閉會話。這個陳述式的語法會根據您的容器實作而有所不同。

   下列範例會關閉工作階段：

   payload = {
       "requestType":"CLOSE"
   }
   payload = json.dumps(payload)
   
   closeSessionResponse = smr.invoke_endpoint(
       EndpointName="endpoint_name",
       Body=payload,
       ContentType="application/json",
       SessionId=session_id)

2. 當它關閉會話時，容器 SageMaker 通過在響應中設置以下HTTP標頭返回會話 ID：

   X-Amzn-SageMaker-Closed-Session-Id: session_id

3. 在響應來自客戶端的InvokeEndpoint請求， SageMaker 提供ClosedSessionId響應參數的會話 ID。

   下列範例會從invoke_endpoint回應中擷取已關閉的工作階段 ID：

   closed_session_id = closeSessionResponse['ResponseMetadata']['HTTPHeaders']['x-amzn-sagemaker-closed-session-id'].split(';')[0]