透過直接調用調用多容器端點 - Amazon SageMaker AI

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

透過直接調用調用多容器端點

SageMaker AI 多容器端點可讓客戶部署多個容器,以在 SageMaker AI 端點上部署不同的模型。您最多可以在單一端點上託管 15 個不同的推論容器。透過使用直接調用,您可以將請求傳送至託管在多容器端點上的特定推論容器。

要使用直接調用來調用多容器端點,請如同調用任何其他端點一樣呼叫 invoke_endpoint,並使用 TargetContainerHostname參數指定您要調用的容器。

下列範例會直接調用多容器端點的 secondContainer,以取得預測。

import boto3 runtime_sm_client = boto3.Session().client('sagemaker-runtime') response = runtime_sm_client.invoke_endpoint( EndpointName ='my-endpoint', ContentType = 'text/csv', TargetContainerHostname='secondContainer', Body = body)

對於向多容器端點的每個直接調用請求,只有具有 TargetContainerHostname的容器才能處理調用請求。如果您執行下列任何操作,將會收到驗證錯誤:

  • 指定未存在端點的 TargetContainerHostname

  • 未在設為直接調用的端點請求中指定 TargetContainerHostname的值

  • 在端點請求中指定未設為直接調用的 TargetContainerHostname值。