調用多模型端點

若要叫用多模型端點，請從invoke_endpoint SageMaker 執行期使用，就像叫用單一模型端點一樣，只需變更一次。傳遞新的 TargetModel 參數，指定要將目標鎖定於端點的哪些模型。 SageMaker 執行期InvokeEndpoint請求支援X-Amzn-SageMaker-Target-Model作為新標頭，該標頭採用指定用於調用之模型的相對路徑。 SageMaker 系統會將CreateModelAPI通話中提供的字首與模型的相對路徑結合，以建構模型的絕對路徑。

對於 CPU和 GPU後端多模型端點，下列程序相同。

多模型端點會視需要動態載入目標模型。您可以在執行 MME Sample Notebook 時觀察這一點，因為它會針對託管在單一端點之後的多個目標模型進行隨機調用。對指定模型的第一個請求需要比較久的時間，因為必須從 Amazon Simple Storage Service (Amazon S3) 下載模型，然後再載入記憶體。這稱為冷啟動，預期在多模型端點進行最佳化，以便為客戶提供更優異的價格效能。後續呼叫完成的速度會比較快，因為載入模型後不會有其他負荷。

注意

對於GPU支援的執行個體，容器內包含 507 的HTTP回應碼GPU表示記憶體或其他資源不足。這會導致未使用的模型從容器卸載，以便載入更常用的模型。

重試錯誤請求 ModelNotReadyException

當您第一次呼叫 invoke_endpoint 模型時，系統會從 Amazon Simple Storage Service 下載該模型，並載入推論容器。這會導致第一次呼叫需要更長時間才能返回。由於模型已載入，因此後續對相同模型的呼叫會較快完成。

SageMaker 會在 60 秒invoke_endpoint內傳回對呼叫的回應。部分模型太大，無法在 60 秒內下載。如模型未在 60 秒逾時限制之前完成載入，則對 invoke_endpoint 提出的請求會傳回錯誤碼 ModelNotReadyException，且模型會繼續下載並載入推論容器，最長可達 360 秒。如您收到 invoke_endpoint 請求的 ModelNotReadyException 錯誤碼，請重試請求。根據預設， for Python AWS SDKs（Boto 3）（使用舊版重試模式）和 Java 重試invoke_endpoint請求會導致ModelNotReadyException錯誤。您可設定重試策略，以便繼續重試請求長達 360 秒。如果您預期模型需要超過 60 秒才能下載並載入容器，請將SDK通訊端逾時設定為 70 秒。如需進一步資訊了解如何針對 AWS SDK for Python (Boto3)設定重試策略，請參閱設定重試模式。下列程式碼顯示的範例設定重試策略為重試呼叫 invoke_endpoint，最長可達 180 秒。


import boto3
from botocore.config import Config

# This example retry strategy sets the retry attempts to 2. 
# With this setting, the request can attempt to download and/or load the model 
# for upto 180 seconds: 1 orginal request (60 seconds) + 2 retries (120 seconds)
config = Config(
    read_timeout=70,
    retries={
        'max_attempts': 2  # This value can be adjusted to 5 to go up to the 360s max timeout
    }
)
runtime_sagemaker_client = boto3.client('sagemaker-runtime', config=config)

您的瀏覽器已停用或無法使用 Javascript。

您必須啟用 Javascript，才能使用 AWS 文件。請參閱您的瀏覽器說明頁以取得說明。

文件慣用形式

建立多模型端點

新增或移除模型