Amazon 中的推論管道 SageMaker - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon 中的推論管道 SageMaker

推論管道是 Amazon SageMaker 模型,由 2 到 15 個容器的線性序列組成,可處理資料推論請求。您可以使用推論管道來定義和部署預先訓練的 SageMaker 內建演算法和 Docker 容器中包裝的自訂演算法的任何組合。您可以使用推論管道來合併預先處理、預測及後續處理資料科學任務。推論管道是全受管。

您可以新增 SageMaker Spark ML Serving 和 scikit-learn 容器,重複使用為訓練模型開發的資料轉換器。整個組合推論管道可以視為 SageMaker 模型,您可以用來進行即時預測或直接處理批次轉換,而不需要任何外部預處理。

在推論管道模型中, 會以一系列HTTP請求的形式 SageMaker 處理調用。管道中的第一個容器處理初始請求,然後中繼回應作為請求傳送至第二個容器,以此類推,針對管道中的每個容器。 會 SageMaker 傳回用戶端的最終回應。

當您部署管道模型時, SageMaker 會在端點或轉換任務中的每個 Amazon Elastic Compute Cloud (AmazonEC2) 執行個體上安裝並執行所有容器。特徵處理和推論會以低延遲執行,因為容器位於相同的EC2執行個體上。您可以使用 CreateModel 操作或從主控台,定義適用於管道模型的容器。您不要使用 Containers 參數來設定構成管道的容器PrimaryContainer。您也可以指定執行容器的順序。

管道模型是不可變的,但您可以使用 UpdateEndpoint 操作來開發新的模型,以更新推論管道。本模組化在試驗期間支援更大的靈活性。

如需有關如何使用 SageMaker 模型登錄檔建立推論管道的資訊,請參閱 使用模型登錄檔進行模型註冊部署

使用這項功能無須額外成本。您只需為端點上執行的執行個體付費。

推論管道的範例筆記本

如需示範如何建立和部署推論管道的範例,請參閱具有 Scikit-learn 和線性學習程式的推論管道範例筆記本。如需建立和存取可用於在 中執行範例的 Jupyter 筆記本執行個體的指示 SageMaker,請參閱 Amazon SageMaker Notebook 執行個體

若要查看所有 SageMaker 範例的清單,請在建立和開啟筆記本執行個體之後,選擇SageMaker 範例索引標籤。有三個推論管道筆記本。剛說明的前兩個推論管道筆記本位於 advanced_functionality 資料夾,第三個筆記本則位於 sagemaker-python-sdk 資料夾。若要開啟筆記本,請選擇其使用標籤,然後選擇建立複本