將模型部署到端點 - Amazon SageMaker
許可管理部署模型

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

將模型部署到端點

在 Amazon SageMaker Canvas 中，您可以將模型部署到端點以進行預測。 SageMaker 為您提供 ML 基礎設施，讓您使用您選擇的運算執行個體在端點上託管模型。然後您可以調用端點 (發送預測請求) 並從模型中獲取即時預測。您可以透過此功能在生產環境中使用模型來回應傳入請求，並且可以將模型與現有應用程式和工作流程整合。

若要開始使用，您應該要部署模型。您可以部署已建立的自訂模型版本、Amazon SageMaker JumpStart 基礎模型和微調 JumpStart 的基礎模型。如需在 Canvas 中建立模型的更多相關資訊，請參閱自訂模型的運作方式。如需 Canvas 中基礎模型的詳細資訊 JumpStart，請參閱 SageMaker Canvas 中的生成式 AI 基礎模型。

檢閱下列許可管理章節，然後在部署模型區段中開始建立新的部署。

許可管理

依預設，您有將模型部署至 SageMaker 託管 endpoint. SageMaker grant 的許可，以便透過AmazonSageMakerCanvasFullAccess政策將所有新的和現有的 Canvas 使用者設定檔連接至 AWS 託管 Canvas 應用程式的 SageMaker 網域的IAM執行角色。

如果您的 Canvas 管理員正在設定新的網域或使用者設定檔，當他們設定網域並遵循 中的先決條件指示時設定 Amazon SageMaker Canvas 的先決條件， SageMaker 會透過啟用 Canvas 模型的直接部署選項開啟模型部署許可，該選項預設為啟用。

Canvas 管理員也可以在使用者設定檔等級上管理模型部署許可。例如，如果管理員在設定網域時不想將模型部署許可授予所有使用者設定檔，他們可以在建立網域後將許可授予特定使用者。

下列程序說明如何修改特定使用者設定檔的模型部署許可：

  1. 在 開啟 SageMaker 主控台https://console.aws.amazon.com/sagemaker/。

  2. 在左側導覽窗格中，選擇管理員組態。

  3. 在 Admin configurations (管理員組態) 下，選擇 Domains (網域)。

  4. 從網域清單中，選取使用者設定檔的網域。

  5. 在網域詳細資訊頁面上，選取使用者設定檔索引標籤。

  6. 選擇您的使用者設定檔 。

  7. 在使用者設定檔的頁面上，選取應用程式組態索引標籤。

  8. 在 Canvas 區段中，選擇編輯 。

  9. 在 ML Ops 組態區段中，開啟啟用 Canvas 模型的直接部署切換以啟用部署許可。

  10. 選擇提交以儲存網域設定的變更。

使用者設定檔現在應該具有模型部署許可。

授予網域或使用者設定檔的許可後，請確定使用者登出其 Canvas 應用程式，然後重新登入以套用許可變更。

部署模型

若要開始部署模型，請在 Canvas 中建立新部署，並指定要與機器學習 (ML) 基礎設施一起部署的模型版本，例如您想要用來託管模型的運算執行個體的類型和數目。

Canvas 根據您的模型類型建議預設的執行個體類型和數量，或者您可以在 Amazon SageMaker 定價頁面上進一步了解各種 SageMaker 執行個體類型。當您的端點處於作用中狀態時，會根據 SageMaker 執行個體定價向您收費。

部署 JumpStart 基礎模型時，您也可以選擇指定部署時間的長度。您可以將模型無限期部署到端點 （表示端點在您刪除部署之前處於作用中狀態）。或者，如果您只需要短時間的端點，並且想要降低成本，您可以在指定的時間內將模型部署到端點，之後會為您 SageMaker 關閉端點。

注意

如果您在指定的時間內部署模型，請在端點的持續時間內持續登入 Canvas 應用程式。如果您登出或刪除應用程式，則 Canvas 無法在指定的時間關閉端點。

在模型部署至 SageMaker 託管即時推論端點 之後，您可以開始叫用端點來進行預測。

您可以透過多種不同方式從 Canvas 應用程式部署模型。您可以透過下列任一種方法來存取模型部署選項：

  • 在 Canvas 應用程式的我的模型頁面上，選擇要部署的模型。然後，從模型的版本頁面中，選擇模型版本旁的更多選項圖示 （ Vertical ellipsis icon representing a menu or more options. ），然後選擇部署 。

  • 在模型版本的詳細資訊頁面上，在分析索引標籤上，選擇部署選項。

  • 在模型版本的詳細資訊頁面上，在預測索引標籤上，選擇頁面頂端的更多選項圖示 （ Vertical ellipsis icon representing a menu or more options. ），然後選擇部署 。

  • 在 Canvas 應用程式的 ML Ops 頁面上，選擇部署索引標籤，然後選擇建立部署。

  • 如需 JumpStart 基礎模型和微調的基礎模型，請前往 Canvas 應用程式的Ready-to-use 模型頁面。選擇產生、擷取與摘要內容。然後，尋找您要部署 JumpStart 的基礎模型或微調的基礎模型。選擇模型，然後在模型的聊天頁面上，選擇部署按鈕。

這些方法都會開啟 Deploy model (部署模型) 側邊面板，您可以在其中指定模型的部署組態。若要從此面板部署模型，請執行下列動作：

  1. （選用） 如果您要從 ML Ops 頁面建立部署，您可以選擇模型和版本 。使用下拉式清單功能表選取您要部署的模型和模型版本。

  2. 在 Deployment Name (部署名稱) 欄位中輸入名稱。

  3. （僅適用於 JumpStart 基礎模型和微調的基礎模型） 選擇部署長度 。選取無限期以讓端點保持作用中狀態，直到您關閉為止，或選取指定長度，然後輸入您要讓端點保持作用中狀態的時段。

  4. 對於執行個體類型 ， SageMaker 會偵測適合您模型的預設執行個體類型和號碼。但是，您可以變更想要用於託管模型的執行個體類型。

    注意

    如果您 AWS 帳戶中所選執行個體類型的執行個體配額用盡，您可以請求增加配額。如需預設配額以及如何請求增加的詳細資訊，請參閱 AWS 一般參考指南 中的 Amazon SageMaker 端點和配額。

  5. 對於執行個體計數 ，您可以設定用於端點的作用中執行個體數量。 SageMaker 會偵測適合您模型的預設編號，但您可以變更此編號。

  6. 當您準備好部署模型時，請選擇 Deploy (部署)。

您的模型現在應該部署到端點。