獲取即時的潛在執行個體 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

獲取即時的潛在執行個體

推論建議程式也可以在 SageMaker 模型詳細資訊頁面上,提供可能適合您的模型的潛在執行個體或執行個體類型清單。Inference Recommender 會自動針對您的模型執行初步基準測試,以提供前五大潛在執行個體。由於這些是初步建議,因此建議您執行進一步的執行個體建議任務,以取得更準確的結果。

您可以使用 DescribeModel API、 SageMaker Python 或 SageMaker 主控台SDK,以程式設計方式檢視模型的潛在執行個體清單。

注意

在此功能可供使用 SageMaker 之前,您不會取得在 中建立的模型的預期執行個體。

若要透過主控台檢視您模型的預期執行個體,請執行以下操作:

  1. 前往 SageMaker 主控台https://console.aws.amazon.com/sagemaker/

  2. 在左側導覽窗格中,選擇推論,然後選擇模型

  3. 從模型清單中選擇您的模型。

在模型的詳細資料頁面上,前往要部署模型的預期執行個體區段。以下螢幕擷取畫面顯示了此區段。

模型詳細資訊頁面上預期執行個體清單的螢幕擷取畫面。

在本節中,您可以檢視針對模型部署的成本、輸送量和延遲最佳化的潛在執行個體,以及記憶體大小、CPUGPU計數和每小時成本等每個執行個體類型的額外資訊。

如果您決定要對範例承載進行基準測試,並針對模型執行完整推論建議任務,則可以從此頁面啟動預設的推論建議任務。若要透過主控台啟動預設任務,請執行以下操作:

  1. 要部署模型的潛在執行個體區段的模型詳細資料頁面上,選擇執行推論建議程式任務

  2. 在快顯對話方塊中,對於用於基準測試承載的 S3 儲存貯體,輸入您為模型儲存範例承載的 Amazon S3 位置。

  3. 針對承載內容類型 ,輸入承載資料的MIME類型。

  4. (選用) 在使用 SageMaker Neo 的模型編譯區段中,針對資料輸入組態 ,輸入字典格式的資料形狀。

  5. 選擇執行工作

推論建議程式會啟動任務,您可以從 SageMaker 主控台的推論建議程式清單頁面檢視任務及其結果。

如果要執行進階任務並執行自訂負載測試,或者想要為任務設置其他設定和參數,請參閱執行自訂負載測試