獲取即時的潛在執行個體 - Amazon SageMaker

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

獲取即時的潛在執行個體

推論建議程式也可以在 SageMaker 模型詳細資訊頁面上，提供可能適合您的模型的潛在執行個體或執行個體類型清單。Inference Recommender 會自動針對您的模型執行初步基準測試，以提供前五大潛在執行個體。由於這些是初步建議，因此建議您執行進一步的執行個體建議任務，以取得更準確的結果。

您可以使用 DescribeModel API、 SageMaker Python 或 SageMaker 主控台SDK，以程式設計方式檢視模型的潛在執行個體清單。

注意

在此功能可供使用 SageMaker 之前，您不會取得在 中建立的模型的預期執行個體。

若要透過主控台檢視您模型的預期執行個體，請執行以下操作：

  1. 前往 SageMaker 主控台https://console.aws.amazon.com/sagemaker/。

  2. 在左側導覽窗格中，選擇推論，然後選擇模型。

  3. 從模型清單中選擇您的模型。

在模型的詳細資料頁面上，前往要部署模型的預期執行個體區段。以下螢幕擷取畫面顯示了此區段。

模型詳細資訊頁面上預期執行個體清單的螢幕擷取畫面。

在本節中，您可以檢視針對模型部署的成本、輸送量和延遲最佳化的潛在執行個體，以及記憶體大小、CPUGPU計數和每小時成本等每個執行個體類型的額外資訊。

如果您決定要對範例承載進行基準測試，並針對模型執行完整推論建議任務，則可以從此頁面啟動預設的推論建議任務。若要透過主控台啟動預設任務，請執行以下操作：

  1. 在要部署模型的潛在執行個體區段的模型詳細資料頁面上，選擇執行推論建議程式任務。

  2. 在快顯對話方塊中，對於用於基準測試承載的 S3 儲存貯體，輸入您為模型儲存範例承載的 Amazon S3 位置。

  3. 針對承載內容類型 ，輸入承載資料的MIME類型。

  4. （選用） 在使用 SageMaker Neo 的模型編譯區段中，針對資料輸入組態 ，輸入字典格式的資料形狀。

  5. 選擇執行工作。

推論建議程式會啟動任務，您可以從 SageMaker 主控台的推論建議程式清單頁面檢視任務及其結果。

如果要執行進階任務並執行自訂負載測試，或者想要為任務設置其他設定和參數，請參閱執行自訂負載測試。