Amazon SageMaker Inference Recommender 的建議任務 - Amazon SageMaker

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon SageMaker Inference Recommender 的建議任務

Amazon SageMaker Inference Recommender 可以提出兩種類型的建議：

  1. 推論建議 (Default 任務類型) 會針對建議的執行個體類型執行一組負載測試。您也可以為無伺服器端點載入測試。您只需提供模型套件 Amazon Resource Name （ARN） 即可啟動此類建議任務。推論建議任務可在 45 分鐘內完成。

  2. 端點建議 (Advanced 任務類型) 是以自訂負載測試為基礎，您可以在其中選取所需的機器學習 (ML) 執行個體或無伺服器端點、提供自訂流量模式，並根據生產需求提供延遲和輸送量需求。根據設定的任務持續時間和測試的推論組態總數，此任務平均需要 2 小時才能完成。

這兩種類型的建議都使用相同的 APIs 來建立、描述和停止任務。輸出為執行個體組態建議清單，其中包含相關的環境變數、成本、輸送量和延遲等指標。建議任務也提供初始執行個體計數，可用來設定自動擴展政策。若要區分這兩種類型的任務，當您透過 SageMaker 主控台或 建立任務時APIs，請指定 Default 來建立初步端點建議，以及Advanced自訂負載測試和端點建議。

注意

您不需要在自己的工作流程中執行這兩種類型的建議任務。您可以獨立於另一個 執行。

Inference Recommender 也可提供您預期執行個體清單，或針對模型部署的成本、輸送量和延遲進行最佳化的前五個執行個體類型，以及可信度分數。您可以在部署模型時選擇這些執行個體。Inference Recommender 會自動針對您的模型執行基準測試，方便您提供潛在的執行個體。由於這些是初步建議，因此建議您執行進一步的執行個體建議任務，以取得更準確的結果。若要檢視預期執行個體，請前往 SageMaker 模型詳細資訊頁面。如需詳細資訊，請參閱獲取即時的潛在執行個體。

主題