如何建立非同步推論端點 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

如何建立非同步推論端點

建立非同步端點的方式與使用 SageMaker 託管服務建立端點的方式相同:

  • SageMaker 使用 在 中建立模型CreateModel

  • 使用 CreateEndpointConfig 建立一個端點組態。

  • 使用 建立HTTPS端點CreateEndpoint

若要建立端點,請先以 CreateModel 建立模型,指向模型成品和 Docker 登錄檔路徑 (映像)。然後,您可以使用 建立組態,CreateEndpointConfig其中指定使用 建立的一或多個模型CreateModelAPI來部署 ,以及您要 SageMaker 佈建的資源。以 CreateEndpoint 使用請求中指定的端點組態來建立端點。您可以使用 UpdateEndpoint 更新非同步端點API。用 InvokeEndpointAsync 從端點上託管的模型傳送和接收推論請求。您可以使用 DeleteEndpoint 刪除端點API。

如需可用 SageMaker 映像的完整清單,請參閱可用的深度學習容器映像 。請參閱具有自訂推論程式碼的容器,瞭解有關如何建立 Docker 映像的資訊。