如何建立非同步推論端點 - Amazon SageMaker AI

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

如何建立非同步推論端點

建立非同步端點的方式與使用 SageMaker AI 託管服務建立端點的方式相同：

  • 使用 在 SageMaker AI 中建立模型CreateModel。

  • 使用 CreateEndpointConfig 建立一個端點組態。

  • 使用 CreateEndpoint 建立一個 HTTPS 端點。

若要建立端點，請先以 CreateModel 建立模型，指向模型成品和 Docker 登錄檔路徑 (映像)。然後，您可以使用 建立組態，CreateEndpointConfig其中指定使用 CreateModel API 部署所建立的一或多個模型，以及您希望 SageMaker AI 佈建的資源。以 CreateEndpoint 使用請求中指定的端點組態來建立端點。您可以使用 UpdateEndpoint API 更新非同步端點。用 InvokeEndpointAsync 從端點上託管的模型傳送和接收推論請求。您可以使用 DeleteEndpoint API 刪除端點。

有關可用 SageMaker 映像的完整清單，請參閱可用的深度學習容器映像。請參閱具有自訂推論程式碼的容器，瞭解有關如何建立 Docker 映像的資訊。

主題