本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
如何创建异步推理端点
创建异步终端节点的方式与使用 SageMaker AI 托管服务创建终端节点的方式相同:
使用在 SageMaker AI 中创建模型
CreateModel
。使用
CreateEndpointConfig
创建端点配置。使用创建HTTPS终端节点
CreateEndpoint
。
要创建端点,首先要使用 CreateModel
创建模型,在其中指向模型构件和 Docker 注册表路径(映像)。然后,您可以使用配置来CreateEndpointConfig
指定一个或多个使用CreateModel
API要部署的模型以及您希望 SageMaker AI 配置的资源。使用在请求中指定的端点配置,通过 CreateEndpoint
创建端点。您可以使用更新异步终端节点UpdateEndpoint
API。使用 InvokeEndpointAsync
发送和接收来自托管在端点上的模型的推理请求。您可以使用删除您的终端节点DeleteEndpoint
API。
有关可用 SageMaker AI 镜像的完整列表,请参阅可用的 Deep Learning Containers 镜像