本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
启用部署
添加要共享的模型时,您可以选择提供推理环境,组织中的协作者可以在该环境中部署共享的模型用于推理。
训练完机器学习模型后,您需要将其部署到 Amazon SageMaker 终端节点进行推理。这包括提供容器环境、推理脚本、训练期间生成的模型工件以及选择适当的计算实例类型。正确配置这些设置对于确保部署的模型能够做出准确的预测和高效处理推理请求至关重要。要设置模型以进行推理,请按照以下步骤操作:
-
添加用于推理的容器。您可以自带容器进入亚马逊,ECR也可以使用亚马逊 SageMaker 深度学习容器。
-
将 Amazon S3 提供URI给推理脚本。自定义推理脚本在您选择的容器内运行。您的推理脚本应包括用于模型加载的函数,用于生成预测的可选函数,以及输入和输出处理。有关为所选框架创建推理脚本的更多信息,请参阅 SageMaker Python SDK 文档中的框架
。例如 TensorFlow,请参阅如何实现预处理和/或后处理处理程序 。 -
为模型构件提供 Amazon S3 URI。模型构件是训练模型得到的输出,通常由经过训练的参数、描述如何计算推理的模型定义以及其他元数据组成。如果您在中训练模型 SageMaker,则模型工件将作为单个压缩TAR文件保存在 Amazon S3 中。如果您在外部训练模型 SageMaker,则需要创建这个压缩TAR文件并将其保存在 Amazon S3 位置。
-
选择一个实例类型。对于大批量训练,我们建议使用具有更多内存的GPU实例。有关各 AWS 区域 SageMaker 训练实例的完整列表,请参阅 Amazon Pricing 中的按需 SageMaker 定价
表。