将模型部署到端点 - Amazon SageMaker
权限管理部署模型

将模型部署到端点

在 Amazon SageMaker Canvas 中，您可以将模型部署到端点以进行预测。SageMaker 为您提供了 ML 基础设施，让您可以在端点上使用您选择的计算实例来托管模型。然后，您可以调用端点（发送预测请求）并从模型中获取实时预测。借助此功能，您可以在生产环境中使用模型来响应传入的请求，还可以将模型与现有应用程序和工作流集成。

要开始操作，您应该先拥有想要部署的模型。您可以部署自己创建的自定义模型版本、Amazon SageMaker JumpStart 基础模型和微调后的 JumpStart 基础模型。有关在 Canvas 中构建模型的更多信息，请参阅自定义模型的工作原理。有关 Canvas 中 JumpStart 基础模型的更多信息，请参阅 SageMaker Canvas 中的生成式人工智能基础模型。

查看以下权限管理部分，然后在部署模型部分开始创建新部署。

权限管理

默认情况下，您拥有将模型部署到 SageMaker Hosting 端点的权限。SageMaker 通过 AmazonSageMakerCanvasFullAccess 策略为所有新的和现有的 Canvas 用户配置文件授予这些权限，该策略附加到托管 Canvas 应用程序的 SageMaker 域的 AWS IAM 执行角色。

如果您的 Canvas 管理员正在设置新的域或用户配置文件，当他们设置域并按照 设置 Amazon SageMaker Canvas 的先决条件 中的先决条件说明进行操作时，SageMaker 会通过默认启用的启用 Canvas 模型的直接部署选项打开模型部署权限。

Canvas 管理员还可以在用户配置文件级别管理模型部署权限。例如，如果管理员不想在设置域时向所有用户配置文件授予模型部署权限，他们可以在创建域后向特定用户授予权限。

以下过程说明如何修改特定用户配置文件的模型部署权限：

  1. 通过 https://console.aws.amazon.com/sagemaker/ 打开 SageMaker 管理控制台。

  2. 在左侧导航窗格中，选择管理员配置。

  3. 在管理员配置下，选择域。

  4. 从域列表中，选择用户配置文件的域。

  5. 在域详细信息页面上，选择用户配置文件选项卡。

  6. 选择您的用户配置文件。

  7. 在用户配置文件页面，选择添加配置选项卡。

  8. 在 Canvas 部分中，选择编辑。

  9. 在 ML Ops 配置部分，打开启用 Canvas 模型的直接部署开关，以启用部署权限。

  10. 选择提交以保存对域设置的更改。

用户配置文件现在应该具有模型部署权限。

授予域或用户配置文件权限后，确保用户退出其 Canvas 应用程序并重新登录以应用权限更改。

部署模型

要开始部署模型，您可以在 Canvas 中创建一个新的部署，并指定要部署的模型版本以及 ML 基础设施，例如要用于托管模型的计算实例的类型和数量。

Canvas 会根据您的模型类型建议默认的实例类型和数量，您也可以在 Amazon SageMaker 定价页面上了解有关各种 SageMaker 实例类型的更多信息。当您的端点处于活动状态时，将根据 SageMaker 实例定价向您收费。

在部署 JumpStart 基础模型时，您还可以选择指定部署时间的长度。您可以无限期地将模型部署到端点（这意味着端点一直处于活动状态，直到您删除部署）。或者，如果您只在短时间内需要使用端点，并希望降低成本，则可以在指定时间内将模型部署到端点，之后 SageMaker 会为您关闭端点。

注意

如果您要在指定时间内部署模型，请在端点持续期间保持登录 Canvas 应用程序。如果您退出或删除应用程序，则 Canvas 无法在指定时间关闭端点。

将模型部署到 SageMaker Hosting 实时推理端点后，可以通过调用端点开始进行预测。

从 Canvas 应用程序部署模型有几种不同的方法。您可以通过以下任一方法访问模型部署选项：

  • 在 Canvas 应用程序的我的模型页面上，选择要部署的模型。然后，在模型的版本页面中，选择模型版本旁边的更多选项图标 ( Vertical ellipsis icon representing a menu or more options. )，然后选择部署。

  • 在模型版本的详细信息页面的分析选项卡上，可以选择部署选项。

  • 在模型版本的详细信息页面的预测选项卡上，选择页面顶部的更多选项图标 ( Vertical ellipsis icon representing a menu or more options. )，然后选择部署。

  • 在 Canvas 应用程序的 ML Ops 页面上，选择部署选项卡，然后选择创建部署。

  • 有关 JumpStart 基础模型和微调后的基础模型，请访问 Canvas 应用程序的即用型模型页面。选择生成、提取和汇总内容。然后，找到要部署的 JumpStart 基础模型或微调后的基础模型。选择模型，然后在模型的聊天页面上选择部署按钮。

所有这些方法都会打开部署模型侧面板，您可在此指定模型的部署配置。要通过此面板部署模型，请执行以下操作：

  1. （可选）如果您从 ML Ops 页面创建部署，则可以选定选择模型和版本。使用下拉菜单选择要部署的模型和模型版本。

  2. 在部署名称字段中输入名称。

  3. （仅适用于 JumpStart 基础模型和微调后的基础模型）选择部署时长。选择无限期，使端点处于活动状态，直到关闭为止；或选择指定时长，然后输入您希望端点保持活动状态的时间段。

  4. 对于实例类型，SageMaker 会检测到适合您的模型的默认实例类型和数量。不过，您可以更改要用于托管模型的实例类型。

    注意

    如果您的 AWS 账户上所选实例类型的实例限额用完，您可以申请增加限额。有关默认限额以及如何申请增加限额的更多信息，请参阅《AWS 通用参考指南》中的 Amazon SageMaker 端点和限额。

  5. 对于实例计数，您可以设置端点使用的活动实例数。SageMaker 会检测到适合您的模型的默认数量，但您可以更改此数字。

  6. 如果您已准备好部署模型，请选择部署。

现在，您的模型应该已部署到端点。