创建影子测试 - Amazon SageMaker
先决条件输入影子测试详细信息 输入影子测试设置

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

创建影子测试

您可以创建影子测试，将影子变体的性能与生产变体进行比较。您可以在提供推理请求服务的现有端点上运行测试，也可以创建一个新端点来运行测试。

要创建影子测试，您需要指定以下内容：

  • 生产变体，可接收并响应 100% 的传入推理请求。

  • 影子变体，可接收一定比例的传入请求，从生产变体中复制，但不返回任何响应。

对于每个变体，您可以使用 SageMaker 来控制模型、实例类型和实例数量。您可以配置要复制到影子变体的传入请求的百分比，即流量采样百分比。 SageMaker 管理对你的影子变体的请求的复制，你可以在安排或运行测试时修改流量采样百分比。您还可以选择开启 Data Capture 以记录生产变体和影子变体的请求和响应。

注意

SageMaker 每个端点最多支持一个阴影变体。对于具有影子变体的端点，最多只能有一个生产变体。

您可以安排测试在任何时间开始，并在指定时间内持续进行。默认持续时间为 7 天，最长持续时间为 30 天。测试完成后，端点会恢复到开始测试前的状态。这可确保您在测试完成后无需手动清理资源。

您可以通过 SageMaker 控制台中的仪表板监控正在运行的测试。此控制面板提供了生产变体和影子变体之间调用指标和实例指标的并排比较，以及相关指标统计的表格视图。此控制面板也可用于已完成的测试。查看完指标后，您可以选择将影子变体推广为新的生产变体，也可以选择保留现有的生产变体。推广影子变体后，它会响应所有传入的请求。有关更多信息，请参阅 推广影子变体。

以下过程介绍如何通过 SageMaker 控制台创建影子测试。根据您是要使用现有端点还是要为影子测试创建新端点，工作流会有所变化。

先决条件

在使用 SageMaker 控制台创建阴影测试之前，必须准备好可用的 SageMaker 模型。有关如何创建 SageMaker 模型的更多信息，请参阅部署模型以进行实时推理。

你可以从包含生产变体和影子变体的现有端点、只有生产变体的现有端点，或者只使用你想要比较的 SageMaker 模型开始影子测试。影子测试支持在测试开始前创建端点和添加变体。

注意

某些端点功能可能会使您的端点与影子测试不兼容。如果您的终端节点使用以下任何功能，则无法在终端节点上使用影子测试，并且您设置影子测试的请求将导致验证错误。

  • 无服务器推理

  • 异步推理

  • Marketplace 容器

  • 多容器端点

  • 多模型端点

  • 使用 Inf1（基于 Inferentia）实例的端点

输入影子测试详细信息

要开始创建影子测试，请按以下步骤填写输入影子测试详细信息页面：

  1. 打开控制SageMaker 台。

  2. 在左侧导航面板中选择推理，然后选择影子测试。

  3. 选择创建影子测试。

  4. 在名称下，输入测试名称。

  5. （可选）在描述下，输入测试的描述。

  6. （可选）使用键和值对指定标签。

  7. 选择下一步。

输入影子测试设置

填写输入影子测试详细信息页面后，填写输入影子测试设置页面。如果您已经拥有 SageMaker 推理端点和生产变体，请按照使用现有终端节点工作流程进行操作。如果您还没有端点，请按照创建新端点工作流进行操作。

Use an existing endpoint

如果要使用现有端点进行测试，请按以下步骤填写输入影子测试设置页面：

  1. 选择一个附加了AmazonSageMakerFullAccessIAM策略的角色。

  2. 选择使用现有端点，然后选择一个可用的端点。

  3. （可选）要加密终端节点上的存储卷，请选择现有KMS密钥或ARN从 “加密密KMS钥” 下的下拉列表中选择 “输入密钥”。如果选择第二个选项，则ARN会出现一个用于输入KMS密钥的字段。在该字段ARN中输入KMS密钥。

  4. 如果该端点后面有多个生产变体，请删除不想用于测试的变体。选择一个模型变体，然后选择删除，即可将其删除。

  5. 如果您还没有影子变体，请添加影子变体。要添加影子变体，请执行以下操作：

    1. 选择添加。

    2. 选择影子变体。

    3. 在添加模型对话框中，选择要用于影子变体的模型。

    4. 选择保存。

  6. （可选）在上一步中，影子变体是以默认设置添加的。要修改这些设置，请选择影子变体并选择编辑。此时将出现编辑影子变体对话框。有关如何填写该对话框的更多信息，请参阅编辑影子测试。

  7. 在时间表部分，按以下步骤输入测试的持续时间：

    1. 选中持续时间下的复选框。随后会显示一个弹出日历。

    2. 从日历中选择开始和结束日期，或分别在开始日期和结束日期字段中输入开始和结束日期。

    3. （可选）对于开始时间和结束时间字段，分别输入 24 小时格式的开始和结束时间。

    4. 选择应用。

    最短持续时间为 1 小时，最长持续时间为 30 天。

  8. （可选）开启启用数据捕获以将端点的推理请求和响应信息保存到 Amazon S3 存储桶中，然后输入 Amazon S3 存储桶的位置。

  9. 选择创建影子测试。

Create a new endpoint

如果您没有现有端点，或者想为测试创建一个新端点，请按以下步骤填写输入影子测试设置页面：

  1. 选择一个附加了AmazonSageMakerFullAccessIAM策略的角色。

  2. 选择创建新端点。

  3. 在名称下，输入端点的名称。

  4. 为端点添加一个生产变体和一个影子变体：

    • 要添加生产变体，请选择添加，然后选择生产变体。在添加模型对话框中，选择要用于生产变体的模型，然后选择保存。

    • 要添加影子变体，请选择添加，然后选择影子变体。在添加模型对话框中，选择要用于影子变体的模型，然后选择保存。

  5. （可选）在上一步中，影子变体是以默认设置添加的。要修改这些设置，请选择影子变体并选择编辑。此时将出现编辑影子变体对话框。有关如何填写该对话框的更多信息，请参阅编辑影子测试。

  6. 在时间表部分，按以下步骤输入测试的持续时间：

    1. 选中持续时间下的复选框。随后会显示一个弹出日历。

    2. 从日历中选择开始和结束日期，或者分别在开始日期和结束日期下输入开始和结束日期。

    3. （可选）在开始时间和结束时间下，分别输入 24 小时格式的开始和结束时间。

    4. 选择应用。

    最短持续时间为 1 小时，最长持续时间为 30 天。

  7. （可选）开启启用数据捕获以将端点的推理请求和响应信息保存到 Amazon S3 存储桶中，然后输入 Amazon S3 存储桶的位置。

  8. 选择创建影子测试。

完成上述步骤后，您现在应该有一个计划在指定的开始日期和时间开始的测试。您可以从控制面板查看测试进度。有关查看测试和您可以执行的操作的更多信息，请参阅如何查看、监视和编辑影子测试。