监控影子测试 - 亚马逊 SageMaker AI

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

监控影子测试

您可以查看影子测试的详细信息，并在测试进行中或完成后对其进行监控。 SageMaker 人工智能提供了一个实时仪表板，比较了生产和影子变体的运营指标，例如模型延迟和汇总的错误率。

要在控制台中查看单个测试的详细信息，请执行以下操作：

  1. 从影子测试页面上的影子测试部分选择要监控的测试。

  2. 从操作下拉列表中，选择查看。此时将出现一个概述页面，其中包含测试的详细信息和指标控制面板。

概述页面包含以下三个部分。

摘要

此部分总结了测试的进度和状态。此部分还显示了从指标子部分的选择指标下拉列表中选择的指标的汇总统计信息。以下屏幕截图显示了此部分。

概述页面的摘要部分。

在上面的屏幕截图中，设置和详细信息选项卡显示了您选择的设置以及您在创建测试时输入的详细信息。

分析

此部分显示了指标控制面板，其中包含以下指标的独立图表：

  • Invocations

  • InvocationsPerInstance

  • ModelLatency

  • Invocation4XXErrors

  • Invocation5XXErrors

  • InvocationModelErrors

  • CPUUtilization

  • MemoryUtilization

  • DiskUtilization

最后三个指标监控模型容器运行时的资源使用情况。其余的都是你可以用来分析变体性能的 CloudWatch指标。一般来说，误差越小，说明模型越稳定。延迟越低，说明模型或基础设施的速度越快。有关 CloudWatch 指标的更多信息，请参阅SageMaker AI 终端节点调用指标。以下屏幕截图显示了指标控制面板。

指标分析控制面板。
环境

此部分显示了您在测试中比较的变体。根据上述指标，如果您对影子变体的性能感到满意，则可以通过选择部署影子变体，将影子变体推向生产环境。有关部署影子变体的更多详细信息，请参阅推广影子变体。您也可以通过选择编辑流量来更改流量采样百分比并继续测试。有关编辑影子变体的更多详细信息，请参阅编辑影子测试。以下屏幕截图显示了此部分。

概述页面的环境部分。