模型仪表板 FAQ

Amazon SageMaker 模型控制面板是在您的账户中创建的所有模型的集中存储库。模型通常是 SageMaker 训练作业的输出，但您也可以导入在其他地方训练过的模型并托管它们 SageMaker。Model Dashboard 为 IT 管理员、模型风险经理和业务主管提供了一个单一界面，用于跟踪所有已部署的模型，并汇总来自多个 AWS 服务的数据，以提供有关模型性能的指标。您可以查看有关模型端点、批量转换作业和监控作业的详细信息，以便深入了解模型性能。控制面板的视觉显示可帮助您快速识别哪些模型的监控器缺失或处于非活动状态，这样您就可以确保定期检查所有模型的数据偏差、模型偏差、偏差偏移和特征归因偏移。最后，通过控制面板可以随时查看模型详细信息，这有助于您深入了解，以便访问日志、基础设施相关信息和资源，从而有助于调试监控故障。

您应该在中创建一个或多个模型，这些模型要么经过训练 SageMaker，要么接受外部训练。 SageMaker 虽然这不是强制性的先决条件，但如果您通过 Amazon SageMaker 模型监控器为部署到终端节点的模型设置模型监控任务，则可以从控制面板中获得最大价值。

模型风险管理人员、ML 从业者、数据科学家和业务主管可以使用模型控制面板来全面了解模型。控制面板汇总并显示来自 Amazon SageMaker 模型卡、终端节点和模型监控服务的数据，以显示有价值的信息，例如模型卡和模型注册表中的模型元数据、部署模型的终端节点以及来自模型监控的见解。

模型控制面板在 Amazon 上开箱即用 SageMaker ，无需事先进行任何配置。但是，如果您使用 Model Monitor 和 Clarify 设置了 SageMaker 模型监控任务，则可以使用 Amazon CloudWatch 来配置警报，当模型性能偏离可接受范围时，这些警报会在控制面板中发出标记。您可以创建新的模型卡并将其添加到控制面板，还可以查看与端点关联的所有监控结果。模型控制面板目前不支持跨账户模型。

使用 Amazon SageMaker 模型监视器，您无需编写任何代码即可选择要监控和分析的数据。 SageMaker Model Monitor 允许您从选项菜单中选择数据（例如预测输出），并捕获时间戳、模型名称和端点等元数据，以便分析模型预测。进行大量实时预测时，可以指定数据捕获的采样率占总流量的百分比。这些数据将存储在您自己的 Amazon S3 存储桶中。您还可以加密这些数据，配置精细的安全性，定义数据留存策略，并实施访问控制机制以实现安全访问。

SageMaker 模型监视器提供以下类型的模型监视器：

Model Monitor 目前支持为实时推理托管单一模型的端点，不支持监控多模型端点。

您可以使用以下资源开始进行模型监控：

有关模型监控的更多示例，请参阅 GitHub 存储库amazon-sagemaker-examples。

Amazon SageMaker Model Monitor 会自动监控生产中的机器学习模型，使用规则来检测模型中的偏差。当出现质量问题时，Model Monitor 会通过警报通知您。要了解更多信息，请参阅 Amazon SageMaker 模型监视器的工作原理。

Model Monitor 仅计算表格数据的模型指标和统计数据。对于表格数据集以外的用例，例如图像或文本，您可以自带容器 (BYOC) 来监控您的数据和模型。例如，您可以使用监视BYOC将图像作为输入并输出标签的图像分类模型。要了解有关容器合同的更多信息，请参阅使用 Amazon SageMaker 模型监视器支持您自己的容器。

您可以在以下链接中找到有用的BYOC示例：

有关如何集成模型监控器和管道的详细信息，请参阅 Amazon Pipelines 现已与 SageMaker 模型监控器集成，并且 Clari SageMaker fy。

有关示例，请参阅 GitHub 示例笔记本 Pipelin es 与 Model Monitor 和 Clarify 集成。

开启后，数据捕获将在 SageMaker 端点上异步进行。为了防止对推理请求产生影响，DataCapture 会在磁盘利用率较高时停止捕获请求。建议将磁盘利用率保持在 75% 以下，以确保 DataCapture 继续捕获请求。