亚马逊 SageMaker 模型控制面板 - Amazon SageMaker
模型控制面板元素

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

亚马逊 SageMaker 模型控制面板

Amazon SageMaker 模型控制面板是一个集中式门户，可从 SageMaker 控制台访问，您可以在其中查看、搜索和浏览账户中的所有模型。您可以跟踪部署了哪些模型进行推理，以及这些模型是用于批量转换作业还是托管在端点上。如果您使用 Amazon SageMaker 模型监视器设置监控器，则还可以在模型对实时数据进行实时预测时跟踪其性能。您可以使用控制面板查找违反您为数据质量、模型质量、偏差和可解释性设置的阈值的模型。控制面板全面展示了您的所有监控结果，可帮助您快速识别未配置这些指标的模型。

模型仪表板汇总了来自多个功能的模型相关信息。 SageMaker 除了 Model Monitor 中提供的服务外，您还可以查看模型卡、可视化工作流世系以及跟踪端点性能。您不再需要整理日志、在笔记本中查询或访问其他 AWS 服务来收集所需的数据。凭借凝聚力的用户体验和与现有服务的集成， SageMaker的模型控制板提供了 out-of-the-box模型治理解决方案，可帮助您确保所有模型的质量覆盖。

先决条件

要使用模型控制面板，您的账户中必须有一个或多个模型。您可以使用 Amazon 训练模型， SageMaker 也可以导入在其他地方训练过的模型。要在中创建模型 SageMaker，可以使用CreateModelAPI。有关更多信息，请参阅CreateModel。您还可以使用 SageMaker提供的机器学习环境，例如 Amazon SageMaker Studio Classic，它提供的项目模板可以为您设置模型训练和部署。有关如何开始使用 Studio Classic 的信息，请参阅亚马逊 SageMaker Studio Classic。

虽然这不是强制性的先决条件，但如果客户使用 SageMaker 模型监控器为部署到端点的模型设置模型监控作业，则可以从仪表板中获得最大价值。有关如何使用 M SageMaker odel Monitor 的先决条件和说明，请参阅使用 Amazon 模型监视器监控数据和 SageMaker 模型质量。

模型控制面板元素

模型控制面板视图从每个模型中提取大致细节，以提供您账户中每个模型的综合摘要。如果部署了用于推理的模型，控制面板可帮助您实时跟踪模型和端点的性能。

本页需要强调的重要细节包括：

  • 风险评级：模型卡中用户指定的参数，其值为低、中或高。模型卡的风险评级是衡量模型预测对业务影响的分类指标。模型用于各种业务应用，每种应用都承担不同程度的风险。例如，错误地检测网络攻击比错误地对电子邮件进行分类对业务的影响要大得多。如果不知道模型风险，可将其设置为未知。有关 Amazon SageMaker 模型卡的信息，请参阅模型卡。

  • 模型监视器警报：模型监视器警报是模型仪表板的主要关注点，查看提供的各种显示器上的现有文档 SageMaker 是入门的有用方法。有关 SageMaker 模型监视器功能和示例笔记本的深入说明，请参阅使用 Amazon 模型监视器监控数据和 SageMaker 模型质量。

    模型控制面板按以下监控器类型显示 Model Monitor 状态值：

    • 数据质量：将实时数据与训练数据进行比较。如果它们出现分歧，则模型的推理可能不再准确。有关数据质量监控器的更多详细信息，请参阅数据质量。

    • 模型质量：将模型做出的预测与模型尝试预测的实际 Ground Truth 标签进行比较。有关模型质量监控器的更多详细信息，请参阅模型质量。

    • 偏差偏移：比较实时数据和训练数据的分布，这也会导致预测不准确。有关偏差偏移监控器的更多详细信息，请参阅量产模型的偏差漂移。

    • 特征归因偏移：也称为可解释性偏移。比较训练数据和实时数据中特征的相对排名，这也可能是偏差偏移的结果。有关特征归因偏移监控器的更多详细信息，请参阅生产中模型的特征归因漂移。

    每个 Model Monitor 状态都是以下值之一：

    • 无：未计划任何监控器

    • 非活动：监控器已计划，但已停用

    • 正常：监控器已计划并处于活动状态，并且在最近的 Model Monitor 执行中未达到触发警报所需的违规次数

    • 时间和日期：活动的监控器在指定时间和日期发出警报

  • 端点：托管模型以进行实时推理的端点。在模型控制面板中，您可以选择终端节点列来实时查看终端节点的性能指标，例如CPUGPU、、磁盘和内存利用率，以帮助您跟踪计算实例的性能。

  • 批量转换作业：使用此模型运行的最近一次批量转换作业。此列可帮助您确定模型是否正用于批量推理。

  • 模型详细信息：控制面板中的每个条目都链接到模型详细信息页面，您可以在其中更深入地了解单个模型。您可以访问模型的世系图，该图直观显示了从数据准备到部署的工作流，以及每个步骤的元数据。您还可以创建和查看模型卡，查看警报详细信息和历史记录，评估实时端点的性能，以及访问其他与基础设施相关的详细信息。