Debugger 示例笔记本

SageMaker aws/ amazon-sagemaker-examples 存储库中提供了@@ 调试器示例笔记本。Debugger 示例笔记本将引导您完成调试和分析训练作业的基本到高级使用场景。

我们建议您在 SageMaker Studio 或笔记本实例上运行示例 SageMaker 笔记本，因为大多数示例都是为 SageMaker 人工智能生态系统（包括亚马逊、Amazon S3 和 Amazon EC2 SageMaker Python SDK）中的训练作业而设计的。

要将示例存储库克隆到 SageMaker Studio，请按照 Amazon SageMaker Studio Tour 中的说明进行操作。

要在 SageMaker 笔记本实例中查找示例，请按照SageMaker 笔记本实例示例笔记本中的说明进行操作。

要使用新的调试器功能，你需要升级 SageMaker Python SDK 和SMDebug客户端库。在你的 IPython 内核、Jupyter Notebook JupyterLab 或环境中，运行以下代码来安装最新版本的库并重新启动内核。


import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

用于剖析训练作业的 Debugger 示例笔记本

以下列表显示了 Debugger 示例笔记本，其中介绍了 Debugger 的调整功能，用于监控并分析各种机器学习模型、数据集和框架的训练作业。

笔记本标题	框架	模型	数据集	描述
Amazon SageMaker 调试器分析数据分析	TensorFlow	Keras 50 ResNet	Cifar-10	本笔记本介绍了 Deb SageMaker ugger 捕获的分析数据的交互式分析。探索 `SMDebug` 交互式分析工具的全部功能。
使用 Amazon D SageMaker ebugger 分析机器学习训练	TensorFlow	1-D 卷积神经网络	IMDB 数据集	对 TensorFlow 一维CNN进行分析，对IMDB数据进行情感分析，该数据由被标记为具有正面或负面情绪的电影评论组成。浏览 Studio Debugger Insights 和 Debugger 分析报告。
使用各种分布式训练设置分析 TensorFlow ResNet 模型训练	TensorFlow	ResNet50	Cifar-10	使用各种分布式 TensorFlow 训练设置运行训练作业，监控系统资源利用率，并使用调试器分析模型性能。
使用各种分布式训练设置分析 PyTorch ResNet 模型训练	PyTorch	ResNet50	Cifar-10	使用各种分布式 PyTorch 训练设置运行训练作业，监控系统资源利用率，并使用调试器分析模型性能。

以下列表用于展示 Debugger 示例笔记本，介绍了 Debugger 的调整功能，用于调试各种机器学习模型、数据集和框架的训练作业。

笔记本标题	框架	模型	数据集	描述
Amazon SageMaker 调试器-使用内置规则	TensorFlow	卷积神经网络	MNIST	使用 Amazon SageMaker 调试器内置规则来调试 TensorFlow模型。
亚马逊 SageMaker 调试器-Tensorflow 2.1	TensorFlow	ResNet50	Cifar-10	使用 Amazon SageMaker Debugger 挂钩配置和内置规则，使用 Tensorflow 2.1 框架调试模型。
可视化训练的调试张量 MXNet	MXNet	Gluon 卷积神经网络	Fashion MNIST	运行训练作业并配置 SageMaker Debugger 以存储此作业中的所有张量，然后在笔记本中可视化这些张量。
使用 Amazon SageMaker 调试器启用现场训练	MXNet	Gluon 卷积神经网络	Fashion MNIST	了解 Debugger 如何从在竞价型实例上训练的作业中收集张量数据，以及如何使用 Debugger 内置规则进行托管式竞价型实例训练。
解释使用 Amazon D SageMaker ebugger 预测个人收入的 XGBoost 模型	XGBoost	XGBoost 回归	成人普查数据集	学习如何使用调试器挂钩和内置规则从 XGBoost 回归模型中收集和可视化张量数据，例如损失值、特征和 SHAP 值。

要查找模型参数和使用场景的高级可视化对象，请参阅下个主题 Debugger 高级演示和可视化。

Javascript 在您的浏览器中被禁用或不可用。

要使用 Amazon Web Services 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

教程视频

高级演示和可视化