量化深度学习系统中的不确定性 - AWS 规范性指导
简介

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

量化深度学习系统中的不确定性

Josiah Davis、Jason Zhu 和 Jeremy Oldfather，Amazon Web Services (AWS)

Samual MacDonald 和 Maciej Trzaskowski，Max Kelsen

2020 年 8 月（文档历史记录）

将机器学习 (ML) 解决方案部署到生产中很困难。要知道从哪里开始、使用哪些工具和技术，以及您的做法是否正确并不容易。ML 专业人员根据个人经验使用不同的技术，或者使用公司内部开发的规定工具。无论哪种情况，决定采取何种行动、实施和维护解决方案都需要投入大量的时间和资源。尽管现有的 ML 技术有助于加快部分流程，但集成这些技术以提供强大的解决方案需要数月的时间。本指南是以机器学习为重点的内容系列的第一部分，并提供了如何快速入门的示例。该系列的目标是帮助您标准化 ML 方法、做出设计决策并高效地交付 ML 解决方案。我们将在未来几个月内发布更多 ML 指南，因此请查看AWS Prescriptive Guidance 网站以获取最新信息。

本指南探讨了当前用于量化和管理深度学习系统中不确定性的技术，以改进 ML 解决方案中的预测式建模。本内容适用于希望高效、大规模地交付高质量、可投入生产的 ML 解决方案的数据科学家、数据工程师、软件工程师和数据科学领导者。无论数据科学家的云环境如何，也无论他们正在使用或计划使用的 Amazon Web Services (AWS) 服务如何，这些信息都与他们息息相关。

本指南假设您熟悉概率和深度学习方面的入门概念。有关在组织中培养机器学习能力的建议，请参阅 Coursera 网站上的深度学习专业化或 AWS Training and Certification 网站上的机器学习：数据科学家页面上的资源。

简介

如果数据科学的成功是根据我们模型的预测性能来定义的，那么深度学习无疑表现出色。对于使用来自超大数据集的非线性、高维模式的解决方案尤其如此。但如果成功也取决于在不确定性下进行推理和检测生产故障的能力，那么深度学习的有效性就会受到质疑。我们如何最好地量化不确定性？ 我们如何利用这些不确定性来管理风险？ 不确定性会对我们产品的可靠性和安全性造成哪些挑战？ 我们如何克服这些挑战？

本指南：

  • 介绍量化深度学习系统中不确定性的动机

  • 解释与深度学习相关且重要的概率概念

  • 展示当前用于量化深度学习系统中不确定性的前沿技术，重点介绍其相关优势和局限性

  • 在自然语言处理 (NLP) 的迁移学习环境中探索这些技术

  • 提供灵感来自于在类似环境中开展的项目的案例研究

正如本指南中所讨论的，在量化深度学习中的不确定性时，理想经验法是将温度系数与深度融合一起使用。

  • 当可以考虑分布数据时，温度系数是解释不确定性估算的理想工具（Guo 等人，2017 年）。

  • 深度融合提供了对数据超出分布范围时的不确定性的最新估算（Ovadia 等人，2019 年）。

如果需要考虑托管模型的内存占用，则可以使用 Monte Carlo (MC) dropout 来代替深度融合。对于迁移学习，可以考虑使用 MC dropout 或带有 MC dropout 的深度融合。