总变化距离 (TVD) - Amazon SageMaker

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

总变化距离 (TVD)

总变化距离数据偏差度量 (TVD) 是 L 1 范数的一半。TVD这是分面 a 和 d 的标签结果的概率分布之间可能的最大差异。L1-范数是汉明距离，该指标用于通过确定将一个字符串更改为另一个字符串所需的最小替换次数来比较两个二进制数据字符串。如果字符串是彼此的副本，它将确定复制时发生错误的次数。在偏差检测环境中，TVD量化必须更改分面 a 中的多少结果才能与分面 d 中的结果相匹配。

总变差距离的公式如下：

        TVD= ½ * L 1 (Pa, Pd)

例如，在大学录取多类别场景中，假设结果分布有三个类别，yi = {y0, y1, y2} = {录取, 候补, 拒绝}。您可以计算TVD每个结果的分面 a 和 d 计数之间的差异。结果如下：

        L1(Pa, Pd) = |na(0) - nd(0)| + |na(1) - nd(1)| + |na(2) - nd(2)|

其中：

  • na(i) 是分面 a 中第 i 个类别结果的数量：例如 na(0) 是分面 a 的接受次数。

  • nd(i) 是分面 d 中第 i 个类别结果的数量：例如 nd(2) 是分面 d 的拒绝次数。

    二进制、多类别和连续结果的TVD值范围为 [0, 1)，其中：

    • 接近零的值意味着标签的分布情况相似。

    • 正值表示标签分布存在差异，正值越大，差异就越大。