本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
反事实翻转测试 (FT)
翻转测试是一种检查分面 d 的每个成员并评估分面 a 的相似成员是否具有不同模型预测的方法。分面 a 的成员被选为分面 d 中观测值的 k 最近邻。我们评估有多少对立组的最近邻得到了不同的预测,其中翻转的预测可以从正变为负,反之亦然。
反事实翻转测试的公式是两个集合的基数之差除以分面 d 的成员数:
FT = (F+ - F-)/nd
其中:
-
F+ 是具有不利结果的不利分面 d 的成员数,这些成员在有利分面 a 中的最近邻获得了有利结果。
-
F- 是具有有利结果的不利分面 d 的成员数,这些成员在有利分面 a 中的最近邻获得了不利结果。
-
nd 是分面 d 的样本量。
二进制和多类别分面标签的反事实翻转测试的值范围为 [-1, +1]。对于连续标签,我们设置了一个阈值,将标签折叠为二进制标签。
-
当不利分面 d 的不利反事实翻转测试决策数量超过有利决策的数量时,就会出现正值。
-
当不利和有利反事实翻转测试决策的数量达到平衡时,就会出现接近零的值。
-
当不利分面 d 的不利反事实翻转测试决策数量少于有利决策的数量时,就会出现负值。