创建注释合并函数 - Amazon SageMaker

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建注释合并函数

您可以选择使用自己的注释合并函数来确定标注对象的最终标签。编写函数有很多可能的方法,您采用的方法取决于要合并的注释的性质。广义地说,注释函数查看来自工作人员的注释,衡量它们之间的相似性,然后使用某种形式的概率判断来确定最可能的标签应该是怎样的。

如果要使用其他算法创建注释合并函数,可以在任务输出所指向的 Amazon S3 存储桶的 [project-name]/annotations/worker-response 文件夹中找到工作人员响应。

评估相似性

要评估标签之间的相似性,您可以使用下列策略之一,也可以使用满足您的数据标注需要的策略:

  • 对于由离散、互斥的类别(如多类分类)组成的标签空间,评估相似性的过程可能很简单。离散标签要么匹配,要么不匹配。

  • 对于没有离散值的标签空间(例如,边界框注释),请查找广泛的相似性度量。对于边界框,一个此类度量是 Jaccard 指数。此指数衡量两个框的交并比以评估它们的相似程度。例如,如果具有三个注释,则可以使用一个函数确定哪些注释表示同一对象并且应进行合并。

评估最可能的标签

考虑到上述策略之一,对合并的标签表示的内容做出某种概率判断。对于离散、互斥的类别,这一过程可能很简单。最常用的一种实现方法是采用注释之间的大多数投票结果。这种方法将各个注释的权重视为相同。

一些方法尝试评估不同的注释者的准确率,并按照正确性概率比例对其注释进行加权。一个此类示例是期望最大化方法,将在多类注释的默认 Ground Truth 合并函数中使用该方法。

有关创建注释合并函数的更多信息,请参阅使用处理 AWS Lambda