Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Création d'une fonction de consolidation des annotations
Vous pouvez choisir d'utiliser votre propre fonction de consolidation d'annotation pour déterminer les étiquettes finales de vos objets étiquetés. Il existe de nombreuses approches possibles pour écrire une fonction et l'approche que vous prenez dépend de la nature des annotations à consolider. En général, les fonctionnalités de consolidation d'annotation doivent observer les annotations des applications de travail, mesurer leur similitude et utiliser une forme de jugement probabiliste pour déterminer l'étiquette la plus judicieuse à utiliser.
Si vous souhaitez utiliser d'autres algorithmes pour créer des fonctions de consolidation d'annotations, vous pouvez trouver les réponses de l'employé dans le dossier [project-name]/annotations/worker-response
Évaluer la similitude
Pour évaluer la similarité entre les étiquettes, vous pouvez utiliser l'une des stratégies suivantes ou une qui répond à vos besoins d'étiquetage des données :
-
Pour les espaces d'étiquettes qui sont des catégories discrètes et mutuellement exclusives, telles que la classification multi-classe, l'évaluation de la similarité peut être simple. Les étiquettes discrètes sont compatibles ou ne le sont pas.
-
Pour étiqueter des espaces qui n'ont pas de valeurs distinctes, comme le cadre de délimitation des annotations, recherchez une mesure de similarité large. Dans le cas des cadres de délimitation, une mesure de ce type est l'indice Jaccard. Elle mesure le rapport entre l'intersection de deux cadres et l'union des cadres pour évaluer leur similarité. Par exemple, s'il y a trois annotations, il peut y avoir une fonction qui détermine quelles annotations représentent le même objet et doivent être consolidées.
Évaluez l'étiquette la plus probable
En gardant à l'esprit l'une des stratégies détaillées dans les sections précédentes, faites une sorte de jugement probabiliste sur ce que devrait être l'étiquette consolidée. Dans le cas de catégories discrètes et mutuellement exclusives, cela peut être simple. L'une des manières les plus courantes de procéder consiste à prendre les résultats d'un vote majoritaire entre les annotations. Cela pondère les annotations de manière égale.
Certaines approches tentent d'estimer la précision des différents annotateurs et évaluent les annotations proportionnellement à la probabilité d'exactitude. La méthode de maximisation des attentes, qui est utilisée dans la fonction de consolidation par défaut de Ground Truth pour les annotations multi-classes, en est un exemple.
Pour de plus amples informations sur la création d'une fonctionnalité de consolidation d'annotation, veuillez consulter Traitement avec AWS Lambda.
