Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Creación de la función de consolidación de anotaciones
Si lo desea, puede utilizar su propia función de consolidación de anotaciones para determinar las etiquetas finales de los objetos etiquetados. Hay muchos enfoques posibles para escribir una función, y el enfoque que elija dependerá de la naturaleza de las anotaciones que se van a consolidar. En general, las funciones de consolidación tienen en cuenta las anotaciones de los trabajadores, miden la similitud entre ellas y luego utilizan alguna forma de evaluación probabilística para determinar cuál debe ser la etiqueta más probable.
Si desea utilizar otros algoritmos para crear funciones de consolidación de anotaciones, puede buscar las respuestas de los trabajadores en la carpeta de [project-name]/annotations/worker-response
Evalúe la similitud
Para evaluar la similitud entre etiquetas, puede seguir una de las siguientes estrategias o puede utilizar otra que se adapte a sus necesidades de etiquetado de datos:
-
Para espacios de etiquetas que se componen de categorías discretas que se excluyen mutuamente, como, por ejemplo, la clasificación de varias clases, la evaluación de la similitud puede ser sencilla. Las etiquetas discretas coinciden o no coinciden.
-
Para los espacios de etiquetas que no tienen valores discretos, como, por ejemplo, las anotaciones de cuadros delimitadores, busque una amplia medida de similitud. En el caso de los cuadros delimitadores, una de dichas medidas es el índice Jaccard. Este índice mide la proporción de la intersección de dos cuadros con la unión de los cuadros para evaluar su grado de similitud. Por ejemplo, si hay tres anotaciones, puede haber una función que determine qué anotaciones representan el mismo objeto y deben consolidarse.
Evalúe la etiqueta más probable
Teniendo en cuenta una de las estrategias detalladas en las secciones anteriores, realice algún tipo de juicio probabilístico sobre cuál debería ser la etiqueta consolidada. En el caso de las categorías discretas mutuamente excluyentes, esto puede resultar sencillo. Una de las formas más frecuentes de hacerlo consiste en tomar los resultados de una votación mayoritaria entre las anotaciones. De esta forma se sopesan las anotaciones por igual.
Algunos enfoques intentan calcular la precisión de diferentes anotadores y sopesar sus anotaciones en proporción con la probabilidad de exactitud. Un ejemplo sería el método de maximización de expectativas, que se utiliza en la función de consolidación de Ground Truth predeterminada para anotaciones de varias clases.
Para obtener más información acerca de cómo crear una función de consolidación de anotaciones, consulte Procesando con AWS Lambda.
