Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Controlar el flujo de objetos de datos enviados a los trabajadores
Según el tipo de trabajo de etiquetado que cree, Amazon SageMaker Ground Truth envía los objetos de datos a los trabajadores por lotes o en streaming. Puede controlar el flujo de objetos de datos a los trabajadores de la siguiente forma:
-
Para ambos tipos de trabajos de etiquetado, puede utilizar
MaxConcurrentTaskCount
para controlar el número total de objetos de datos disponibles para todos los trabajadores en un momento dado en el que se esté ejecutando el trabajo de etiquetado. -
Para transmitir los trabajos de etiquetado, puede controlar el flujo de objetos de datos a los trabajadores mediante la supervisión y el control del número de objetos de datos enviados a Amazon SQS asociados a su trabajo de etiquetado.
Utilice las siguientes secciones para obtener más información sobre estas opciones. Para obtener más información sobre la transmisión en streaming de trabajos de etiquetado, consulte Trabajos de etiquetado en streaming de Ground Truth.
Temas
MaxConcurrentTaskCount Úselo para controlar el flujo de objetos de datos
MaxConcurrentTaskCount
define el número máximo de objetos de datos que los trabajadores humanos pueden etiquetar al mismo tiempo. Si utiliza la consola, este parámetro se establece en 1000. Si lo utiliza CreateLabelingJob
, puede establecer este parámetro en cualquier número entero entre 1 y 1000, ambos inclusive.
Al iniciar un trabajo de etiquetado con un archivo de manifiesto de entrada, Ground Truth hace lo siguiente:
-
Para cada objeto de datos que aparece en el archivo de manifiesto de entrada se crean una o más tareas, según el valor que especifique para
NumberOfHumanWorkersPerDataObject
. Por ejemplo, si establece el número de trabajadores por objeto de datos en 3, se crearán 3 tareas para cada objeto del conjunto de datos. Para marcar el objeto como correctamente etiquetado, al menos un trabajador debe etiquetarlo. Como alternativa, las tareas pueden caducar o rechazarse. -
Si utiliza el personal de Mechanical Turk, Ground Truth envía primero un lote de 10 objetos de conjunto de datos a sus trabajadores. Utiliza este pequeño lote para configurar el trabajo de etiquetado y para asegurarse de que el trabajo esté configurado correctamente.
-
A continuación, Ground Truth envía el número
MaxConcurrentTaskCount
de objetos del conjunto de datos a los trabajadores. Por ejemplo, si tiene 2000 objetos de datos de entrada en el archivo de manifiesto de entrada y ha establecido el número de trabajadores por objeto de datos en 3 y establecidoMaxConcurrentTaskCount
en 900, los primeros 900 objetos de datos de su manifiesto de entrada se envían a los trabajadores, lo que corresponde a 2700 tareas (900 x 3). Este es el primer conjunto de objetos de tamaño completo que se envía a los trabajadores. -
Lo que ocurre a continuación depende del tipo de trabajo de etiquetado que cree. En este paso, se supone que uno o más objetos del conjunto de datos del archivo de manifiesto de entrada o enviados mediante una fuente de datos de SNS entrada de Amazon (en un trabajo de etiquetado de streaming) no se incluyeron en el conjunto enviado a los trabajadores en el paso 3.
-
Trabajo de etiquetado en streaming: siempre que el número total de objetos disponibles para los trabajadores sea igual a
MaxConcurrentTaskCount
, todos los objetos del conjunto de datos restantes del archivo de manifiesto de entrada y que envíes en tiempo real a través de Amazon SNS se colocarán en una SQS cola de Amazon. Cuando el número total de objetos disponibles para los trabajadores sea inferior aMaxConcurrentTaskCount
menosNumberOfHumanWorkersPerDataObject
, se utilizará un nuevo objeto de datos de la cola para crearNumberOfHumanWorkersPerDataObject
tareas, que se envían a los trabajadores en tiempo real. -
Trabajo de etiquetado sin streaming: a medida que los trabajadores terminen de etiquetar un conjunto de objetos, se enviarán
NumberOfHumanWorkersPerDataObject
veces el númeroMaxConcurrentTaskCount
de tareas nuevas a los trabajadores. Este proceso se repite hasta que se etiqueten todos los objetos de datos del archivo de manifiesto de entrada.
-
Utilice Amazon SQS para controlar el flujo de objetos de datos para la transmisión de trabajos de etiquetado
Cuando creas un trabajo de etiquetado en streaming, se crea automáticamente una SQS cola de Amazon en tu cuenta. Los objetos de datos solo se añaden a la SQS cola de Amazon cuando el número total de objetos enviados a los trabajadores es superiorMaxConcurrentTaskCount
. De lo contrario, los objetos se envían directamente a los trabajadores.
Puede utilizar esta cola para gestionar el flujo de objetos de datos al trabajo de etiquetado. Para obtener más información, consulte Gestiona las solicitudes de etiquetado con Amazon SQS Queue .