Afficher l'interface des tâches de travail pour une tâche d'étiquetage de suivi d'objets en 3D-2D - Amazon SageMaker

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Afficher l'interface des tâches de travail pour une tâche d'étiquetage de suivi d'objets en 3D-2D

Ground Truth fournit aux collaborateurs un portail web et des outils pour effectuer vos tâches d'annotation de suivi d'objets 3D-2D. Lorsque vous créez la tâche d'étiquetage, vous indiquez le nom de la ressource Amazon (ARN) pour une interface utilisateur Ground Truth prédéfinie dans le HumanTaskUiArn paramètre. Pour utiliser l'interface utilisateur lorsque vous créez une tâche d'étiquetage pour ce type de tâche à l'aide duAPI, vous devez fournir leHumanTaskUiArn. Vous pouvez prévisualiser et interagir avec l'interface utilisateur de travail lorsque vous créez une tâche d'étiquetage via leAPI. Les outils d'annotation font partie de l'interface de tâche de l'employé. Ils ne sont pas disponibles pour l'interface de prévisualisation. L'image suivante illustre l'interface de tâches de travail utilisée pour la tâche d'annotation de suivi d'objets dans un nuage de points 3D-2D.

L'interface de tâches de travail utilisée pour la tâche d'annotation de suivi d'objets dans un nuage de points 3D-2D.

Lorsque l'interpolation est activée par défaut. Une fois qu'un collaborateur ajoute un seul cuboïde, ce cuboïde est répliqué dans toutes les trames de la séquence avec le même ID. Si le collaborateur ajuste le cuboïde dans une autre trame, Ground Truth interpole le mouvement de cet objet et ajuste tous les cuboïdes dans les trames ajustées manuellement. De plus, à l'aide de la section d'affichage de la caméra, un cuboïde peut être affiché avec une projection (en utilisant le bouton B pour « activer/désactiver les étiquettes » dans la vue de la caméra) qui fournit au collaborateur une référence à partir des images de la caméra. La précision de la projection du cuboïde par rapport à l'image est basée sur la précision des étalonnages capturés dans les données extrinsèques et intrinsèques.

Si vous fournissez des données de caméra pour la fusion des capteurs, les images sont mises en correspondance avec les scènes des trames de nuage de points. Notez que les données de la caméra doivent être synchronisées dans le temps avec les données du nuage de points pour garantir une représentation précise du nuage de points par rapport à l'imagerie sur chaque image de la séquence, comme le montre l'image suivante.

Le fichier manifeste, le portail de travail contenant les données du nuage de points et les données de la caméra.

Le fichier manifeste contient les données extrinsèques et intrinsèques ainsi que la pose permettant d'afficher la projection cuboïde sur l'image de la caméra à l'aide de la touche P.

Le collaborateur peut naviguer dans la scène 3D à l'aide du clavier et de la souris. Il peut :

  • double-cliquer sur des objets spécifiques dans le nuage de points pour zoomer ;

  • utiliser une molette de souris ou un pavé tactile pour effectuer un zoom avant et arrière sur le nuage de points ;

  • utiliser les touches fléchées du clavier et les touches Q, E, A et D pour se déplacer vers le haut, le bas, la gauche et la droite ; utiliser les touches W et S du clavier pour effectuer un zoom avant et arrière.

Une fois qu'un collaborateur a placé un cuboïde dans la scène 3D, une vue latérale apparaît avec les trois vues latérales projetées : le haut, le côté et le devant. Ces vues latérales montrent des points à l'intérieur et autour du cuboïde placé et aident les collaborateurs à affiner les limites du cuboïde dans cette zone. Les collaborateurs peuvent faire un zoom avant et arrière de chacune de ces vues latérales à l'aide de leur souris.

Le collaborateur doit d'abord sélectionner le cuboïde pour dessiner un cadre de délimitation correspondant sur n'importe laquelle des vues de caméra. Cela relie le cuboïde et le cadre de délimitation par un nom commun et un ID unique.

Le collaborateur peut également d'abord dessiner un cadre de délimitation, le sélectionner et dessiner le cuboïde correspondant pour les relier.

Des options d'affichage et des fonctionnalités supplémentaires sont disponibles. Veuillez consulter la page d'instructions de travail pour obtenir une présentation complète de l'interface utilisateur de travail.

Outils pour travailleurs

Les collaborateurs peuvent naviguer dans le nuage de points 3D en effectuant un zoom avant et arrière, et en se déplaçant dans toutes les directions autour du nuage à l'aide des raccourcis clavier et de la souris. Si les collaborateurs cliquent sur un point dans le nuage de points, l'interface utilisateur effectue automatiquement un zoom sur cette zone. Les collaborateurs peuvent utiliser divers outils pour dessiner un cuboïde 3D autour des objets. Pour plus d'informations, consultez Outils d'étiquetage assisté dans la discussion suivante.

Une fois que les collaborateurs ont placé un cuboïde 3D dans le nuage de points, ils peuvent ajuster ces cuboïdes afin de les adapter étroitement aux voitures à l'aide de diverses vues : directement dans le nuage de points 3D, dans une vue latérale comportant trois perspectives zoomées du nuage de points autour de la boîte et si vous incluez des images pour la fusion de capteurs, directement dans l'image 2D.

Des options d'affichage supplémentaires permettent aux collaborateurs de masquer ou d'afficher facilement le texte des étiquettes, un maillage au sol et des attributs ponctuels supplémentaires. Les collaborateurs peuvent également choisir entre la perspective et les projections orthogonales.

Outils d'étiquetage assisté

Ground Truth aide les employés à annoter les nuages de points 3D plus rapidement et plus précisément à l'aide d'outils d'étiquetage assisté basés sur UX, sur le machine learning et sur la reconnaissance d'image pour les tâches de suivi d'objets de nuages de points 3D. Les outils d'étiquetage assisté suivants sont disponibles pour ce type de tâche :

  • Remplissage automatique des étiquettes : lorsqu'un collaborateur ajoute un cuboïde à une trame, un cuboïde avec les mêmes dimensions, orientation et position xyz est automatiquement ajouté à toutes les trames de la séquence.

  • Interpolation des étiquettes : une fois qu'un collaborateur a étiqueté un objet unique dans deux trames, Ground Truth utilise ces annotations pour interpoler le mouvement de cet objet entre toutes les trames. L'interpolation des étiquettes peut être activée ou désactivée. Elle est activée par défaut. Par exemple, si un collaborateur travaillant avec 5 trames ajoute un cuboïde dans la trame 2, il est copié dans les 5 trames. Si le collaborateur effectue ensuite des ajustements dans la trame 4, les trames 2 et 4 agissent désormais comme deux points par lesquels une ligne est ajustée. Le cuboïde est ensuite interpolé dans les trames 1, 3 et 5.

  • Gestion des étiquettes et des attributs en vrac – Les employés peuvent ajouter, supprimer et renommer des annotations, des attributs de catégorie d'étiquette et des attributs de trame en bloc.

    • Les collaborateurs peuvent supprimer manuellement les annotations d'un objet donné avant ou après une trame, ou dans toutes les trames. Par exemple, un collaborateur peut supprimer toutes les étiquettes d'un objet après la trame 10 si cet objet n'est plus situé dans la scène après cette trame.

    • Si un collaborateur supprime accidentellement toutes les annotations d'un objet, il peut les rajouter. Par exemple, si un collaborateur supprime toutes les annotations d'un objet avant la trame 100, il peut les rajouter en bloc à ces trames.

    • Les collaborateurs peuvent renommer une étiquette dans une trame et tous les cuboïdes 3D affectés à cette étiquette sont alors mis à jour avec le nouveau nom dans toutes les trames.

    • Les employés peuvent utiliser la modification en bloc pour ajouter ou modifier des attributs de catégorie d'étiquette et des attributs de trame dans plusieurs trames.

  • Ajustement – Les employés peuvent ajouter un cuboïde autour d'un objet et utiliser un raccourci clavier ou une option de menu pour que l'outil d'ajustement automatique Ground Truth ajuste étroitement le cuboïde autour des contours de l'objet.

  • Accrochage au sol – Une fois qu'un employé a ajouté un cuboïde à la scène 3D, il peut automatiquement accrocher le cuboïde au sol. Par exemple, le collaborateur peut utiliser cette fonction pour accrocher un cuboïde à la route ou au trottoir de la scène.

  • Étiquetage multi-vues : une fois qu'un collaborateur a ajouté un cuboïde 3D à la scène 3D, un panneau latéral affiche la perspective frontale et les deux perspectives latérales pour aider l'employé à ajuster étroitement le cuboïde autour de l'objet. Les collaborateurs peuvent annoter le nuage de points 3D et le panneau latéral. Les ajustements apparaissent alors dans les autres vues en temps réel.

  • Fusion des capteurs : si vous fournissez des données pour la fusion des capteurs, les collaborateurs peuvent ajuster les annotations dans les scènes 3D et les images 2D. Les annotations sont alors projetées dans l'autre vue en temps réel. Pour en savoir plus sur les données relatives à la fusion de capteurs, consultez Comprendre les systèmes de coordonnées et la fusion de capteurs.

  • Fusion automatique des cuboïdes – Les employés peuvent fusionner automatiquement deux cuboïdes dans toutes les trames s'ils constatent que des cuboïdes avec des étiquettes différentes représentent en fait un seul objet.

  • Options d'affichage – Permet aux employés de masquer ou d'afficher facilement le texte des étiquettes, un maillage au sol et des attributs ponctuels supplémentaires tels que la couleur ou l'intensité. Les collaborateurs peuvent également choisir entre la perspective et les projections orthogonales.