Référence de travail sur l'étiquetage des images vidéo - Amazon SageMaker

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Référence de travail sur l'étiquetage des images vidéo

Utilisez cette page pour en savoir plus sur les tâches d'étiquetage de trame vidéo pour la détection et le suivi d'objets. Les informations de cette page s'appliquent à ces deux types de tâches intégrés.

La tâche d'étiquetage de trame vidéo est unique pour les raisons suivantes :

  • Vous pouvez soit fournir des objets de données prêts à être annotés (images vidéo), soit fournir des fichiers vidéo et laisser le Ground Truth extraire automatiquement les trames vidéo.

  • Les employés ont la possibilité de sauvegarder leur travail au fur et à mesure.

  • Vous ne pouvez pas utiliser la Amazon Mechanical Turk main-d'œuvre pour effectuer vos tâches d'étiquetage.

  • Ground Truth fournit une interface utilisateur pour les employés, ainsi que des outils d'assistance et d'étiquetage de base, pour les aider à accomplir vos tâches. Il n'est pas nécessaire de fournir un modèle de tâche de l'employé.

Consultez les rubriques suivantes pour en savoir plus sur les tâches d'étiquetage d'images vidéo.

Données d'entrée

La tâche d'étiquetage des trames vidéo utilise des séquences de trames vidéo. Une séquence unique est une série d'images qui ont été extraites d'une seule vidéo. Vous pouvez soit fournir vos propres séquences de trames vidéo, soit demander à Ground Truth d'extraire automatiquement les séquences de trames vidéo de vos fichiers vidéo. Pour en savoir plus, consultez Fournir des fichiers vidéo.

Ground Truth utilise des fichiers de séquence pour identifier toutes les images d'une même séquence. Toutes les séquences que vous voulez inclure dans une seule tâche d'étiquetage sont identifiées dans un fichier manifeste source. Chaque séquence est utilisée pour créer une seule tâche employé. Vous pouvez créer automatiquement des fichiers de séquence et un fichier manifeste source à l'aide de la configuration automatique des données Ground Truth. Pour en savoir plus, consultez Configuration des données d'entrée d'images vidéo automatisées.

Pour apprendre comment créer manuellement des fichiers de séquence et un fichier manifeste source, veuillez consulter Création d'un fichier manifeste source de trame vidéo.

Délais d'exécution des tâches

Les tâches d'étiquetage des vidéos et de trames vidéo peuvent prendre des heures aux employés. Vous pouvez définir la durée totale pendant laquelle les collaborateurs peuvent travailler sur chaque tâche lors de la création d'une tâche d'étiquetage. La durée maximale que vous pouvez définir pour le travail des collaborateurs sur des tâches est de 7 jours. La valeur par défaut est de 3 jours.

Il est fortement recommandé de créer des tâches que les employés pourront effectuer en 12 heures maximum. Les collaborateurs doivent garder l'interface utilisateur de travail ouverte pendant qu'ils travaillent sur une tâche. Ils peuvent enregistrer leur travail au fur et à mesure et Ground Truth enregistre leur travail toutes les 15 minutes.

Lorsque vous utilisez l' SageMaker CreateLabelingJobAPIopération, définissez la durée totale pendant laquelle une tâche est disponible pour les travailleurs dans le TaskTimeLimitInSeconds paramètre deHumanTaskConfig.

Lorsque vous créez une tâche d'étiquetage dans la console, vous pouvez spécifier cette limite de temps lorsque vous sélectionnez votre type de main-d'œuvre et votre équipe de travail.

Types de tâches

Lorsque vous créez une tâche d'étiquetage de suivi d'objet vidéo ou de détection d'objet vidéo, vous spécifiez le type d'annotation que vous voulez que les employés créent tout en travaillant sur votre tâche d'étiquetage. Le type d'annotation détermine le type de données de sortie renvoyées par Ground Truth et définit le Type de tâche pour votre tâche d'étiquetage.

Si vous créez une tâche d'étiquetage à l'aide de cette API opération CreateLabelingJob, vous spécifiez le type de tâche à l'aide du paramètre du fichier de configuration de la catégorie d'étiquettesannotationType. Pour en savoir plus, consultez Fichier de configuration des catégories d'étiquetage avec référence aux attributs de catégorie et de cadre.

Les types de tâches suivants sont disponibles pour les tâches d'étiquetage de suivi d'objets vidéo ou de détection d'objets vidéo :

  • Cadre de délimitation – Les employés disposent d'outils pour créer des annotations de cadre de délimitation. Un cadre de délimitation est une boîte qu'un employé dessine autour d'un objet pour identifier la position des pixels et l'étiquette de cet objet dans l'image.

  • Polyligne – Les employés disposent d'outils pour créer des annotations par polylignes. Une polyligne est définie par une série de coordonnées x, y ordonnées. Chaque point ajouté à la polyligne est relié au point précédent par une ligne. La polyligne n'a pas besoin d'être fermée (le point de départ et le point final ne doivent pas être les mêmes) et il n'y a pas de restrictions sur les angles formés entre les lignes.

  • Polygone – Les employés disposent d'outils pour créer des annotations par polygones. Un polygone est une forme fermée définie par une série de coordonnées x, y ordonnées. Chaque point ajouté au polygone est relié au point précédent par une ligne et il n'y a aucune restriction sur les angles formés entre les lignes. Deux lignes (côtés) du polygone ne peuvent pas se croiser. Le point de départ et final d'un polygone doivent être identiques.

  • Point clé – Les employés disposent d'outils pour créer des annotations par point clé. Un point clé est un point unique associé à une coordonnée x, y dans la trame vidéo.

Main-d'œuvre

Lorsque vous créez une tâche d'étiquetage de trame vidéo, vous devez spécifier une équipe de travail pour effectuer vos tâches d'annotation. Vous pouvez choisir une équipe de travail parmi la main-d'œuvre privée (vos propres employés) ou parmi la main-d'œuvre d'un fournisseur que vous sélectionnez dans le AWS Marketplace. Vous ne pouvez pas utiliser la main-d'œuvre Amazon Mechanical Turk pour les tâches d'étiquetage de trame vidéo.

Pour en savoir plus sur la main-d'œuvre provenant d'un fournisseur, veuillez consulter Abonnez-vous aux équipes des fournisseurs.

Pour savoir comment créer et gérer une main-d'œuvre privée, veuillez consulter Main-d'œuvre privée.

Interface utilisateur (UI) pour les utilisateurs

Ground Truth fournit une interface utilisateur (UI), des outils et des fonctions d'aide à l'étiquetage pour aider les employés à réaliser vos tâches d'étiquetage vidéo. Vous pouvez prévisualiser l'interface utilisateur de travail lorsque vous créez une tâche d'étiquetage dans la console.

Lorsque vous créez une tâche d'étiquetage à l'aide de cette API opérationCreateLabelingJob, vous devez fournir une valeur ARN fournie par Ground Truth dans le paramètre HumanTaskUiArnpour spécifier l'interface utilisateur de travail correspondant à votre type de tâche. Vous pouvez utiliser HumanTaskUiArn l' SageMaker RenderUiTemplateAPIopération pour prévisualiser l'interface utilisateur de travail.

Vous fournissez des instructions aux employés, des étiquettes et, éventuellement, des attributs que ceux-ci peuvent utiliser pour fournir plus d'informations sur les étiquettes et les trames vidéo. Ces attributs sont désignés respectivement comme étant de catégorie, d'étiquette et de trame. Ils sont tous affichés dans l'interface utilisateur employé.

Catégorie d'étiquette et attributs du cadre

Lorsque vous créez une tâche d'étiquetage de suivi d'objets vidéo ou de détection d'objets vidéo, vous pouvez ajouter un ou plusieurs attributs de catégorie d'étiquette et attributs de trame :

  • Attribut de catégorie d'étiquette – Liste d'options (chaînes), zone de texte libre ou champ numérique associé à une ou plusieurs étiquettes. Il est utilisé par les employés pour fournir des métadonnées sur une étiquette.

  • Attribut Frame – Liste d'options (chaînes), zone de texte libre ou champ numérique qui apparaît sur chaque trame vidéo qu'un employé doit annoter. Il est utilisé par les employés pour fournir des métadonnées sur les trames vidéo.

En outre, vous pouvez utiliser les attributs d'étiquette et de trame pour que les employés vérifient les étiquettes dans une tâche de vérification des étiquettes de trame vidéo.

Utilisez les sections suivantes pour en savoir plus sur ces attributs. Pour savoir comment ajouter des catégories d'étiquettes et des attributs de trame à une tâche d'étiquetage, utilisez les sections Create Labeling Job (Créer une tâche d'étiquetage) de la page de type de tâche de votre choix.

Attributs des catégories d'étiquettes

Ajoutez des attributs de catégorie d'étiquette aux étiquettes pour donner aux employés la possibilité de fournir plus d'informations sur les annotations qu'ils créent. Un attribut de catégorie d'étiquette est ajouté à une étiquette individuelle ou à toutes les étiquettes. Lorsqu'un attribut de catégorie d'étiquette est appliqué à toutes les étiquettes, il est appelé attribut de catégorie d'étiquette global.

Par exemple, si vous ajoutez l'étiquette catégorie voiture, vous pourriez également vouloir capturer des données supplémentaires sur vos voitures étiquetées, telles que le fait qu'elles soient masquées ou la taille de la voiture. Vous pouvez capturer ces métadonnées à l'aide des attributs de catégorie d'étiquette. Dans cet exemple, si vous avez ajouté l'attribut occluded à la catégorie d'étiquette voiture, vous pouvez affecter les attributs partial, completely ou no à l'attribut occluded et permettre aux employés de sélectionner l'une de ces options.

Lorsque vous créez une tâche de vérification d'étiquette, vous ajoutez des attributs de catégorie d'étiquettes à chaque étiquette que les employés doivent vérifier.

Attributs au niveau du cadre

Ajoutez des attributs de trame pour donner aux employés la possibilité de fournir plus d'informations sur les trames vidéo individuelles. Chaque attribut de trame que vous ajoutez apparaît sur toutes les trames.

Par exemple, vous pouvez ajouter un attribut nombre-trame pour que les employés identifient le nombre d'objets qu'ils voient dans une trame particulière.

Dans un autre exemple, vous pouvez fournir une zone de texte libre pour donner aux employés la possibilité de fournir une réponse à une question.

Lorsque vous créez une tâche de vérification d'étiquette, vous pouvez ajouter un ou plusieurs attributs de trame pour demander aux employés de fournir des commentaires sur toutes les étiquettes d'une trame vidéo.

Instructions à l’intention des travailleurs

Vous pouvez fournir des instructions aux employés pour les aider à accomplir leurs tâches d'étiquetage de trames vidéo. Vous pouvez aborder les rubriques suivantes lors de la rédaction de vos instructions :

  • Bonnes pratiques et choses à éviter lors de l'annotation d'objets.

  • Les attributs de catégories d'étiquettes fournis (pour les tâches de détection et de suivi d'objets) et la manière de les utiliser.

  • Comment gagner du temps lors de l'étiquetage en utilisant des raccourcis clavier.

Vous pouvez ajouter vos instructions de travail à l'aide de la SageMaker console lors de la création d'une tâche d'étiquetage. Si vous créez une tâche d'étiquetage à l'aide de cette API opérationCreateLabelingJob, vous spécifiez les instructions de travail dans le fichier de configuration de votre catégorie d'étiquettes.

Outre vos instructions, Ground Truth fournit un lien pour aider les employés à naviguer dans le portail d'employé et à l'utiliser. Affichez ces instructions en sélectionnant le type de tâche sur Instructions de travail.

Tâches en déclin

Les employés peuvent refuser des tâches.

Les employés refusent une tâche si les instructions ne sont pas claires, les données source ne s'affichent pas correctement ou s'ils rencontrent un autre problème avec la tâche. Si la tâche est refusée par le nombre d'employés par objet du jeu de données (NumberOfHumanWorkersPerDataObject), l'objet de données est marqué comme expiré et ne sera pas envoyé à d'autres employés.

Exigences relatives à l'autorisation de création d'images vidéo

Lorsque vous créez une tâche d'étiquetage d'images vidéo, outre les exigences d'autorisation énoncées dansAttribuer IAM des autorisations pour utiliser Ground Truth, vous devez ajouter une CORS politique à votre compartiment S3 qui contient votre fichier manifeste d'entrée.

CORSpolitique d'autorisation pour votre compartiment S3

Lorsque vous créez une tâche d'étiquetage de trame vidéo, vous spécifiez des compartiments dans S3 où se trouvent vos données et le fichier manifeste source et où seront stockées vos données de sortie. Ces compartiments peuvent être les mêmes. Vous devez associer la politique de partage des ressources inter-origines (CORS) suivante à vos compartiments d'entrée et de sortie. Si vous utilisez la console Amazon S3 pour ajouter la politique à votre compartiment, vous devez utiliser le JSON format.

JSON

[ { "AllowedHeaders": [ "*" ], "AllowedMethods": [ "GET", "HEAD", "PUT" ], "AllowedOrigins": [ "*" ], "ExposeHeaders": [ "Access-Control-Allow-Origin" ], "MaxAgeSeconds": 3000 } ]

XML

<?xml version="1.0" encoding="UTF-8"?> <CORSConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/"> <CORSRule> <AllowedOrigin>*</AllowedOrigin> <AllowedMethod>GET</AllowedMethod> <AllowedMethod>HEAD</AllowedMethod> <AllowedMethod>PUT</AllowedMethod> <MaxAgeSeconds>3000</MaxAgeSeconds> <ExposeHeader>Access-Control-Allow-Origin</ExposeHeader> <AllowedHeader>*</AllowedHeader> </CORSRule> </CORSConfiguration>

Pour savoir comment ajouter une CORS politique à un compartiment S3, consultez Comment ajouter le partage de ressources entre domaines avec CORS ? dans le guide de l'utilisateur d'Amazon Simple Storage Service.