Monitoraggio di oggetti con fotogrammi video - Amazon SageMaker

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Monitoraggio di oggetti con fotogrammi video

È possibile utilizzare il tipo di attività di monitoraggio di oggetti con fotogrammi video per consentire ai worker di identificare il movimento di oggetti in una sequenza di fotogrammi video (immagini estratte da un video) utilizzando riquadri di delimitazione, polilinee, poligoni o strumenti di annotazione dei punti chiave. Lo strumento scelto definisce il tipo di attività relativo ai fotogrammi video da creare. Ad esempio, puoi utilizzare un riquadro di delimitazione per il tipo di attività di monitoraggio di oggetti con fotogramma video per chiedere ai worker di rilevare il movimento di oggetti, come auto, biciclette e pedoni, disegnando dei riquadri attorno ad essi.

Fornisci un elenco di categorie e ogni annotazione che un worker aggiunge a un fotogramma video viene identificata come un'istanza di quella categoria utilizzando un ID istanza. Ad esempio, se fornisci la categoria di etichetta “automobile”, la prima automobile annotata da un worker avrà l'ID istanza automobile:1. La seconda automobile annotata dal worker avrà l'ID istanza automobile:2. Per monitorare il movimento di un oggetto, il worker aggiunge annotazioni associate allo stesso ID istanza all'oggetto in tutti i fotogrammi.

Puoi creare un lavoro di etichettatura di oggetti con frame video utilizzando la console Amazon SageMaker Ground Truth SageMaker API, specifica per lingua AWS SDKs. Per ulteriori informazioni, consulta Creazione di un processo di etichettatura per il rilevamento di oggetti con fotogrammi video e seleziona il tuo metodo preferito. Consulta Tipo di attività per saperne di più sugli strumenti di annotazione tra cui scegliere quando crei un processo di etichettatura.

Ground Truth fornisce un'interfaccia utente di worker e gli strumenti necessari per completare le attività dei processi di etichettatura: Anteprima dell'interfaccia utente del worker.

Puoi creare un processo per adattare le annotazioni create in un processo di etichettatura di rilevamento di oggetti video utilizzando il tipo di attività di regolazione del rilevamento di oggetti video. Per ulteriori informazioni, consulta Creazione di un processo di regolazione del rilevamento di oggetti del fotogramma video o di etichettatura di verifica.

Anteprima dell'interfaccia utente dei worker

Ground Truth offre ai worker un'interfaccia utente Web (UI) per completare le attività di annotazione di oggetti di monitoraggio di oggetti di fotogrammi video. Puoi visualizzare in anteprima e interagire con l'interfaccia utente del worker quando crei un processo di etichettatura nella console. Se sei un nuovo utente, ti consigliamo di creare un processo di etichettatura tramite la console utilizzando un piccolo set di dati di input per visualizzare in anteprima l'interfaccia utente dei worker e assicurarti che i fotogrammi video, le etichette e gli attributi delle etichette appaiano correttamente.

L'interfaccia utente fornisce ai worker i seguenti strumenti di etichettatura ausiliari, per completare le attività di monitoraggio di oggetti:

  • Per tutte le attività, i worker possono utilizzare le funzionalità Copia su successivo e Copia su tutti per copiare rispettivamente un'annotazione con lo stesso ID univoco nel fotogramma successivo o in tutti i fotogrammi successivi.

  • Per le attività che includono gli strumenti del riquadro di delimitazione, i worker possono utilizzare la funzione Prevedi successivo per disegnare un riquadro di delimitazione in un singolo fotogramma, quindi fare in modo che Ground Truth preveda la posizione dei riquadri con lo stesso ID univoco in tutti gli altri fotogrammi. I worker possono quindi effettuare regolazioni per correggere le posizioni previste dei riquadri.

Il video seguente mostra come un worker potrebbe utilizzare l'interfaccia utente con lo strumento riquadro di delimitazione per completare le attività di monitoraggio di oggetti.

Gif che mostra come un lavoratore può utilizzare lo strumento bounding box con la funzionalità Predict Next.

Creazione di un processo di etichettatura per il monitoraggio di oggetti con fotogrammi video

È possibile creare un lavoro di etichettatura di oggetti con frame video utilizzando la SageMaker console o l'operazione. CreateLabelingJobAPI

Questa sezione presuppone che tu abbia esaminato Panoramica dei processi di etichettatura di fotogrammi video e scelto il tipo di dati di input e la connessione al set di dati di input che stai utilizzando.

Creazione di un processo di etichettatura (console)

Puoi seguire le istruzioni riportate in Creazione di un processo di etichettatura (console) per imparare a creare un processo di tracciamento di oggetti con frame video nella SageMaker console. Nella fase 10, scegli Video - Monitoraggio di oggetti dal menu a discesa della categoria Attività. Seleziona il tipo di attività che desideri selezionando una delle schede in Selezione attività.

Gif che mostra come creare un lavoro di tracciamento di oggetti con frame video nella SageMaker console.

Creare un Labeling Job () API

Si crea un lavoro di etichettatura per il tracciamento degli oggetti utilizzando l' SageMaker APIoperazione. CreateLabelingJob Questo API definisce questa operazione per tutti AWS SDKs. Per visualizzare un elenco delle lingue specifiche SDKs supportate per questa operazione, consultate la sezione Vedere anche di. CreateLabelingJob

Creazione di un processo di etichettatura (API) fornisce una panoramica dell'operazione CreateLabelingJob. Segui queste istruzioni ed effettua le seguenti operazioni durante la configurazione della richiesta:

  • È necessario inserire un modulo. ARN HumanTaskUiArn Utilizza arn:aws:sagemaker:<region>:394669845002:human-task-ui/VideoObjectTracking. Sostituisci <region> con la Regione AWS in cui stai creando il processo di etichettatura.

    Non includere una voce per il parametro UiTemplateS3Uri.

  • Il tuo LabelAttributeName deve finire con -ref. Ad esempio ot-labels-ref.

  • Il file manifest di input deve essere un file manifest di sequenza di fotogrammi video. Puoi creare questo file manifesto utilizzando la SageMaker console oppure crearlo manualmente e caricarlo su Amazon S3. Per ulteriori informazioni, consulta Configurazione dei dati di input. Se crei un processo di etichettatura in streaming, il file manifest di input è facoltativo.

  • Puoi utilizzare solo team di lavoro privati o di fornitori per creare processi di etichettatura di rilevamento di oggetti con fotogrammi video.

  • Specifica le etichette, la categoria di etichette e gli attributi dei fotogrammi, il tipo di attività e le istruzioni per il worker in un file di configurazione della categoria di etichetta. Specifica il tipo di attività (riquadri di delimitazione, polilinee, poligoni o keypoint) utilizzando annotationType nel file di configurazione della categoria di etichette. Per ulteriori informazioni su come creare questo file, consulta Creazione di un file di configurazione della categoria di etichettatura con gli attributi Categoria di etichette e Attributi frame.

  • È necessario fornire valori predefiniti ARNs per le funzioni Lambda pre-annotation e post-annotation ()ACS. Queste ARNs sono specifiche della AWS regione che utilizzi per creare il tuo lavoro di etichettatura.

    • Per trovare la pre-annotazione LambdaARN, fare riferimento a. PreHumanTaskLambdaArn Utilizzate la regione in cui state creando il vostro lavoro di etichettatura per trovare quello corretto ARN che termina con. PRE-VideoObjectTracking

    • Per trovare la Lambda ARN post-annotazione, fare riferimento a. AnnotationConsolidationLambdaArn Utilizzate la regione in cui state creando il vostro lavoro di etichettatura per trovare quello corretto ARN che termina con. ACS-VideoObjectTracking

  • Il numero di worker specificato in NumberOfHumanWorkersPerDataObject deve essere 1.

  • L'etichettatura automatizzata dei dati non è supportata per i processi di etichettatura dei fotogrammi video. Non specificare i valori per i parametri in LabelingJobAlgorithmsConfig.

  • Il completamento dei processi di etichettatura per il monitoraggio di oggetti dei fotogrammi video può richiedere più ore. Puoi specificare un limite di tempo più lungo per questi processi di etichettatura in TaskTimeLimitInSeconds (fino a 7 giorni o 604.800 secondi).

Di seguito è riportato un esempio di richiesta AWS Python SDK (Boto3) per creare un processo di etichettatura nella regione Stati Uniti orientali (Virginia settentrionale).

response = client.create_labeling_job( LabelingJobName='example-video-ot-labeling-job, LabelAttributeName='label', InputConfig={ 'DataSource': { 'S3DataSource': { 'ManifestS3Uri': 's3://amzn-s3-demo-bucket/path/video-frame-sequence-input-manifest.json' } }, 'DataAttributes': { 'ContentClassifiers': [ 'FreeOfPersonallyIdentifiableInformation'|'FreeOfAdultContent', ] } }, OutputConfig={ 'S3OutputPath': 's3://amzn-s3-demo-bucket/prefix/file-to-store-output-data', 'KmsKeyId': 'string' }, RoleArn='arn:aws:iam::*:role/*, LabelCategoryConfigS3Uri='s3://bucket/prefix/label-categories.json', StoppingConditions={ 'MaxHumanLabeledObjectCount': 123, 'MaxPercentageOfInputDatasetLabeled': 123 }, HumanTaskConfig={ 'WorkteamArn': 'arn:aws:sagemaker:us-east-1:*:workteam/private-crowd/*', 'UiConfig': { 'HumanTaskUiArn: 'arn:aws:sagemaker:us-east-1:394669845002:human-task-ui/VideoObjectTracking' }, 'PreHumanTaskLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:PRE-VideoObjectTracking', 'TaskKeywords': [ 'Video Frame Object Tracking, ], 'TaskTitle': 'Video frame object tracking task', 'TaskDescription': Tracking the location of objects and people across video frames', 'NumberOfHumanWorkersPerDataObject': 123, 'TaskTimeLimitInSeconds': 123, 'TaskAvailabilityLifetimeInSeconds': 123, 'MaxConcurrentTaskCount': 123, 'AnnotationConsolidationConfig': { 'AnnotationConsolidationLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:ACS-VideoObjectTracking' }, Tags=[ { 'Key': 'string', 'Value': 'string' }, ] )

Creazione di un processo di etichettatura di tracciamento o verifica del monitoraggio di oggetti con fotogrammi video

Puoi creare un lavoro di etichettatura di regolazione e verifica utilizzando la console Ground Truth o CreateLabelingJobAPI. Per ulteriori informazioni sui processi di etichettatura di regolazione e di etichettatura di verifica e per scoprire come crearne uno, consulta Verifica e regolazione delle etichette.

Formato dei dati di output

Quando crei un processo di etichettatura di monitoraggio di oggetti del fotogramma video, le attività vengono inviate ai worker. Quando questi worker completano le attività, le etichette vengono scritte nella posizione di uscita Amazon S3 specificata al momento della creazione del processo di etichettatura. Per informazioni sul formato dei dati di output del monitoraggio di oggetti del fotogramma video, consulta Output del monitoraggio di oggetti con frame video. Se non hai familiarità con Ground Truth, consulta Dati di output per ulteriori informazioni sul formato dei dati di output in Ground Truth.