使用影片影格物件追蹤來追蹤影片影格中的物件 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用影片影格物件追蹤來追蹤影片影格中的物件

您可以使用影片影格物件追蹤任務類型,讓工作者使用邊界框、折線、多邊形或關鍵點註釋工具,追蹤物件在影片影格 (從影片擷取的影像) 序列中的移動情況。您選擇的工具會定義您建立的影片影格任務類型。例如,您可以使用邊界框影片影格物件追蹤任務類型,要求工作者在物件周圍繪製方框,以追蹤物件 (例如汽車、自行車和行人) 的移動情況。

您可以提供類別清單,工作者新增至影片影格的每個註釋都會使用實例 ID 識別為該類別的實例。例如,如果您提供標籤類別汽車,則工作者註釋的第一輛汽車將具有實例 ID car:1。工作者註釋的第二輛汽車將具有實例 ID car:2。為了追蹤物件的移動,工作者會將與相同實例 ID 相關聯的註釋新增至所有影格中的物件。

您可以使用 Amazon SageMaker Ground Truth 主控台、 SageMaker API和語言特定 建立影片影格物件追蹤標籤工作 AWS SDKs。如需進一步了解,請參閱建立影片影格物件偵測標籤工作並選取您偏好的方法。請參閱任務類型,以進一步了解有關在建立標籤工作時可以選擇的註釋工具資訊。

Ground Truth 提供了一個工作者使用者介面和工具來完成您的標籤工作任務:預覽工作者使用者介面

您可以使用影片物件偵測調整任務類型來建立工作,以調整在影片物件偵測標籤工作中建立的註釋。如需進一步了解,請參閱建立影片影格物件偵測調整或驗證標籤工作

預覽工作者使用者介面

Ground Truth 為工作者提供了一個 Web 使用者介面 (UI),以完成您的影片影格物件追蹤註釋任務。在主控台建立標籤工作時,您可以預覽工作者使用者介面並與之互動。如果您是新使用者,建議您使用小型輸入資料集,透過主控台建立標籤工作,以預覽工作者使用者介面,並確保影片影格、標籤和標籤屬性如預期般顯示。

使用者介面為工作者提供下列輔助標籤工具,以完成您的物件追蹤任務:

  • 對於所有任務,工作者可以使用複製到下一個複製到所有功能,分別將具有相同不重複的 ID 的註釋複製到下一個影格或所有後續影格。

  • 對於包含邊界框工具的任務,工作者可以使用預測下一個功能,在單一影格中繪製邊界框,然後讓 Ground Truth 預測所有其他影格中具有相同不重複的 ID 之方框的位置。然後,工作者可以進行調整以修正預測的方框位置。

下列影片顯示工作者如何使用工作者使用者介面搭配邊界框工具來完成物件追蹤任務。

Gif 顯示工作者如何使用週框方塊工具搭配預測下一個功能。

建立影片影格物件追蹤標籤工作

您可以使用 SageMaker 主控台或 CreateLabelingJobAPI操作建立影片影格物件追蹤標籤工作。

本節假設您已檢閱影片影格標籤工作參考並選擇輸入資料的類型和您正在使用的輸入資料集連線。

建立標籤工作 (主控台)

您可以遵循 中的指示建立標記任務 (主控台),了解如何在 SageMaker 主控台中建立影片影格物件追蹤任務。在步驟 10 中,從任務類別下拉式清單中選擇影片 - 物件追蹤。在任務選擇中選取其中一張卡片,以選取您想要的任務類型。

Gif 顯示如何在 SageMaker 主控台中建立影片影格物件追蹤任務。

建立標籤工作 (API)

您可以使用 操作 建立物件追蹤標籤工作 SageMaker APICreateLabelingJob。這會為所有 API定義此操作 AWS SDKs。若要查看此操作SDKs支援的特定語言清單,請檢閱 的另請參閱 一節CreateLabelingJob

建立標記任務 (API)提供 CreateLabelingJob 作業的概觀。設定請求時,請遵循這些指示並執行下列動作:

  • 您必須ARN為 輸入 HumanTaskUiArn。請使用 arn:aws:sagemaker:<region>:394669845002:human-task-ui/VideoObjectTracking。將 <region> 取代為您建立標籤工作所在的 AWS 區域。

    請勿包含 UiTemplateS3Uri 參數的項目。

  • LabelAttributeName 的結尾必須是 -ref。例如:ot-labels-ref

  • 輸入資訊清單檔案必須是影片影格序列資訊清單檔案。您可以使用 SageMaker 主控台建立此資訊清單檔案,或手動建立資訊清單檔案,並將其上傳至 Amazon S3。如需詳細資訊,請參閱輸入資料設定。如果您建立串流標籤工作,則輸入資訊清單檔案為選用。

  • 您只能使用私有或廠商工作團隊來建立影片影格物件偵測標籤工作。

  • 請在標籤類別組態檔案中指定標籤、標籤類別、影格屬性、任務類型和工作者指示。在標籤類別組態檔案中使用 annotationType,以指定任務類型 (邊界框、折線、多邊形或關鍵點)。如需詳細資訊,請參閱使用標籤類別和影格屬性參考來標記類別組態檔案,以了解如何建立此檔案。

  • 您需要ARNs提供預先定義的預先註釋和後註釋 (ACS) Lambda 函數。這些ARNs是您用來建立標籤任務 AWS 的區域專用。

    • 若要尋找預先註釋 LambdaARN,請參閱 PreHumanTaskLambdaArn。使用您要建立標籤任務的區域,尋找結尾ARN為 的正確區域PRE-VideoObjectTracking

    • 若要尋找註釋後 LambdaARN,請參閱 AnnotationConsolidationLambdaArn。使用您要建立標籤任務的區域,尋找結尾ARN為 的正確區域ACS-VideoObjectTracking

  • NumberOfHumanWorkersPerDataObject 中指定的工作者數目必須為 1

  • 影片影格標籤工作不支援自動資料標籤。請勿在 LabelingJobAlgorithmsConfig 中指定參數的值。

  • 影片影格物件追蹤標籤工作可能需要數小時才能完成。您可以在 TaskTimeLimitInSeconds 中為這些標籤工作指定更長的時間限制 (最多 7 天,即 604,800 秒)。

以下是在美國東部 AWS SDK(維吉尼亞北部) 區域中建立標籤工作的 Python (Boto3) 請求範例。

response = client.create_labeling_job( LabelingJobName='example-video-ot-labeling-job, LabelAttributeName='label', InputConfig={ 'DataSource': { 'S3DataSource': { 'ManifestS3Uri': 's3://amzn-s3-demo-bucket/path/video-frame-sequence-input-manifest.json' } }, 'DataAttributes': { 'ContentClassifiers': [ 'FreeOfPersonallyIdentifiableInformation'|'FreeOfAdultContent', ] } }, OutputConfig={ 'S3OutputPath': 's3://amzn-s3-demo-bucket/prefix/file-to-store-output-data', 'KmsKeyId': 'string' }, RoleArn='arn:aws:iam::*:role/*, LabelCategoryConfigS3Uri='s3://bucket/prefix/label-categories.json', StoppingConditions={ 'MaxHumanLabeledObjectCount': 123, 'MaxPercentageOfInputDatasetLabeled': 123 }, HumanTaskConfig={ 'WorkteamArn': 'arn:aws:sagemaker:us-east-1:*:workteam/private-crowd/*', 'UiConfig': { 'HumanTaskUiArn: 'arn:aws:sagemaker:us-east-1:394669845002:human-task-ui/VideoObjectTracking' }, 'PreHumanTaskLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:PRE-VideoObjectTracking', 'TaskKeywords': [ 'Video Frame Object Tracking, ], 'TaskTitle': 'Video frame object tracking task', 'TaskDescription': Tracking the location of objects and people across video frames', 'NumberOfHumanWorkersPerDataObject': 123, 'TaskTimeLimitInSeconds': 123, 'TaskAvailabilityLifetimeInSeconds': 123, 'MaxConcurrentTaskCount': 123, 'AnnotationConsolidationConfig': { 'AnnotationConsolidationLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:ACS-VideoObjectTracking' }, Tags=[ { 'Key': 'string', 'Value': 'string' }, ] )

建立影片影格物件追蹤調整或驗證標籤工作

您可以使用 Ground Truth 主控台或 CreateLabelingJob 建立調整和驗證標籤工作API。若要進一步了解調整和驗證標籤工作,以及了解如何建立,請參閱標籤驗證和調整

輸出資料格式

當您建立影片影格物件追蹤標籤工作時,任務會傳送至工作者。當這些工作者完成其工作時,標籤會寫入您建立標籤工作時指定的 Amazon S3 輸出位置。若要了解影片影格物件追蹤輸出資料格式,請參閱影片影格物件追蹤輸出。如果您是 Ground Truth 的新使用者,請參閱標記任務輸出資料,進一步了解 Ground Truth 輸出資料格式。