3D 點雲物件追蹤 - Amazon SageMaker
檢視工作者任務介面建立 3D 點雲物件追蹤標籤工作建立 3D 點雲物件追蹤調整或驗證標籤工作輸出資料格式

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

3D 點雲物件追蹤

如果您希望工作者新增 3D 立方體來圍住物件，以在 3D 點雲影格之間追蹤物件的移動情形，請使用此任務類型。例如，您可以使用此任務類型，要求工作者在多個點雲影格之間追蹤車輛的移動情形。

對於此任務類型，工作者所標籤的資料物件是一系列點雲影格。序列定義為一系列瞬間的點雲影格。Ground Truth 使用您提供的序列來轉譯一系列的 3D 點雲視覺化效果，而工作者可以在工作者任務介面中，在這些 3D 點雲影格之間切換。

Ground Truth 提供工具，讓工作者在 3D 場景和投影側視圖中 (上視圖、側視圖和後視圖)，以三維 9 個自由度 (x、y、z、rx、ry、rz、l、w、h) 來註釋物件。當工作者在物件周圍繪製立方體時，該立方體會獲得唯一的 ID，例如 Car:1 代表序列中的一輛車，Car:2 代表另一輛車。工作者使用該 ID 在多個影格中標籤相同的物件。

您也可以提供相機資料，以提供有關影格中各場景的更多視覺化資訊給工作者，協助工作者在物件周圍繪製 3D 立方體。當工作者新增 3D 立方體在 2D 影像或 3D 點雲中識別物件時，該立方體會顯現在另一個視圖中。

您可以使用 3D 點雲物件追蹤調整任務類型，以調整 3D 點雲物件偵測標籤工作中建立的註釋。

如果您是 Ground Truth 3D 點雲標籤模式的新使用者，我們建議您檢閱3D 點雲標記任務概觀。此標籤模式與其他 Ground Truth 任務類型不同，此頁面概述建立 3D 點雲標籤工作時，應注意的重要細節。

檢視工作者任務介面

Ground Truth 為工作者提供 Web 入口網站和工具，以完成 3D 點雲物件追蹤註釋任務。建立標籤任務時，您可以在HumanTaskUiArn參數中為預先建立的 Ground Truth UI 提供 Amazon 資源名稱 (ARN)。當您在主控台使用此任務類型建立標籤工作時，自動會使用此使用者介面。在主控台建立標籤工作時，您可以預覽工作者使用者介面並與之互動。如果您是新使用者，建議使用主控台建立標籤工作，以確保標籤屬性、點雲影格及影像 (如適用) 正常顯示。

以下是其中一GIF個 3D 點雲物件追蹤工作者工作介面，展示了 Worker 如何導覽順序中的點雲框架。註釋工具是工作者任務介面的一環。其不適用於預覽介面。

Gif 顯示工作者如何在序列中導覽點雲框架。

當工作者新增立方體後，該立方體會複寫到序列中具有相同 ID 的所有影格。當工作者在另一個影格中調整立方體後，Ground Truth 會插補該物件的移動，並在手動調整的影格之間調整所有立方體。下面GIF演示了這個插值功能。在左下方的導覽列中，紅色區域表示手動調整的影格。

Gif 顯示如何在中間框架中推斷長方體的位置。

如果您為感應器融合提供攝影機資料，則影像會與點雲影格中的場景配對。這些影像會顯示在 Worker 入口網站中，如下所示GIF。

工作者可以使用鍵盤和滑鼠在 3D 場景中導覽。他們可以：

  • 在點雲中按兩下特定物件以放大。

  • 使用滑鼠滾輪或觸控板來放大和縮小點雲。

  • 同時按下鍵盤方向鍵和 Q、E、A、D 鍵，以向上、向下、向左、向右移動。使用鍵盤按鍵 W 和 S 來放大和縮小。

當工作者在 3D 場景中放置立方體後，將會出現側視圖，其中包含三個投影側視圖：上視圖、側視圖和後視圖。這些側視圖會顯示所放入立方體內部和周圍的點，以協助工作者美化該區域內的立方體邊界。工作者可以使用滑鼠來放大和縮小這些側視圖。

以下影片示範在 3D 點雲和側視圖中來回移動。

Gif 顯示 3D 點雲周圍的運動，顯示街道場景。

還有其他檢視選項和功能可用。如需工作者使用者介面的完整概觀，請參閱工作者指示頁面。

工作者工具

工作者可以透過放大和縮小來瀏覽 3D 點雲，也可使用滑鼠和鍵盤快速鍵在點雲中四處移動。如果工作者按一下點雲中的點，使用者介面會自動放大該區域。工作者可以使用各種工具在物件周圍繪製 3D 立方體。如需詳細資訊，請參閱輔助標籤工具。

工作者在點雲中放置 3D 立方體後，就可以使用各種視圖，將這些立方體調整到緊密貼合汽車：直接在 3D 立方體中、在側視圖中 (方塊周圍有三個放大的點雲透視圖)，或直接在 2D 影像中 (如果您包含感應器融合的影像)。

檢視選項，可讓工作者輕鬆隱藏或檢視標籤文字、地面網線和其他點屬性。工作者也可以在透視投影和正投影之間選擇。

輔助標籤工具

Ground Truth 協助工作者在 3D 點雲物件追蹤任務中，使用 UX、機器學習和電腦視覺技術輔助標籤工具，更快、更準確地註釋 3D 點雲。下列輔助標籤工具適用於此任務類型：

  • 標籤自動填入 – 工作者將立方體新增至影格時，具備相同維度和方向的立方體會自動新增至序列中的所有影格。

  • 標籤插補 – 工作者在兩個影格中標籤單一物件後，Ground Truth 會使用這些註釋，在這兩個影格之間插補該物件的移動情形。標籤插補可開啟及關閉。

  • 大量標籤和屬性管理 –工作者可以大量新增、刪除及重新命名註釋、標籤類別屬性和影格屬性。

    • 工作者可以刪除特定物件在影格之前或之後的註釋。例如，如果物件不再位於第 10 個影格之後的場景中，工作者可以刪除物件在該影格之後的所有標籤。

    • 如果工作者意外大量刪除物件的所有註釋，則可以重新加回來。例如，如果工作者刪除物件在第 100 個影格之前的所有註釋，則可以將註釋大量新增至那些影格。

    • 工作者可以在一個影格中重新命名標籤，在所有影格中，將會以新名稱更新所有指派該標籤的 3D 立方體。

    • 工作者可以使用大量編輯功能，在多個影格新增或編輯標籤類別屬性和影格屬性。

  • 貼齊 – 工作者可以在物件周圍新增立方體，並使用鍵盤快速鍵或選單選項，以 Ground Truth 自動調整工具將立方體緊貼物件的邊界。

  • 調整到地面 – 當工作者將立方體新增至 3D 場景後，工作者可以自動將立方體貼齊地面。例如，工作者可以使用此功能，將立方體貼齊場景中的道路或人行道。

  • 多視角標籤 – 工作者將 3D 立方體新增至 3D 場景後，側面板會顯示正面透視圖和兩個側面透視圖，協助工作者調整立方體，緊密貼合物件周圍。工作者可以註釋 3D 點雲，而側面板和調整會即時出現在另一個視圖中。

  • 感應器融合 – 如果您提供感應器融合的資料，則工作者可以在 3D 場景和 2D 影像中調整註釋，而註釋會即時投影到其他視圖。

  • 自動合併立方體 – 如果工作者確定具有不同標籤的兩個立方體實際上代表單一物件，則可以在所有影格上自動合併立方體。

  • 檢視選項 – 可讓工作者輕鬆隱藏或檢視標籤文字、地面網線和其他點屬性，例如顏色或濃度。工作者也可以在透視投影和正投影之間選擇。

建立 3D 點雲物件追蹤標籤工作

您可以使用 SageMaker 控制台或API作業建立 3D 點雲標示工作CreateLabelingJob。若要為此任務類型建立標籤工作，您需要下列項目：

  • 序列輸入資訊清單檔案。若要了解如何建立這種資訊清單檔案，請參閱建立點雲序列輸入資訊清單。如果您是 Ground Truth 3D 點雲標籤模式的新使用者，我們建議您檢閱接受的原始 3D 資料格式。

  • 由私有或廠商人力資源組成的工作團隊。您不能使用 Amazon Mechanical Turk 來處理 3D 點雲標籤工作。若要了解如何建立人力資源和工作團隊，請參閱建立和管理人力。

此外，請確定您已檢閱且符合分配使用 Ground Truth 的IAM權限。

若要瞭解如何使用主控台或建立標籤工作API，請參閱以下各節。

建立標籤 Job (API)

本節涵蓋使用 SageMaker API作業建立標籤工作時需要瞭解的詳細資訊CreateLabelingJob。這API定義了所有的這個操作 AWS SDKs。若要查看此作業SDKs支援的特定語言清單，請檢閱的〈請參閱〉一節。CreateLabelingJob

建立標記任務 (API)提供 CreateLabelingJob 作業的概觀。設定請求時，請遵循這些指示並執行下列動作：

  • 您必須輸入ARN用於HumanTaskUiArn。請使用 arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudObjectTracking。將 <region> 取代為您建立標籤工作所在的 AWS 區域。

    請勿輸入 UiTemplateS3Uri 參數。

  • LabelAttributeName 的結尾必須是 -ref。例如：ot-labels-ref。

  • 輸入資訊清單檔案必須是點雲影格序列資訊清單檔案。如需詳細資訊，請參閱建立點雲序列輸入資訊清單。

  • 請在標籤類別組態檔案中指定標籤、標籤類別、影格屬性和工作者指示。如需詳細資訊，請參閱使用標籤類別和影格屬性建立標記類別組態檔案，以了解如何建立此檔案。

  • 您需要為預先註解和後置註解 (ACS) Lambda 函數提供預先定ARNs義的功能。這些ARNs是特定於您用來建立標籤工作的 AWS 地區。

    • 若要尋找預先註解 LambdaARN，請參閱PreHumanTaskLambdaArn。使用您建立標籤工作的區域，找出結尾為的正ARN確地區PRE-3DPointCloudObjectTracking。

    • 若要尋找後置註解 LambdaARN，請參閱AnnotationConsolidationLambdaArn。使用您建立標籤工作的區域，找出結尾為的正ARN確地區ACS-3DPointCloudObjectTracking。

  • NumberOfHumanWorkersPerDataObject 中指定的工作者數目應該為 1。

  • 3D 點雲標籤工作不支援自動資料標籤。請勿在 LabelingJobAlgorithmsConfig 中指定參數的值。

  • 3D 點雲物件追蹤標籤工作可能需要數小時才能完成。您可以在 TaskTimeLimitInSeconds 中為這些標籤工作指定更長的時間限制 (最多 7 天，即 604,800 秒)。

建立標籤工作 (主控台)

您可以按照指示學習如何建立標記任務 (主控台)在 SageMaker 主控台中建立 3D 點雲物件追蹤標示工作。建立標籤工作時，請注意下列事項：

  • 輸入資訊清單檔案必須是序列資訊清單檔案。如需詳細資訊，請參閱建立點雲序列輸入資訊清單。

  • 或者，您也可以提供標籤類別屬性。工作者可以將其中一個或多個屬性指派給註釋，以提供有關該物件的更多資訊。例如，您可以使用 occluded 屬性，讓工作者知道物件有一部分被遮住。

  • 3D 點雲標籤任務不支援自動標籤資料和註釋合併。

  • 3D 點雲物件追蹤標籤工作可能需要數小時才能完成。當您選取工作團隊，您可以為這些標籤工作指定更長的時間限制 (最多 7 天，即 604800 秒)。

建立 3D 點雲物件追蹤調整或驗證標籤工作

您可以使用 Ground Truth 主控台或建立調整和驗證標籤任務CreateLabelingJobAPI。若要進一步了解調整和驗證標籤工作，以及了解如何建立，請參閱驗證和調整標籤。

建立調整標籤工作時，您輸入至標籤工作的資料可以包含標籤，以及前一個標籤工作或外部來源的偏航角、俯仰角和翻滾角測量值。在調整任務中，俯仰角和翻滾角將在工作者使用者介面中視覺化，但無法修改。偏航角是可調整的。

Ground Truth 使用 Tait-Bryan 角度搭配下列內旋轉，在工作者使用者介面中視覺化偏航角、俯仰角和翻滾角。首先，根據 z 軸 (偏航角) 將旋轉套用至車輛。接著，旋轉車輛根據內部 y' 軸 (俯仰角) 旋轉。最後，車輛根據內部 x'' 軸 (翻滾角) 旋轉。

輸出資料格式

當您建立 3D 點雲物件追蹤標籤工作時，任務會傳送給工作者。這些工作者完成任務時，註釋會寫入您建立標籤工作時指定的 Amazon S3 儲存貯體。輸出資料格式決定當標籤任務狀態 (LabelingJobStatus) 為時，您在 Amazon S3 儲存貯體中看到的內容Completed。

如果您是 Ground Truth 的新使用者，請參閱輸出資料，以進一步了解 Ground Truth 輸出資料格式。若要了解 3D 點雲物件追蹤輸出資料格式，請參閱3D 點雲物件追蹤輸出。