查看 3D-2D 对象跟踪标注作业的工作器任务界面 - Amazon SageMaker

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

查看 3D-2D 对象跟踪标注作业的工作器任务界面

Ground Truth 为工作人员提供了 Web 门户和工具以完成 3D-2D 对象跟踪注释任务。创建标签任务时,您需要在HumanTaskUiArn参数中为预构建的 Ground Truth 用户界面提供亚马逊资源名称 (ARN)。要在使用为此任务类型创建标签任务时使用用户界面API,您需要提供HumanTaskUiArn。通过创建标签作业时,您可以预览工作器用户界面并与之交互API。注释工具是工作人员任务界面的一部分。它们不适用于预览界面。下图演示了用于 3D-2D 点云对象跟踪注释任务的工作人员任务界面。

用于 3D-2D 点云对象跟踪注释任务的工作人员任务界面。

默认情况下启用插值。在工作人员添加一个长方体后,将在序列中具有相同 ID 的所有帧中复制该长方体。如果工作人员在另一个帧中调整长方体,Ground Truth 将插入该对象的移动信息,并在手动调整的帧之间调整所有长方体。此外,使用摄像机视图部分,还可以用投影显示一个长方体(在摄像机视图中使用 B 按钮“切换标签”),为工作人员提供摄像机图像的参考。长方体对图像投影的精度是基于在外在和内在数据中捕获的校准精度。

如果您提供用于传感器融合的摄像机数据,图像将与点云帧中的场景进行匹配。请注意,摄像机数据应与点云数据保持时间同步,以确保将点云准确地描绘到序列中每一帧的影像,如下图所示。

清单文件、包含点云数据和摄像机数据的工作人员门户。

清单文件包含外在和内在数据以及姿势,以便使用 P 按钮显示摄像机图像上的长方体投影。

工作人员可以使用键盘和鼠标以在 3D 场景中导航。他们可以:

  • 双击点云中的特定对象以将其放大。

  • 使用鼠标滚轮或触控板以放大和缩小点云。

  • 同时使用键盘箭头键和 Q、E、A 和 D 键以向上、向下、向左和向右移动。使用键盘 W 和 S 键以放大和缩小。

在工作人员将长方体放置在 3D 场景后,将显示侧视图,其中具有三个投影的侧视图:俯视图、侧视图和前视图。这些侧视图显示放置的长方体内部和周围的点,有助于工作人员优化该区域中的长方体边界。工作人员可以使用鼠标以放大和缩小每个侧视图。

工作人员应首先选择长方体,以便在任何摄像机视图上绘制相应的边界框。这会将长方体和边界框与通用名称和唯一 ID 联系起来。

工作人员也可以先绘制一个边界框,将其选中,然后绘制相应的长方体来链接它们。

可以使用其他视图选项和功能。有关工作人员 UI 的全面概述,请参阅工作人员说明页面

工作人员工具

工作人员可以通过以下方法浏览 3D 点云:使用鼠标和键盘快捷键放大和缩小以及在云中的所有方向上移动。如果工作人员单击点云中的一个点,UI 将自动放大到该区域。工作人员可以使用不同的工具在对象周围绘制 3D 长方体。有关更多信息,请参阅以下讨论中的辅助标注工具

在工作人员将 3D 长方体放置在点云后,他们可以使用多种视图调整这些长方体以紧靠汽车周围:直接在 3D 点云中,在框周围具有三个放大点云透视图的侧视图中以及直接在 2D 图像中(如果包含用于传感器融合的图像)。

其他视图选项使工作人员能够轻松隐藏或查看标签文本、地面网格以及其他点属性。工作人员还可以在透视投影和正交投影之间进行选择。

辅助标注工具

Ground Truth 使用 UX、机器学习和计算机视觉驱动的辅助标注工具执行 3D 点云对象跟踪任务,以协助工作人员快速准确地注释 3D 点云。以下辅助标注工具可用于该任务类型:

  • 标签自动填充 – 当工作人员将长方体添加到帧中时,具有相同尺寸、方向和 xyz 位置的长方体将自动添加到序列中的所有帧中。

  • 标签插值 – 在工作人员在两个帧中标注单个对象后,Ground Truth 使用这些注释在所有帧之间插入该对象的移动信息。可以打开或关闭标签插值。默认处于启用状态。例如,如果处理 5 个帧的工作人员在第 2 帧中添加了一个长方体,则该长方体会复制到所有 5 个帧中。如果工作人员随后在第 4 帧中进行调整,则第 2 帧和第 4 帧现在充当两个点,通过这两个点拟合一条线。然后在第 1、3 和 5 帧中对长方体进行插值。

  • 批量标签和属性管理 – 工作人员可以批量添加、删除和重命名注释、标签类别属性和帧属性。

    • 工作人员可以在帧前后或所有帧中手动删除给定对象的注释。例如,如果某个对象不再位于第 10 帧后面的场景中,工作人员可以在该帧后面删除该对象的所有标签。

    • 如果工作人员不小心批量删除了对象的所有注释,他们可以重新添加这些注释。例如,如果工作人员在第 100 帧前面删除对象的所有注释,他们可以将其批量添加到这些帧中。

    • 工作人员可以在一个帧中重命名标签,并在所有帧中使用新名称更新分配了该标签的所有 3D 长方体。

    • 工作人员可以使用批量编辑功能在多个帧中添加或编辑标签类别属性和帧属性。

  • 贴靠 – 工作人员可以在对象周围添加一个长方体,并使用键盘快捷键或菜单选项让 Ground Truth 的自动适合工具将长方体紧靠对象边界周围。

  • 贴靠到地面 – 在工作人员将长方体添加到 3D 场景后,工作人员可以自动将长方体贴靠到地面上。例如,工作人员可以使用该功能将长方体贴靠到场景中的道路或人行道。

  • 多视图标注 – 在工作人员将 3D 长方体添加到 3D 场景后,侧面板将显示前面和两个侧面透视图,以便于工作人员调整紧靠对象周围的长方体。工作人员可以注释 3D 点云,侧面板和调整内容将实时显示在另一个视图中。

  • 传感器融合 – 如果您提供用于传感器融合的数据,工作人员可以在 3D 场景和 2D 图像中调整注释,注释将实时投影到另一个视图中。要了解有关传感器融合数据的更多信息,请参阅了解坐标系和传感器融合

  • 自动合并长方体 – 如果工作人员确定两个具有不同标签的长方体实际表示一个对象,他们可以在所有帧中自动合并这些长方体。

  • 视图选项 – 使工作人员能够轻松隐藏或查看标签文本、地面网格以及其他点属性,例如颜色或强度。工作人员还可以在透视投影和正交投影之间进行选择。