3D 点云对象跟踪 - Amazon SageMaker

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

3D 点云对象跟踪

可以使用该页面熟悉可用于完成 3D 点云对象检测任务的用户界面和工具。

您的任务

在处理 3D 点云对象跟踪任务时,您需要从工作人员门户右侧的注释菜单中使用标签类别菜单选择一个类别。在选择类别后,可以使用添加长方体和适合长方体工具,在该类别适用的 3D 点云中使长方体紧靠对象周围。在放置长方体后,您可以直接在点云和右侧显示的三个面板中修改其位置、尺寸和方向。如果在工作人员门户中看到一个或多个图像,您也可以在这些图像或 3D 点云中修改长方体,编辑内容将显示在另一个介质中。

重要

如果在打开任务时看到长方体已添加到 3D 点云帧中,请调整这些长方体并根据需要添加其他长方体。

要编辑长方体(包括移动长方体,改变长方体方向和更改长方体尺寸),您必须使用快捷键。您可以在 UI 的快捷键菜单中看到快捷键的完整列表。以下是在开始执行标注任务之前应熟悉的重要组合键。

Mac 命令 Windows 命令 操作

Cmd + 拖动

Ctrl + 拖动

修改长方体的尺寸。

Option + 拖动

Alt + 拖动

移动长方体。

Shift + 拖动

Shift + 拖动

旋转长方体。

Option + O

Alt + O

使在点周围绘制的长方体紧靠这些点。在使用该选项之前,请确保长方体完全包围相关对象。

Option + G

Alt + G

将长方体放置在地面上。

在您打开任务时,将加载两个帧。如果任务包含超过两个帧,您需要使用左下角的导航栏或加载帧图标以加载其他帧。在提交之前,您应在所有帧中注释和调整标签。

在将长方体紧靠对象边界周围后,使用 UI 左下角的导航栏导航到另一个帧。如果该同一对象已移到新位置,请添加另一个长方体并使其紧靠对象边界周围。每次手动添加长方体时,您会看到屏幕左下角的帧序列栏变为红色,其中,按时间顺序列出该帧在序列中的位置。

在放置长方体后,UI 自动推断该对象在所有其他帧中的位置。这称为插值。您可以使用箭头查看该对象的移动情况以及推断和手动创建的长方体。根据需要,调整推断的长方体。以下视频说明了如何在帧之间导航。以下视频说明了如果在一个帧中添加长方体,然后在另一帧中对其进行调整,UI 将如何自动推断长方体在所有中间帧中的位置。

Gif 显示了如何在中间帧中推断出长方体的位置。
提示

您可以使用 3D 点云菜单项关闭帧间的自动长方体插值。从顶部菜单中选择 3D 点云,然后选择跨帧插值长方体。这将取消选中此选项并停止长方体插值。您可以重新选择此项目以重新打开长方体插值。

关闭长方体插值不会影响已经跨帧插值的长方体。

单个标签可能有一个或多个标签属性。如果一个标签有相关联的标签属性,那么当您从标签 ID 菜单中选择标签旁边的向下箭头时,该标签属性就会出现。填写所有标签属性的必需值。

您可能会在标签 ID 菜单下看到帧属性。这些属性将出现在任务的每个帧中。使用这些属性提示输入有关每个帧的其他信息。

框架属性提示示例。

导航用户界面

您可以使用键盘和鼠标在 3D 场景中导航。您可以:

  • 双击点云中的特定对象以将其放大。

  • 您可以使用键盘上的 [ 和 ] 键放大标签并从一个标签移动到下一个标签。如果没有选择标签,选择 [ 或 ]时,用户界面将放大到标签 ID 列表中的第一个标签。

  • 使用鼠标滚轮或触控板以放大和缩小点云。

  • 同时使用键盘箭头键和 Q、E、A 和 D 键以向上、向下、向左和向右移动。使用键盘 W 和 S 键以放大和缩小。

在您将长方体放置在 3D 场景后,将显示侧视图,其中具有三个投影的侧视图:俯视图、侧视图和后视图。这些侧视图显示放置的长方体内部和周围的点,有助于工作人员优化该区域中的长方体边界。工作人员可以使用鼠标以放大和缩小每个侧视图。

以下视频说明了在 3D 点云和在侧视图中的移动情况。

Gif 显示了工作人员如何使用 3D 或 2D 视图来调整长方体。

当您位于工作人员 UI 时,您会看到以下菜单:

  • 说明 – 在开始执行任务之前,请查看这些说明。

  • 快捷键 – 使用此菜单可查看键盘快捷键,它们可用于导航点云和使用提供的注释工具。

  • 标签 – 使用此菜单可修改长方体。首先,选择一个长方体,然后从此菜单中选择一个选项。此菜单包括辅助标注工具,例如将长方体放置在地面上以及自动使长方体紧靠对象的边界。

  • 视图 – 使用此菜单可打开或关闭不同的视图选项。例如,您可以使用此菜单将地面网格添加到点云中,以及选择点云的投影。

  • 3D 点云 – 使用此菜单可为点云中的点添加其他属性,例如颜色和像素强度。请注意,这些选项可能不可用。

在打开任务时,移动场景图标处于打开状态,您可以使用鼠标和屏幕的点云区域中的导航按钮在点云中四处移动。要返回到首次打开任务时看到的原始视图,请选择重置场景图标。

在选择添加长方体图标后,您可以将长方体添加到点云和图像(如果包含)中。您必须再次选择移动场景图标以移动到 3D 点云或图像中的另一个区域。

要折叠右侧的所有面板并使 3D 点云全屏显示,请选择全屏图标。

如果包含摄像机图像,您可以使用以下视图选项:

  • C – 在点云视图上查看摄像机角度。

  • F – 在点云视图上查看用于捕获该图像的摄像机的截头锥体或视野。

  • P – 查看覆盖在图像上的点云。

  • B – 查看图像中的长方体。

以下视频说明了如何使用这些视图选项。F 选项用于查看摄像机的视野(灰色区域),C 选项显示摄像机朝向的方向和摄像机的角度(蓝线),而 B 选项用于查看长方体。

Gif 显示了如何使用各种视图选项。

删除长方体

您可以选择长方体或标签 ID,然后:

  • 删除您正在查看的当前帧中的单个长方体。

  • 删除您正在查看的帧之前或之后带有该标签 ID 的所有长方体。

  • 删除所有帧中带有该标签 ID 的所有长方体。

删除长方体的一个常见使用案例是对象离开场景。

您可以使用这些选项中的一个或多个选项来删除具有相同标签 ID 的手动放置的长方体和插值的长方体。

  • 要删除当前所在帧之前或之后的所有长方体,请选择长方体,选择 UI 顶部的标签菜单项,然后从在前面的帧中删除在后面的帧中删除中选择一项。使用快捷键菜单查看可用于这些选项的快捷键。

  • 要删除所有帧中的标签,请从标签菜单中选择在所有帧中删除,或使用键盘上的快捷键 Shift + Delete

  • 要从单个帧中删除单个长方体,请选择该长方体,然后在右侧的标签 ID 侧边栏中选择该标签 ID 旁边的垃圾桶图标 ( Trash can icon representing deletion or removal functionality. ),或者使用键盘上的 Delete 键删除该长方体。

如果您在不同的帧中手动放置了多个具有相同标签的长方体,那么当您删除其中一个手动放置的长方体时,所有插值的长方体都会进行调整。之所以会出现这种调整,是因为 UI 在计算插值长方体的位置时使用手动放置的长方体作为锚点。删除其中一个锚点时,UI 必须重新计算插值长方体的位置。

如果从一帧中删除了一个长方体,但后来决定要将其恢复,则可以使用标签菜单中的复制到前面的帧复制到后面的帧选项,分别将该长方体复制到所有前面的帧或所有后面的帧。

批量编辑标签类别和帧属性

您可以批量编辑标签属性和帧属性。

批量编辑属性时,指定要应用编辑的一个或多个帧范围。您选择的属性将在该范围内的所有帧中进行编辑,包括指定的起始帧和结束帧。批量编辑标签属性时,您指定的范围必须包含标签属性附加到的标签。如果指定的帧不包含此标签,则会出现错误。

要批量编辑属性,必须首先指定属性的所需值。例如,如果要将某个属性从改为,则必须先选择,然后执行批量编辑。

您还可以为尚未填写的属性指定一个新值,然后使用批量编辑功能在多个帧中填写该值。为此,请为属性选择所需的值,然后完成以下过程。

要批量编辑标签或属性,请执行以下操作:
  1. 使用鼠标右键单击要批量编辑的属性。

  2. 使用文本框中的短划线 (-) 指定要应用批量编辑的帧范围。例如,如果要将编辑应用于第一帧至第十帧,请输入 1-10。如果要将编辑应用于第二帧到第五帧、第八帧到第十帧和第二十帧,请输入 2-5,8-10,20

  3. 选择确认

如果收到错误信息,请验证输入的范围是否有效,以及与正在编辑的标签属性相关的标签(如适用)是否存在于指定的所有帧中。

使用屏幕顶部标签菜单中的复制到上一帧复制到下一帧选项,可以快速将标签添加到所有前一帧或后续帧。

图标指南

使用此表可以了解您在工作人员任务门户中看到的图标。

图标 名称 描述

添加长方体

选择该图标以添加长方体。您添加的每个长方体与您选择的类别相关联。

编辑长方体

选择该图标以编辑长方体。在添加长方体后,您可以编辑其尺寸、位置和方向。在添加长方体后,它自动切换到编辑长方体模式。

标尺图标。

标尺

使用此图标可以测量点云中的距离(以米为单位)。如果您的说明要求您注释距离长方体中心给定距离内的所有对象或用于捕获数据的对象,则可能需要使用此工具。

选择此图标后,您可以用鼠标选择起点(第一个标记),将其放置在点云中的任意位置。该工具会自动使用插值法,将标记放置在与您所选位置阈值距离内最近的点上,否则标记将放置在地面上。如果错放了起点,可以使用 Esc 键恢复标记的位置。

放置第一个标记后,您会看到一条虚线和一个动态标签,指示您离第一个标记的距离。单击点云上的其他位置以放置第二个标记。当您放置第二个标记时,虚线变为实线,距离设置完成。

设置好距离后,可以通过选择任一标记对其进行编辑。您可以选择标尺上的任意位置并使用键盘上的 Delete 键删除标尺。

重置场景图标。

重置场景

选择此图标可以将点云、侧面板以及所有图像(如果适用)的视图重置为首次打开任务时的原始位置。
移动场景图标。

移动场景

选择此图标可以移动场景。默认情况下,在首次启动任务时,将选择该图标。

全屏图标。

全屏

选择此图标可以使 3D 点云可视化内容全屏显示,并折叠所有侧面板。

加载框架图标。

加载帧

选择此图标可以加载其他帧。

隐藏标签图标。
隐藏标签

在 3D 点云可视化内容以及图像(如果适用)中隐藏标签。

“显示标签” 图标。
显示标签

在 3D 点云可视化内容以及图像(如果适用)中显示标签。

“删除标签” 图标。
删除标签

删除标签。只能使用该选项删除您手动创建或调整的标签。

快捷键

快捷键菜单中列出的快捷键有助于您导航 3D 点云,并使用工具添加和编辑长方体。

在开始执行任务之前,建议您查看快捷键菜单并熟悉这些命令。您需要使用一些 3D 长方体控件以编辑长方体。

发布、停止和恢复以及拒绝任务

打开标注任务时,右上方的三个按钮允许您拒绝任务(拒绝任务)、释放任务(释放任务)以及停止任务并稍后继续任务(停止并稍后继续)。以下列表描述了选择这些选项时会发生的情况:

  • 拒绝任务:只有在任务出现问题时,才应拒绝任务,例如 3D 点云、图像或用户界面的问题。如果您拒绝某项任务,您将无法返回到该任务。

  • 释放任务:使用此选项可释放任务,并允许其他人处理该任务。当您释放任务时,您将失去在该任务上完成的所有工作,而您团队中的其他工作人员可以接手该任务。如果有足够多的工作人员接手这项任务,您可能就无法返回到该任务。选择该按钮后再选择确认,您将返回到工作人员门户。如果该任务仍可用,则其状态将为可用。如果其他工作人员接手该任务,它将从您的门户中消失。

  • 停止并稍后继续:您可以使用停止并稍后继续按钮停止工作,稍后再返回任务。在选择停止并稍后继续之前,应使用保存按钮保存您的工作。选择该按钮后再选择确认,您将返回到工作人员门户,任务状态为已停止。您可以选择相同的任务以继续执行该任务。

    请注意,创建标注任务的人员指定了一个时间限制,在此限制内所有任务都需要完成。如果您没有在该时间限制内返回并完成该任务,则该任务将过期,并且您的工作将不会提交。更多信息请联系您的管理员。

保存您的工作并提交

您应定期保存自己的工作。Ground Truth 每 15 分钟自动保存一次您的工作。

在打开任务时,您必须先在其中完成自己的工作,然后再按提交