Klassifizieren Sie Objekte in einer 3D-Punktwolke mit Objekterkennung - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Klassifizieren Sie Objekte in einer 3D-Punktwolke mit Objekterkennung

Verwenden Sie diesen Aufgabentyp, wenn Auftragnehmer Objekte in einer 3D-Punktwolke klassifizieren sollen, indem Sie 3D-Quader rund um Objekte zeichnen. Mit diesem Aufgabentyp können Sie beispielsweise Auftragnehmer auffordern, verschiedene Objekttypen in einer Punktwolke zu identifizieren, z. B. Autos, Fahrräder und Fußgänger. Auf der folgenden Seite finden Sie wichtige Informationen über den Labeling-Job sowie die Schritte zu seiner Erstellung.

Für diesen Aufgabentyp ist das Datenobjekt , das Auftragnehmer beschriften, eine Sequenz von Punktwolkenframes. Ground Truth rendert eine 3D-Punktwolke mithilfe der von Ihnen bereitgestellten Punktwolkendaten. Sie können auch Kameradaten bereitstellen, um Auftragnehmern mehr visuelle Informationen über Szenen im Frame zu geben und Arbeitskräften dabei zu helfen, 3D-Quader rund um Objekte zu zeichnen.

Ground Truth stellt Auftragnehmern Werkzeuge zur Verfügung, um Objekte mit 9 Freiheitsgraden (x,y,z,rx,ry,rz,l,w,h) in drei Dimensionen sowohl in der 3D-Szene als auch in projizierten Seitenansichten (oben, seitlich und hinten) zu kommentieren. Wenn Sie Sensorfusionsinformationen bereitstellen (z. B. Kameradaten) und ein Auftragnehmer einen Quader hinzufügt, um ein Objekt in der 3D-Punktwolke zu identifizieren, wird der Quader angezeigt und kann in den 2D-Bildern geändert werden. Nachdem ein Quader hinzugefügt wurde, werden alle Änderungen an diesem Quader in der 2D- oder 3D-Szene in die andere Ansicht projiziert.

Sie können einen Auftrag erstellen, um Anmerkungen anzupassen, die in einem Kennzeichnungsauftrag der 3D-Punktwolken-Objekterkennung erstellt wurden, indem Sie den Anpassungsaufgabentyp „3D-Punktwolken-Objekterkennung“ verwenden.

Wenn Sie ein neuer Benutzer der Ground-Truth-3D-Punktwolken-Beschriftungsmodalität sind, empfehlen wir Ihnen, sich Übersicht über Jobs zur Kennzeichnung von 3D-Punktwolken anzusehen. Diese Beschriftungsmodalität unterscheidet sich von anderen Ground-Truth-Aufgabentypen, und diese Seite bietet einen Überblick über wichtige Details, die Sie bei der Erstellung eines 3D-Punktwolken-Beschriftungsauftrags beachten sollten.

Anzeigen der Aufgabenoberfläche für Auftragnehmer

Ground Truth stellt Auftragnehmern ein Webportal und Tools zur Verfügung, mit denen sie Ihre Anmerkungsaufgaben der 3D-Punktwolken-Objekterkennung erledigen können. Wenn Sie den Labeling-Job erstellen, geben Sie im HumanTaskUiArn Parameter den Amazon-Ressourcennamen (ARN) für eine vorgefertigte Ground Truth Worker-Benutzeroberfläche an. Wenn Sie einen Kennzeichnungsauftrag mit diesem Aufgabentyp in der Konsole erstellen, wird diese Benutzeroberfläche für Auftragnehmer automatisch verwendet. Sie können eine Vorschau anzeigen und mit der Benutzeroberfläche für Auftragnehmer interagieren, wenn Sie einen Kennzeichnungsauftrag in der Konsole erstellen. Wenn Sie ein neuer Benutzer sind, wird empfohlen, einen Kennzeichnungsauftrag über die Konsole zu erstellen, um sicherzustellen, dass Ihre Beschriftungsattribute, Punktwolkenframes und ggf. Bilder erwartungsgemäß angezeigt werden.

Im Folgenden finden Sie eine Worker-Aufgabenschnittstelle zur Erkennung GIF von 3D-Punktwolkenobjekten. Wenn Sie Kameradaten für die Sensorfusion im Weltkoordinatensystem bereitstellen, werden Bilder mit Szenen im Punktwolken-Frame abgeglichen. Diese Bilder werden im Worker-Portal angezeigt, wie im Folgenden dargestelltGIF.

Ein GIF, das zeigt, wie ein Arbeiter eine 3D-Punktwolke im Ground Truth Worker Portal mit Anmerkungen versehen kann.

Auftragnehmer können mithilfe der Tastatur und der Maus in der 3D-Szene navigieren. Sie haben die Möglichkeit:

  • Auf bestimmte Objekte in der Punktwolke zu doppelklicken, um sie zu vergrößern.

  • Einen Maus-Scroller oder ein Trackpad zu verwenden, um die Punktwolke zu vergrößern und zu verkleinern.

  • Die Pfeiltasten auf der Tastatur und die Tasten Q, E, A und D zu verwenden, um nach oben, unten, links, rechts zu bewegen. Verwenden Sie die Tastaturtasten W und S zum Vergrößern und Verkleinern.

Sobald ein Auftragnehmer einen Quader in der 3D-Szene platziert hat, wird eine Seitenansicht mit den drei projizierten Seitenansichten angezeigt: oben, seitlich und hinten. Diese Seitenansichten zeigen Punkte in und rund um den platzierten Quader an und helfen Auftragnehmern dabei, Quadergrenzen in diesem Bereich zu verfeinern. Auftragnehmer können jede dieser Seitenansichten mit der Maus vergrößern und verkleinern.

Das folgende Video zeigt Bewegungen um die 3D-Punktwolke und in der Seitenansicht.

Gif, das Bewegungen rund um die 3D-Punktwolke und die Seitenansicht zeigt.

Weitere Ansichtsoptionen und -funktionen sind im Menü Ansicht der Benutzeroberfläche für Auftragnehmer verfügbar. Auf der Anweisungsseite für Auftragnehmer finden Sie eine umfassende Übersicht über die UI für Auftragnehmer.

Hilfsmittel zur Beschriftung

Ground Truth hilft Auftragnehmern, 3D-Punktwolken schneller und genauer mit Hilfe von Machine Learning und Computer-Vision-gestützten Hilfsmitteln zur Beschriftung für 3D-Punktwolken-Objektverfolgungsaufgaben zu kommentieren. Für diesen Aufgabentyp stehen die folgenden Hilfsmittel zur Beschriftung zur Verfügung:

  • Ausrichten – Auftragnehmer können einen Quader um ein Objekt herum hinzufügen und eine Tastenkombination oder eine Menüoption verwenden, damit das -Autofit-Werkzeug den Quader fest um das Objekt herum ausrichtet.

  • Auf Boden platzieren – Nachdem ein Auftragnehmer der 3D-Szene einen Quader hinzugefügt hat, kann er den Quader automatisch am Boden ausrichten. Beispielsweise kann der Auftragnehmer diese Funktion verwenden, um einen Quader an der Straße oder dem Bürgersteig in der Szene auszurichten.

  • Multi-View-Beschriftung – Nachdem ein Auftragnehmer der 3D-Szene einen 3D-Quader hinzugefügt hat, werden in einem Seitenbereich Vorder-, Seiten- und obere Perspektiven angezeigt, um dem Auftragnehmer dabei zu helfen, den Quader fest um das Objekt herum auszurichten. In all diesen Ansichten enthält der Quader einen Pfeil, der die Ausrichtung oder den Fahrkurs des Objekts angibt. Wenn der Auftragnehmer den Quader anpasst, wird die Anpassung in Echtzeit in allen Ansichten angezeigt (d. h. in 3D, oben, seitlich und vorne).

  • Sensorfusion – Wenn Sie Daten für die Sensorfusion bereitstellen, können Auftragnehmer Anmerkungen in 3D-Szenen und 2D-Bildern anpassen, und die Anmerkungen werden in Echtzeit in die andere Ansicht projiziert. Darüber hinaus haben Auftragnehmer die Möglichkeit, die Richtung der Kamera und das Kamera-Frustum anzuzeigen.

  • Ansichtsoptionen – Ermöglicht Auftragnehmern das einfache Ausblenden oder Anzeigen von Quadern, Beschriftungstext, eines Bodengitters und zusätzlicher Punktattribute wie Farbe oder Intensität. Auftragnehmer können auch zwischen perspektivischen und orthogonalen Projektionen wählen.

Erstellen eines Kennzeichnungsauftrags der 3D-Punktwolken-Objekterkennung

Sie können einen Auftrag zur Kennzeichnung von 3D-Punktwolken mithilfe der SageMaker Konsole oder der API Operation, CreateLabelingJoberstellen. Um einen Kennzeichnungsauftrag für diesen Aufgabentyp zu erstellen, benötigen Sie Folgendes:

  • Eine Einzelframe-Eingabemanifestdatei. Informationen zum Erstellen dieser Art von Manifestdatei finden Sie unter Erstellen einer Punktwolkenframe-Eingabemanifestdatei. Wenn Sie ein neuer Benutzer von Ground-Truth-3D-Punktwolken-Beschriftungsmodalitäten sind, sollten Sie sich auch Akzeptierte 3D-Rohdatenformate ansehen.

  • Ein Arbeitsteam aus privaten oder Anbieterarbeitskräften. Sie können Amazon Mechanical Turk nicht für die Etikettierung von Videobildern verwenden. Informationen zum Erstellen von Arbeitskräften und Arbeitsteams finden Sie unter Arbeitskräfte.

Stellen Sie außerdem sicher, dass Sie die IAMBerechtigungen zur Nutzung von Ground Truth zuweisen angesehen und erfüllt haben.

In einem der folgenden Abschnitte erfahren Sie, wie Sie einen Label-Job mithilfe der Konsole oder einer erstellenAPI.

Erstellen eines Kennzeichnungsauftrags (Konsole)

Sie können den Anweisungen folgen, um zu erfahren, wie Sie Erstellen eines Kennzeichnungsauftrags (Konsole) in der SageMaker Konsole einen Auftrag zur 3D-Punktwolkenobjekterkennung erstellen. Beachten Sie beim Erstellen Ihres Kennzeichnungsauftrags Folgendes:

  • Bei Ihrer Eingabemanifestdatei muss es sich um eine Einzelframe-Manifestdatei handeln. Weitere Informationen finden Sie unter Erstellen einer Punktwolkenframe-Eingabemanifestdatei.

  • Optional können Sie Beschriftungskategorieattribute angeben. Auftragnehmer können Anmerkungen eines oder mehrere dieser Attribute zuweisen, um weitere Informationen zu diesem Objekt bereitzustellen. Sie können beispielsweise das Attribut okkludiert verwenden, damit Auftragnehmer erkennen, wenn ein Objekt teilweise behindert wird.

  • Das automatisierte Daten-Labeling und Anmerkungskonsolidierung wird für 3D-Punktwolken-Labeling-Aufgaben nicht unterstützt.

  • Kennzeichnungsaufträge der 3D-Punktwolken-Objekterkennung können mehrere Stunden in Anspruch nehmen. Sie können ein längeres Zeitlimit für diese Kennzeichnungsaufträge festlegen, wenn Sie Ihr Arbeitsteam auswählen (bis zu 7 Tage oder 604800 Sekunden).

Einen Labeling-Job erstellen (API)

In diesem Abschnitt werden Einzelheiten beschrieben, die Sie wissen müssen, wenn Sie mithilfe dieser SageMaker API Operation einen Label-Job erstellenCreateLabelingJob. Dadurch API wird dieser Vorgang für alle definiert AWS SDKs. Eine Liste der sprachspezifischen Sprachen, die für diesen Vorgang SDKs unterstützt werden, finden Sie im Abschnitt Siehe auch von. CreateLabelingJob

Erstellen eines Kennzeichnungsauftrags (API) bietet einen Überblick über die CreateLabelingJob-Operation. Befolgen Sie diese Anweisungen, und führen Sie die folgenden Schritte aus, während Sie Ihre Anforderung konfigurieren:

  • Sie müssen ein ARN für eingeben. HumanTaskUiArn Verwenden Sie arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudObjectDetection. Ersetzen Sie <region> durch die AWS -Region, in der Sie den Kennzeichnungsauftrag erstellen.

    Für den Parameter UiTemplateS3Uri sollte kein Eintrag vorhanden sein.

  • Bei Ihrer Eingabemanifestdatei muss es sich um eine Einzelframe-Manifestdatei handeln. Weitere Informationen finden Sie unter Erstellen einer Punktwolkenframe-Eingabemanifestdatei.

  • Sie geben Ihre Beschriftungen und Anweisungen für Auftragnehmer in einer Konfigurationsdatei der Beschriftungskategorie an. Informationen zum Erstellen dieser Datei finden Sie unter Konfigurationsdatei für die Beschriftungskategorie mit Referenz zu Labelkategorien und Rahmenattributen.

  • Sie müssen vordefinierte Lambda-Funktionen ARNs für die Pre-Annotation und Post-Annotation (ACS) angeben. Diese ARNs sind spezifisch für die AWS Region, die Sie für die Erstellung Ihres Labeling-Jobs verwenden.

    • Die Voranmerkung Lambda finden Sie ARN unter. PreHumanTaskLambdaArn Verwenden Sie die Region, in der Sie Ihren Labeling-Job erstellen, um den richtigen zu finden. ARN Wenn Sie beispielsweise Ihren Labeling-Job in us-east-1 erstellen, ARN wird dies der Fall sein. arn:aws:lambda:us-east-1:432418664414:function:PRE-3DPointCloudObjectDetection

    • Das Lambda nach der Anmerkung finden Sie ARN unter. AnnotationConsolidationLambdaArn Verwenden Sie die Region, in der Sie Ihren Labeling-Job erstellen, um den richtigen zu finden. ARN Wenn Sie beispielsweise Ihren Labeling-Job in us-east-1 erstellen, ARN wird dies der Fall sein. arn:aws:lambda:us-east-1:432418664414:function:ACS-3DPointCloudObjectDetection

  • Die Anzahl der in NumberOfHumanWorkersPerDataObject angegebenen Auftragnehmer muss 1 sein.

  • Das automatisierte Daten-Labeling wird für 3D-Punktwolken-Kennzeichnungsaufträge nicht unterstützt. Sie sollten keine Werte für Parameter in LabelingJobAlgorithmsConfig angeben.

  • Kennzeichnungsaufträge der 3D-Punktwolken-Objekterkennung können mehrere Stunden in Anspruch nehmen. Sie können ein längeres Zeitlimit für diese Kennzeichnungsaufträge in TaskTimeLimitInSeconds festlegen (bis zu 7 Tage oder 604.800 Sekunden).

Erstellen eines Beschriftungsauftrags der 3D-Punktwolken-Objekterkennung

Sie können mithilfe der Ground Truth Konsole oder einen Job zur Kennzeichnung von Anpassungen oder zur Überprüfung erstellen CreateLabelingJobAPI. Weitere Informationen zu Aufträgen zur Anpassung und Überprüfung von Beschriftungen und zum Erstellen eines solchen Auftrags finden Sie unter Beschriftungsverifizierung und Anpassung.

Wenn Sie einen Korrekturbeschriftungsauftrag erstellen, können Ihre Eingabedaten für den Beschriftungsauftrag Beschriftungen sowie Maße für Gier-, Neigungs- und Rollwinkel aus einem früheren Etikettierauftrag oder einer externen Quelle enthalten. Im Anpassungsauftrag werden Tonhöhe und Neigung in der Arbeitnehmer-Benutzeroberfläche visualisiert, können aber nicht geändert werden. Die Gierbewegung ist einstellbar.

Ground Truth verwendet Tait-Bryan-Winkel mit den folgenden intrinsischen Rotationen, um Gieren, Neigen und Rollen in der Arbeitnehmer-Benutzeroberfläche zu visualisieren. Zunächst wird das Fahrzeug entsprechend der Z-Achse gedreht (Gierbewegung). Als nächstes wird das gedrehte Fahrzeug entsprechend der intrinsischen Y'-Achse (Neigung) gedreht. Schließlich wird das Fahrzeug entsprechend der intrinsischen X“-Achse gedreht (Rollbewegung).

Format der Ausgabedaten

Wenn Sie einen Kennzeichnungsauftrag der 3D-Punktwolken-Objekterkennung erstellen, werden Aufgaben an Auftragnehmer gesendet. Wenn diese Auftragnehmer ihre Aufgaben ausführen, werden Beschriftungen in den Amazon-S3-Bucket geschrieben, den Sie beim Erstellen des Beschriftungsauftrags angegeben haben. Das Ausgabedatenformat bestimmt, was Sie in Ihrem Amazon S3 S3-Bucket sehen, wenn Ihr Labeling-Auftragsstatus (LabelingJobStatus) lautetCompleted.

Wenn Sie ein neuer Benutzer von Ground Truth sind, erfahren Sie unter Ausgabedaten des Jobs beschriften mehr über das Ausgabedatenformat von Ground Truth. Weitere Informationen zum Ausgabedatenformat der 3D-Punktwolken-Objekterkennung finden Sie unter Ausgabe der 3D-Punktwolken-Objekterkennung.