View a markdown version of this page

Trainiere 3D Gaussian Splatting anhand eines Videos auf Deadline Cloud - Deadline Cloud

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Trainiere 3D Gaussian Splatting anhand eines Videos auf Deadline Cloud

Das https://github.com/aws-deadline/deadline-cloud-samples/tree/mainline/job_bundles/gsplat_pipeline Auftragspaket gsplat_pipeline führt eine 3D-Gaussian Splatting-Pipeline aus. Das Paket verwendet eine Videodatei als Eingabe und erzeugt eine Gaussian Splatting-Datei als Ausgabe. .ply Nachdem Sie die Ausgabe heruntergeladen haben, können Sie sie in jedem Gaussian Splatting-Viewer wie z. SuperSplat

Die Pipeline führt eine einzelne Aufgabe aus, die:

  1. Extrahiert Videobilder mit FFmpeg.

  2. Wird Structure-from-Motion mit COLMAP und GLOMAP gelöst, wobei das Lochmodell und die unverzerrten Bilder gespeichert werden.

  3. Trainiert Gaussian Splatting mit NerF Studio Splatfacto, Splatfacto in the Wild oder dem Beispiel der gsplat Bibliothek simple_trainer.py. https://docs.nerf.studio/nerfology/methods/splatw.html https://docs.gsplat.studio/main/examples/colmap.html Die Ausgabe wird in der von .ply Ihnen angegebenen Datei gespeichert.

Um dieses Paket auszuführen, stellen Sie die CloudFormation CUDA-Farmvorlage bereit, um eine Deadline Cloud-Farm mit einer CUDA-GPU-Flotte zu erstellen. Erstellen Sie dann das Nerf Studio-Conda-Paket und veröffentlichen Sie es auf Ihrem S3-Conda-Kanal.

Wenn Sie nur den Standardtrainer NERFSTUDIO (Splatfacto) benötigen, benötigen Sie weder die CUDA-Farmvorlage noch das benutzerdefinierte Nerf Studio-Conda-Paket. Die Mindestanforderungen sind eine Deadline Cloud-Farm mit einer GPU-Flotte, eine Warteschlangenumgebung, die Folgendes beinhaltetconda-forge, und die folgenden Conda-Pakete:. ffmpeg colmap glomap nerfstudio cuda

Folgen Sie diesen Tipps, um ein brauchbares Video aufzunehmen:

  • Verwenden Sie ein weites Sichtfeld, sodass mehr Objekte in den Bildpaaren zur Verwendung Structure-from-Motion zur Verfügung stehen.

  • Schalten Sie die Videostabilisierung aus, um die gleiche Linsenoptik zwischen den Einzelbildern beizubehalten.

  • Nehmen Sie mit langsamer und gleichmäßiger Bewegung auf. Bewegen Sie die Kamera weiter und vermeiden Sie es, an einer einzigen Stelle anzuhalten und zu schwenken.

Senden Sie den Job aus dem job_bundles Verzeichnis des Proben-Repositorys ab:

deadline bundle gui-submit gsplat_pipeline

Wählen Sie auf der Registerkarte „Job-specific Einstellungen“ die Pfade sowohl für die Eingabevideodatei als auch für die .ply Ausgabedatei aus.

Eine vollständige Anleitung, die das Aufnehmen eines Videos, das Senden und Überwachen des Jobs sowie das Anzeigen des trainierten Ergebnisses behandelt, finden Sie unterTrainiere 3D Gaussian Splatting aus deinem eigenen Video.