View a markdown version of this page

Entraînez le Gaussian Splatting en 3D à partir d'une vidéo sur Deadline Cloud - Deadline Cloud

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Entraînez le Gaussian Splatting en 3D à partir d'une vidéo sur Deadline Cloud

Le bundle de tâches gsplat_pipeline sur le GitHub site Web exécute un pipeline Gaussian Splatting 3D. Le bundle prend un fichier vidéo en entrée et produit un fichier Gaussian Splatting en sortie. .ply Après avoir téléchargé la sortie, vous pouvez la visualiser dans n'importe quel visualiseur Gaussian Splatting, comme SuperSplat sur le site Web. GitHub

Le pipeline exécute une tâche unique qui exécute les étapes suivantes :

  1. Extrait des images vidéo avec FFmpeg sur le site Web de FFmpeg.

  2. Résout Structure-from-Motion avec COLMAP sur le site Web de COLMAP et GLOMAP sur le site GitHub Web, en enregistrant le modèle de sténopé et les images non déformées.

  3. Entraîne Gaussian Splatting à l'aide de l'un des trois formateurs suivants : Nerf Studio splatfacto sur le site Web de Nerfstudio, Splatfacto in the Wild sur le site Web de Nerfstudio, ou l'exemple de bibliothèque gsplat simple_trainer.py sur le site Web de gsplat. https://docs.gsplat.studio/main/examples/colmap.html La sortie est enregistrée dans le .ply fichier que vous spécifiez.

Pour exécuter ce bundle, déployez le CloudFormation modèle de parc CUDA sur le GitHub site Web afin de créer un parc Deadline Cloud avec une flotte de GPU CUDA. Créez ensuite le package conda NerF Studio sur le GitHub site Web et publiez-le sur votre chaîne S3 Conda.

Si vous n'avez besoin que du formateur par défaut NERFSTUDIO (splatfacto), vous n'avez pas besoin du modèle de ferme CUDA ou du package conda personnalisé NerF Studio. Les exigences minimales sont une ferme Deadline Cloud avec une flotte de GPU, un environnement de file d'attente qui inclut conda-forge et les packages conda suivants :ffmpeg colmap glomap nerfstudio cuda.

Pour capturer une vidéo utilisable, suivez ces conseils :

  • Utilisez un large champ de vision afin que davantage d'objets soient communs entre les paires d'images Structure-from-Motion à utiliser.

  • Désactivez la stabilisation vidéo pour conserver une optique d'objectif identique entre les images.

  • Capturez avec des mouvements lents et réguliers. Continuez à déplacer la caméra et évitez de vous arrêter et de vous déplacer depuis un seul endroit.

Depuis le job_bundles répertoire du référentiel d'échantillons, soumettez la tâche :

deadline bundle gui-submit gsplat_pipeline

Dans l'onglet Job-specific Paramètres, sélectionnez les chemins du fichier vidéo d'entrée et du .ply fichier de sortie.

Pour une procédure pas à pas complète qui couvre la capture d'une vidéo, la soumission et le suivi de la tâche, ainsi que l'affichage du résultat de la formation, voirEntraînez-vous au 3D Gaussian Splatting à partir de votre propre vidéo.