View a markdown version of this page

Entraînez le Gaussian Splatting en 3D à partir d'une vidéo sur Deadline Cloud - Deadline Cloud

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Entraînez le Gaussian Splatting en 3D à partir d'une vidéo sur Deadline Cloud

Le job bundle gsplat_pipeline exécute un pipeline Gaussian Splatting 3D. Le bundle prend un fichier vidéo en entrée et produit un fichier Gaussian Splatting en sortie. .ply Après avoir téléchargé la sortie, vous pouvez la visualiser dans n'importe quel visualiseur Gaussian Splatting tel que. SuperSplat

Le pipeline exécute une tâche unique qui :

  1. Extrait des images vidéo avec FFmpeg.

  2. Résout Structure-from-Motion avec COLMAP et GLOMAP, en enregistrant le modèle du sténopé et des images non déformées.

  3. Entraîne Gaussian Splatting avec NerF Studio splatfacto, Splatfacto in the Wild ou l'exemple de bibliothèque gsplat simple_trainer.py. https://docs.gsplat.studio/main/examples/colmap.html La sortie est enregistrée dans le .ply fichier que vous spécifiez.

Pour exécuter ce bundle, déployez le CloudFormation modèle de parc CUDA afin de créer un parc Deadline Cloud avec un parc de GPU CUDA. Créez ensuite le package conda NerF Studio et publiez-le sur votre canal S3 Conda.

Si vous n'avez besoin que du formateur par défaut NERFSTUDIO (splatfacto), vous n'avez pas besoin du modèle de ferme CUDA ou du package conda personnalisé NerF Studio. Les exigences minimales sont une ferme Deadline Cloud avec une flotte de GPU, un environnement de file d'attente qui inclut conda-forge et les packages conda suivants :ffmpeg colmap glomap nerfstudio cuda.

Pour capturer une vidéo utilisable, suivez ces conseils :

  • Utilisez un large champ de vision afin que davantage d'objets soient communs entre les paires d'images Structure-from-Motion à utiliser.

  • Désactivez la stabilisation vidéo pour conserver une optique d'objectif identique entre les images.

  • Capturez avec des mouvements lents et réguliers. Continuez à déplacer la caméra et évitez de vous arrêter et de vous déplacer depuis un seul endroit.

Depuis le job_bundles répertoire du référentiel d'échantillons, soumettez la tâche :

deadline bundle gui-submit gsplat_pipeline

Dans l'onglet Job-specific Paramètres, sélectionnez les chemins du fichier vidéo d'entrée et du .ply fichier de sortie.

Pour une procédure pas à pas complète qui couvre la capture d'une vidéo, la soumission et le suivi de la tâche, ainsi que l'affichage du résultat de la formation, voirEntraînez-vous au 3D Gaussian Splatting à partir de votre propre vidéo.