View a markdown version of this page

Entrena salpicaduras gaussianas en 3D a partir de un vídeo en Deadline Cloud - Nube de plazos

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Entrena salpicaduras gaussianas en 3D a partir de un vídeo en Deadline Cloud

El paquete de tareas gsplat_pipeline ejecuta una canalización de salpicaduras gaussianas en 3D. El paquete toma un archivo de vídeo como entrada y produce un archivo de salpicaduras gaussianas como salida. .ply Tras descargar el resultado, podrá verlo en cualquier visor de salpicaduras gaussianas, por ejemplo. SuperSplat

La canalización ejecuta una sola tarea que:

  1. Extrae fotogramas de vídeo con FFmpeg.

  2. Se resuelve Structure-from-Motion con COLMAP y GLOMAP, guardando el modelo estenopeico y las imágenes no distorsionadas.

  3. Entrena las salpicaduras gaussianas con nRF Studio splatfacto, Splatfacto in the Wild o la biblioteca gsplat de simple_trainer.py. El resultado se .ply guarda en el archivo que especifique.

Para ejecutar este paquete, implemente la CloudFormation plantilla de granja CUDA para crear una granja de Deadline Cloud con una flota de GPU CUDA. A continuación, cree el paquete conda de nRF Studio y publíquelo en su canal conda de S3.

Si solo necesitas el entrenador predeterminado NERFSTUDIO (splatfacto), no necesitas la plantilla de granja CUDA ni el paquete conda personalizado de NeRF Studio. Los requisitos mínimos son una granja de Deadline Cloud con una flota de GPU, un entorno de colas que incluya y los siguientes paquetes de conda-forge conda:. ffmpeg colmap glomap nerfstudio cuda

Para capturar un vídeo utilizable, sigue estos consejos:

  • Utilice un campo de visión amplio para que haya más objetos comunes entre los pares de imágenes Structure-from-Motion que desee utilizar.

  • Desactive la estabilización de vídeo para conservar una óptica de lente idéntica entre fotogramas.

  • Captura con cámara lenta y constante. Siga moviendo la cámara y evite detenerse y realizar panorámicas desde un solo lugar.

Desde el job_bundles directorio del repositorio de muestras, envíe el trabajo:

deadline bundle gui-submit gsplat_pipeline

En la pestaña de Job-specific configuración, seleccione las rutas tanto para el archivo de vídeo de entrada como para el .ply archivo de salida.