View a markdown version of this page

Entrene la salpicadura gaussiana 3D a partir de vídeo en Deadline Cloud - Deadline Cloud

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Entrene la salpicadura gaussiana 3D a partir de vídeo en Deadline Cloud

El paquete de trabajos gsplat_pipeline del GitHub sitio web ejecuta una canalización gaussiana 3D de Splatting. El paquete toma un archivo de vídeo como entrada y produce un archivo Gaussian Splatting como salida. .ply Después de descargar la salida, puede verla en cualquier visor de Gaussian Splatting, como en el sitio web. SuperSplat GitHub

La canalización ejecuta una sola tarea que lleva a cabo los siguientes pasos:

  1. Extrae fotogramas de vídeo con FFmpeg en el sitio web de FFmpeg.

  2. Se soluciona Structure-from-Motion con COLMAP en el sitio web de COLMAP y GLOMAP en el sitio web, guardando el modelo estenopeico y las imágenes GitHub sin distorsiones.

  3. Entrena Gaussian Splatting con uno de estos tres entrenadores: NerF Studio splatfacto en el sitio web de Nerfstudio, Splatfacto in the Wild en el sitio web de Nerfstudio o el ejemplo de la biblioteca gsplat de simple_trainer.py en el sitio web de gsplat. https://docs.gsplat.studio/main/examples/colmap.html La salida .ply se guarda en el archivo que especifique.

Para ejecutar este paquete, implemente la CloudFormation plantilla de granja CUDA en el sitio GitHub web para crear una granja de Deadline Cloud con una flota de GPU CUDA. A continuación, cree el paquete conda de NerF Studio en el sitio GitHub web y publíquelo en su canal conda de S3.

Si solo necesitas el entrenador predeterminado NERFSTUDIO (splatfacto), no necesitas la plantilla de granja de CUDA ni el paquete conda personalizado de NerF Studio. Los requisitos mínimos son una granja de Deadline Cloud con una flota de GPU, un entorno de colas que incluya y los siguientes paquetes de conda-forge conda:. ffmpeg colmap glomap nerfstudio cuda

Para capturar un video utilizable, sigue estos consejos:

  • Utilice un campo de visión amplio para que haya más objetos comunes entre los pares de imágenes Structure-from-Motion que desee utilizar.

  • Desactive la estabilización de vídeo para conservar una óptica de lente idéntica entre fotogramas.

  • Captura con cámara lenta y constante. Mantén la cámara en movimiento y evita detenerte y desplazarte panorámicamente desde una sola ubicación.

Desde el job_bundles directorio del repositorio de muestras, envíe el trabajo:

deadline bundle gui-submit gsplat_pipeline

En la pestaña de Job-specific configuración, seleccione las rutas tanto para el archivo de vídeo de entrada como para el .ply archivo de salida.

Para ver un tutorial completo sobre cómo capturar un vídeo, enviar y supervisar el trabajo y ver el resultado de la capacitación, consulteEntrena el Gaussian Splatting en 3D a partir de tu propio vídeo.