View a markdown version of this page

Addestra 3D Gaussian Splatting da un video su Deadline Cloud - Deadline Cloud

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Addestra 3D Gaussian Splatting da un video su Deadline Cloud

Il job bundle gsplat_pipeline esegue una pipeline 3D Gaussian Splatting. https://aws.amazon.com/blogs/spatial/3d-gaussian-splatting-performant-3d-scene-reconstruction-at-scale/ Il pacchetto accetta un file video come input e produce un file Gaussian Splatting come output. .ply Dopo aver scaricato l'output, puoi visualizzarlo in qualsiasi visualizzatore Gaussian Splatting come. SuperSplat

La pipeline esegue una singola attività che:

  1. Estrae fotogrammi video con FFmpeg.

  2. Si risolve Structure-from-Motion con COLMAP e GLOMAP, salvando il modello stenopeico e le immagini non distorte.

  3. Allena Gaussian Splatting con NerF Studio splatfacto, Splatfacto in the Wild o l'esempio della libreria gsplat simple_trainer.py. https://docs.nerf.studio/nerfology/methods/splatw.html https://docs.gsplat.studio/main/examples/colmap.html L'output .ply viene salvato nel file specificato.

Per eseguire questo pacchetto, implementa il CloudFormation modello di farm CUDA per creare una farm Deadline Cloud con una flotta di GPU CUDA. Quindi crea il pacchetto conda NerF Studio e pubblicalo sul tuo canale conda S3.

Se hai bisogno solo del trainer predefinito NERFSTUDIO (splatfacto), non hai bisogno del modello di farm CUDA o del pacchetto conda personalizzato NerF Studio. I requisiti minimi sono una farm Deadline Cloud con un parco GPU, un ambiente di coda che includa e i seguenti pacchetti conda:. conda-forge ffmpeg colmap glomap nerfstudio cuda

Per catturare un video utilizzabile, segui questi suggerimenti:

  • Usa un campo visivo ampio in modo che più oggetti siano comuni tra le coppie di immagini Structure-from-Motion da utilizzare.

  • Disattivate la stabilizzazione video per mantenere l'ottica identica dell'obiettivo tra i fotogrammi.

  • Cattura con movimento lento e costante. Continua a muovere la fotocamera ed evita di fermarti e fare panoramiche da un'unica posizione.

Dalla job_bundles directory del repository dei campioni, invia il lavoro:

deadline bundle gui-submit gsplat_pipeline

Nella scheda delle Job-specific impostazioni, selezionate i percorsi sia per il file video di input che per il .ply file di output.

Per una procedura dettagliata completa che include la registrazione di un video, l'invio e il monitoraggio del lavoro e la visualizzazione del risultato del corso, consulta. Addestra 3D Gaussian Splatting dal tuo video