View a markdown version of this page

Addestra 3D Gaussian Splatting da un video su Deadline Cloud - Deadline Cloud

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Addestra 3D Gaussian Splatting da un video su Deadline Cloud

Il job bundle gsplat_pipeline sul GitHub sito Web esegue una pipeline 3D Gaussian Splatting. https://aws.amazon.com/blogs/spatial/3d-gaussian-splatting-performant-3d-scene-reconstruction-at-scale/ Il pacchetto accetta un file video come input e produce un file Gaussian Splatting come output. .ply Dopo aver scaricato l'output, è possibile visualizzarlo in qualsiasi visualizzatore Gaussian Splatting, ad esempio sul sito Web. SuperSplat GitHub

La pipeline esegue una singola attività che esegue i seguenti passaggi:

  1. Estrae fotogrammi video con FFmpeg sul sito Web FFmpeg.

  2. Si risolve Structure-from-Motion con COLMAP sul sito Web COLMAP e GLOMAP sul sito Web, salvando il modello stenopeico e le GitHub immagini non distorte.

  3. Allena Gaussian Splatting con uno dei tre trainer disponibili: NerF Studio splatfacto sul sito Nerfstudio, Splatfacto in the Wild sul sito Nerfstudio o l'esempio della libreria gsplat simple_trainer.py sul sito gsplat. https://docs.gsplat.studio/main/examples/colmap.html L'output viene salvato nel file specificato. .ply

Per eseguire questo pacchetto, implementa il CloudFormation modello di farm CUDA sul GitHub sito Web per creare una farm Deadline Cloud con una flotta di GPU CUDA. Quindi crea il pacchetto conda NerF Studio sul GitHub sito Web e pubblicalo sul tuo canale conda S3.

Se ti serve solo il trainer predefinito NERFSTUDIO (splatfacto), non hai bisogno del modello CUDA farm o del pacchetto conda personalizzato NerF Studio. I requisiti minimi sono una farm Deadline Cloud con un parco GPU, un ambiente di coda che includa e i seguenti pacchetti conda:. conda-forge ffmpeg colmap glomap nerfstudio cuda

Per catturare un video utilizzabile, segui questi suggerimenti:

  • Usa un campo visivo ampio in modo che più oggetti siano comuni tra le coppie di immagini Structure-from-Motion da utilizzare.

  • Disattivate la stabilizzazione video per mantenere l'ottica identica dell'obiettivo tra i fotogrammi.

  • Cattura con movimento lento e costante. Continua a muovere la fotocamera ed evita di fermarti e fare una panoramica da un'unica posizione.

Dalla job_bundles directory del repository dei campioni, invia il lavoro:

deadline bundle gui-submit gsplat_pipeline

Nella scheda delle Job-specific impostazioni, selezionate i percorsi sia per il file video di input che per il .ply file di output.

Per una procedura dettagliata completa che include la registrazione di un video, l'invio e il monitoraggio del lavoro e la visualizzazione del risultato del corso, consulta. Addestra 3D Gaussian Splatting dal tuo video