View a markdown version of this page

Latih 3D Gaussian Splatting dari video di Deadline Cloud - Awan Batas Waktu

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Latih 3D Gaussian Splatting dari video di Deadline Cloud

Bundel pekerjaan gsplat_pipeline di GitHub situs web menjalankan pipeline 3D Gaussian Splatting. Bundel mengambil file video sebagai input dan menghasilkan file Gaussian Splatting .ply sebagai output. Setelah mengunduh output, Anda dapat melihatnya di penampil Gaussian Splatting seperti SuperSplat di situs web. GitHub

Pipeline menjalankan tugas tunggal yang melakukan langkah-langkah berikut:

  1. Mengekstrak bingkai video dengan FFmpeg di situs web FFmpeg.

  2. Memec Structure-from-Motion ahkan dengan COLMAP di situs web COLMAP dan GLOMAP di situs GitHub web, menyimpan model lubang jarum dan gambar yang tidak terdistorsi.

  3. Melatih Gaussian Splatting dengan salah satu dari tiga pelatih: NerF Studio splatfacto di situs web Nerfstudio, Splatfacto in the Wild di situs web Nerfstudio, atau contoh perpustakaan gsplat simple_trainer.py di situs web gsplat. https://docs.gsplat.studio/main/examples/colmap.html Output disimpan ke .ply file yang Anda tentukan.

Untuk menjalankan bundel ini, gunakan CloudFormation template CUDA farm di GitHub situs web untuk membuat Deadline Cloud farm dengan armada GPU CUDA. Kemudian buat paket conda NerF Studio di GitHub situs web dan publikasikan ke saluran conda S3 Anda.

Jika Anda hanya memerlukan pelatih default NERFSTUDIO (splatfacto), Anda tidak memerlukan template pertanian CUDA atau paket conda NeRF Studio khusus. Persyaratan minimum adalah farm Deadline Cloud dengan armada GPU, lingkungan antrian yang mencakupconda-forge, dan paket conda berikut:ffmpeg colmap glomap nerfstudio cuda.

Untuk merekam video yang dapat digunakan, ikuti tips berikut:

  • Gunakan bidang pandang yang luas sehingga lebih banyak objek umum di antara pasangan gambar Structure-from-Motion untuk digunakan.

  • Matikan stabilisasi video untuk mempertahankan optik lensa yang identik di antara bingkai.

  • Tangkap dengan gerakan lambat dan stabil. Terus gerakkan kamera dan hindari berhenti dan menggeser dari satu lokasi.

Dari job_bundles direktori repositori sampel, kirimkan pekerjaan:

deadline bundle gui-submit gsplat_pipeline

Pada tab Job-specific pengaturan, pilih jalur untuk file video input dan .ply file output.

Untuk panduan lengkap yang mencakup pengambilan video, pengiriman dan pemantauan pekerjaan, dan melihat hasil terlatih, lihatLatih 3D Gaussian Splatting dari video Anda sendiri.