View a markdown version of this page

Latih 3D Gaussian Splatting dari video di Deadline Cloud - Awan Batas Waktu

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Latih 3D Gaussian Splatting dari video di Deadline Cloud

Bundel pekerjaan gsplat_pipeline menjalankan pipeline 3D Gaussian Splatting. Bundel mengambil file video sebagai input dan menghasilkan file Gaussian Splatting .ply sebagai output. Setelah mengunduh output, Anda dapat melihatnya di penampil Gaussian Splatting seperti. SuperSplat

Pipeline menjalankan satu tugas yang:

  1. Mengekstrak bingkai video dengan FFmpeg.

  2. Memec Structure-from-Motion ahkan dengan COLMAP dan GLOMAP, menyimpan model lubang jarum dan gambar yang tidak terdistorsi.

  3. Melatih Gaussian Splatting dengan Ne RF Studio splatfacto, Splatfacto in the Wild, atau contoh perpustakaan gsplat simple_trainer.py. https://docs.gsplat.studio/main/examples/colmap.html Output disimpan ke .ply file yang Anda tentukan.

Untuk menjalankan bundel ini, gunakan CloudFormation template CUDA farm untuk membuat Deadline Cloud farm dengan armada GPU CUDA. Kemudian buat paket conda Ne RF Studio dan publikasikan ke saluran conda S3 Anda.

Jika Anda hanya memerlukan pelatih default NERFSTUDIO (splatfacto), Anda tidak memerlukan template pertanian CUDA atau paket conda NeRF Studio khusus. Persyaratan minimum adalah farm Deadline Cloud dengan armada GPU, lingkungan antrian yang mencakupconda-forge, dan paket conda berikut:ffmpeg colmap glomap nerfstudio cuda.

Untuk merekam video yang dapat digunakan, ikuti tips berikut:

  • Gunakan bidang pandang yang luas sehingga lebih banyak objek umum di antara pasangan gambar Structure-from-Motion untuk digunakan.

  • Matikan stabilisasi video untuk mempertahankan optik lensa yang identik di antara bingkai.

  • Tangkap dengan gerakan lambat dan mantap. Terus gerakkan kamera dan hindari berhenti dan menggeser dari satu lokasi.

Dari job_bundles direktori repositori sampel, kirimkan pekerjaan:

deadline bundle gui-submit gsplat_pipeline

Pada tab Job-specific pengaturan, pilih jalur untuk file video input dan .ply file output.

Untuk panduan lengkap yang mencakup pengambilan video, pengiriman dan pemantauan pekerjaan, dan melihat hasil terlatih, lihatLatih 3D Gaussian Splatting dari video Anda sendiri.