View a markdown version of this page

在 Deadline Cloud 上使用视频训练 3D 高斯飞溅 - 截止日期云

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在 Deadline Cloud 上使用视频训练 3D 高斯飞溅

gsplat_pipeline 任务包运行 3D 高斯喷射管道。该包将视频文件作为输入，并生成一个高斯喷射文件作为输出.ply。下载输出后，可以在任何 Gaussian Splatting 查看器中查看，例如。 SuperSplat

该管道运行的单个任务是：

  1. 使用 FFmp eg 提取视频帧。

  2. Structure-from-Motion 使用 COLMAP 和 GLOMAP 求解，保存针孔模型和未失真的图像。

  3. 使用 nerF Studio splatfacto 、Splatfacto in the Wild 或 simple_trainer.py g splat 库示例来训练高斯飞溅。 https://docs.gsplat.studio/main/examples/colmap.html输出将保存到您指定的.ply文件中。

要运行此捆绑包，请部署 CUDA 农场 CloudFormation 模板以创建具有 CUDA GPU 队列的 Deadline Cloud 农场。然后构建 nerF Studio conda 包并将其发布到你的 S3 conda 频道。

如果你只需要默认NERFSTUDIO（splatfacto）训练器，则不需要 CUDA 农场模板或自定义 nerF Studio conda 软件包。最低要求是具有GPU队列的截止日期云农场, 包括的队列环境conda-forge, 以及以下conda软件包:ffmpeg colmap glomap nerfstudio cuda.

要拍摄有用的视频，请遵循以下提示：

  • 使用较宽的视野，这样图像对之间有更多对象 Structure-from-Motion 可供使用。

  • 关闭视频防抖功能以保持帧间相同的镜头光学效果。

  • 用慢而稳定的动作拍摄。继续移动摄像机，避免在单个位置停下来平移。

从示例存储库的job_bundles目录中提交作业：

deadline bundle gui-submit gsplat_pipeline

在Job-specific 设置选项卡上，选择输入视频文件和输出.ply文件的路径。

有关包括捕获视频、提交和监控作业以及查看训练结果的完整演练，请参阅用你自己的视频训练 3D 高斯飞溅。