View a markdown version of this page

Treine o Gaussian Splatting 3D a partir de vídeo no Deadline Cloud - Deadline Cloud

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Treine o Gaussian Splatting 3D a partir de vídeo no Deadline Cloud

O pacote de tarefas gsplat_pipeline executa um pipeline 3D Gaussian Splatting. O pacote pega um arquivo de vídeo como entrada e produz um arquivo Gaussian .ply Splatting como saída. Depois de baixar a saída, você pode visualizá-la em qualquer visualizador Gaussian Splatting, como. SuperSplat

O pipeline executa uma única tarefa que:

  1. Extrai quadros de vídeo com https://www.ffmpeg.org/ FFmpeg.

  2. Resolve Structure-from-Motion com COLMAP e GLOMAP, salvando o modelo pinhole e imagens sem distorção.

  3. Treina Gaussian Splatting com NerF Studio splatfacto, Splatfacto in the Wild ou o exemplo da biblioteca simple_trainer.py gsplat. https://docs.gsplat.studio/main/examples/colmap.html A saída é salva no .ply arquivo que você especificar.

Para executar esse pacote, implante o CloudFormation modelo de farm CUDA para criar um farm Deadline Cloud com uma frota de GPU CUDA. Em seguida, crie o pacote conda do NerF Studio e publique-o em seu canal conda do S3.

Se você só precisa do treinador padrão NERFSTUDIO (esplatfacto), não precisa do modelo de fazenda CUDA ou do pacote conda NerF Studio personalizado. Os requisitos mínimos são um Deadline Cloud farm com uma frota de GPU, um ambiente de fila que incluiconda-forge, e os seguintes pacotes conda:. ffmpeg colmap glomap nerfstudio cuda

Para capturar um vídeo utilizável, siga estas dicas:

  • Use um amplo campo de visão para que mais objetos sejam comuns entre os pares de imagens Structure-from-Motion para serem usados.

  • Desative a estabilização de vídeo para preservar a ótica da lente idêntica entre os quadros.

  • Capture com movimento lento e constante. Continue movendo a câmera e evite parar e girar a partir de um único local.

No job_bundles diretório do repositório de amostras, envie o trabalho:

deadline bundle gui-submit gsplat_pipeline

Na guia de Job-specific configurações, selecione caminhos para o arquivo de vídeo de entrada e o .ply arquivo de saída.

Para obter uma explicação completa que abrange a captura de um vídeo, o envio e o monitoramento do trabalho e a visualização do resultado treinado, consulte. Treine Gaussian Splatting 3D a partir do seu próprio vídeo