View a markdown version of this page

Pré-processamento - AMIs de deep learning da AWS

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Pré-processamento

O pré-processamento de dados por meio de transformações ou aumentos geralmente pode ser um CPU-bound processo, e isso pode ser o gargalo em seu pipeline geral. Estruturas têm operadores integrados para processamento de imagens, mas a DALI (Data Augmentation Library) demonstra um melhor desempenho em relação às opções integradas das estruturas.

  • NVIDIA Data Augmentation Library (DALI): a DALI minimiza o aumento dos dados para a GPU. Não é pré-instalada na DLAMI, mas você pode ter acesso instalando-a ou carregando um contêiner de estrutura compatível na sua DLAMI ou em outra instância do Amazon Elastic Compute Cloud. Consulte a página do projeto DALI no site do NVIDIA para obter detalhes. Para ver um exemplo de caso de uso e baixar amostras de código, consulte a amostra de desempenho do treinamento SageMaker de pré-processamento.

  • nvJpeg: uma biblioteca de decodificadores de JPEG para GPU-accelerated programadores C. Ela oferece suporte à decodificação de imagens ou lotes únicos, bem como operações de transformação subsequentes que são comuns em aprendizado profundo. A nvJPEG vem integrada à DALI, ou você pode fazer download da página nvjpeg do site da NVIDIA e usá-la separadamente.

Você pode estar interessado nesses outros tópicos sobre monitoramento e otimização de GPU: