预处理 - AWS Deep Learning AMIs

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

预处理

通过转换或增强进行数据预处理通常是一个CPU受限的过程,这可能是整个管道中的瓶颈。框架具有用于图像处理的内置运算符,但是DALI(数据增强库)的性能比框架的内置选项有所提高。

  • NVIDIA数据增强库 (DALI): DALI 将数据增强卸载到. GPU 它未预装在上DLAMI,但您可以通过在您的或其他亚马逊弹性计算云实例上安装DLAMI或加载支持的框架容器来访问它。详情请参阅NVIDIA网站上的DALI项目页面。有关示例用例和下载代码示例,请参阅 SageMaker 预处理训练性能示例。

  • nvJPEG:面向 GPU C 程序员的加速JPEG解码器库。它支持解码单个图像或批次,以及深度学习中常见的后续转换操作。nv JPEG 内置了DALI,或者你可以从NVIDIA网站的 nvjpeg 页面下载并单独使用。

您可能对有关GPU监控和优化的其他主题感兴趣: