大海

从今天起,做一个幸福的人

使用lmdb可以加速数据从磁盘读取的速度,查看了很多资料,记录一下

阅读全文 »

之前训练的时候只是把图像数据保存在磁盘上,通过torchvision Dataloader方式进行批量加载。最近遇到一个问题,就是批量加载ImageNet数据时发现程序运行很慢,但是cpu/gpu的使用率并不高,查询过后发现是遇到了磁盘io的瓶颈

除了使用更好的硬件(比如用固态硬盘替代机械硬盘)来解决问题外,在网上还找到了不少的软件优化方法:

  1. 打开dataloade pin_memory
  2. 替换数据预处理库
  3. 使用lmdb加快磁盘到cpu内存的io
  4. 使用prefetcher加快cpu内存到gpu内存的io
  5. 使用dali加速数据预处理
  6. 其他
阅读全文 »

距离上次系统性的整理文档快过去一年时间了。这一段时间以来,增加了很多新的内容,感脚之前的架构已经不能很好的匹配当前的知识储备,对于文章的保存和搜索也出现了越来越大的困难。从2/3月份开始,断断续续花费了近2个月的时间重新进行思考和整理,实现了一个相对而言更加合理、能够满足目前需求的架构

阅读全文 »

随着时间积累,文章越来越多,所有文档涉及到的领域也越来越复杂,对于博客管理产生了很大的困难。如何更有效的管理博客,最常用的方法就是通过类别和标签两个选项来进行内容的细分

阅读全文 »