大海

从今天起,做一个幸福的人

使用lmdb可以加速数据从磁盘读取的速度,查看了很多资料,记录一下

阅读全文 »

之前训练的时候只是把图像数据保存在磁盘上,通过torchvision Dataloader方式进行批量加载。最近遇到一个问题,就是批量加载ImageNet数据时发现程序运行很慢,但是cpu/gpu的使用率并不高,查询过后发现是遇到了磁盘io的瓶颈

除了使用更好的硬件(比如用固态硬盘替代机械硬盘)来解决问题外,在网上还找到了不少的软件优化方法:

  1. 打开dataloade pin_memory
  2. 替换数据预处理库
  3. 使用lmdb加快磁盘到cpu内存的io
  4. 使用prefetcher加快cpu内存到gpu内存的io
  5. 使用dali加速数据预处理
  6. 其他
阅读全文 »

距离上次系统性的整理文档快过去一年时间了。这一段时间以来,增加了很多新的内容,感脚之前的架构已经不能很好的匹配当前的知识储备,对于文章的保存和搜索也出现了越来越大的困难。从2/3月份开始,断断续续花费了近2个月的时间重新进行思考和整理,实现了一个相对而言更加合理、能够满足目前需求的架构

阅读全文 »

随着时间积累,文章越来越多,所有文档涉及到的领域也越来越复杂,对于博客管理产生了很大的困难。如何更有效的管理博客,最常用的方法就是通过类别和标签两个选项来进行内容的细分

阅读全文 »

最近B站上一大堆的投资理财视频,各路人马,不管是不是从事理财金融行业的,都开始了自己的财富自由之旅。不过,有唱多的就有唱衰的,也有一些up主提醒韭菜们不要盲目理财,其中有一个概念很有意思,就是不可能三角(impossible trinity

阅读全文 »

作为一名程序员,不仅仅需要知道什么是计算机网络、计算机组成、操作系统、数据结构和算法,还需要知道如何编写App、如何搭建Web服务器、如何部署Docker容器等等。总之要学习的内容很多,只不过什么时候需要学习哪一部分内容,自己掌握了哪一方面,这些问题也需要不断的思考和总结

阅读全文 »

2020年过去了,发生了很多事,自己的生活也有了很大的变化,记录一下。

阅读全文 »