基于内容的图像检索

整理一些基于内容的图像检索（Content-Based Image Retrieval, CBIR）相关的文章、论文和实现

概念

• CBIR(content-based image retrieval)：通过分析图像内容来搜索相似图像；
• semantic gap（语义墙）：机器捕获的低级图像像素与人类感知的高级语义概念之间存在的鸿沟。

文章

• 概述
  • 知物由学 | 图像检索技术怎样准如“雷达”，从一张到亿张精准定位图片违规？
  • 微信「扫一扫识物」 的背后技术揭秘
  • 10亿级！淘宝大规模图像检索引擎算法设计概览
  • 【TPAMI重磅综述】 SIFT与CNN的碰撞：万字长文回顾图像检索任务十年探索历程（上篇）
  • 【TPAMI重磅综述】 SIFT与CNN的碰撞：万字长文回顾图像检索任务十年探索历程（下篇）
• 综述
  • R Talk | 旷视南京研究院魏秀参：细粒度图像分析综述
  • 2021图像检索综述
• 讨论
  • 深度学习如何有效的用于图像检索?
  • 做图像检索，图像库从哪儿能下载到？
• 博客
  • 袁勇博客：这老哥从事了很多年的CBIR实战
    • 图像检索：基于内容的图像检索技术
    • willard-yuan/awesome-cbir-papers：大量CBIR相关的论文和实现
    • Image Retrieval（共30篇）：作者编写的心得体会
  • 自定义（图像搜索引擎入门菜鸟）：相关论文、实现算法解析
    • 图像检索/image retrieval

论文

• 2021
  • Robust and Decomposable Average Precision for Image Retrieval
  • Rethinking the Optimization of Average Precision: Only Penalizing Negative Instances before Positive Ones is Enough
  • Deep Learning for Instance Retrieval: A Survey
  • Fine-Grained Image Analysis with Deep Learning: A Survey
• 2020
  • A Decade Survey of Content Based Image Retrieval using Deep Learning
  • Smooth-AP: Smoothing the Path Towards Large-Scale Image Retrieval
  • PyRetri: A PyTorch-based Library for Unsupervised Image Retrieval by Deep Convolutional Neural Networks
• 2019
  • Learning with Average Precision: Training Image Retrieval with a Listwise Loss
  • Deep Learning for Fine-Grained Image Analysis: A Survey
  • A Benchmark on Tricks for Large-scale Image Retrieval
• 2017
  • Fine-tuning CNN Image Retrieval with No Human Annotation
• 2016
  • End-to-end Learning of Deep Visual Representations for Image Retrieval
  • Deep Image Retrieval: Learning global representations for image search
• 2015
  • Particular object retrieval with integral max-pooling of CNN activations
  • Cross-dimensional Weighting for Aggregated Deep Convolutional Features
  • 论文首先总结过去的实现，提出一个基于卷积神经网络输出特征的通用聚合框架，然后在其中空间加权和通道加权两个阶段提出自己的无参数增强方案CroW，通过实验证明了其有效性。
  • Deep Learning of Binary Hash Codes for Fast Image Retrieval
  • 在深度网络中嵌入二值哈希码的学习，同时训练分类模型以及类哈希函数，能够兼容检索精度（深度网络）和检索时间（类哈希码）
  • Aggregating Deep Convolutional Features for Image Retrieval
  • 很好的介绍了传统的人工特征方式构造全局特征描述符的过程，证明了深度卷积特征区别于传统人工特征，并且探索了基于深度卷积特征构造全局描述符的新范式（设计了基于求和池化的SPoC描述符）
• 2014
  • Deep Learning for Content-Based Image Retrieval: A Comprehensive Study
  • 14年的一篇综述，调查了深度网络特征对于CBIR任务的提高。今天（22年）来看很简单的实现，不过重新回顾一下还是很有意思的
  • Visual Instance Retrieval with Deep Convolutional Networks
  • 从之前的全连接层特征研究开始转向卷积层特征研究，针对空间特征设计了多尺度搜索以及空间最大池化操作，实现效率和实用性上并不突出

实现

• 数据集
  • The Oxford Buildings Dataset
  • The Paris Dataset
  • Revisiting Oxford and Paris
  • Google Landmarks Dataset v2 -- A Large-Scale Benchmark for Instance-Level Recognition and Retrieval
• 实现
  • PyRetri/PyRetri
  • 2020年南理工魏秀参团队发布的图像检索框架，目前来看是Github上最全面的图像检索基准框架
  • naver/deep-image-retrieval
  • 2019年发布的图像检索仓库，基于两篇论文（End-to-end Learning [2017]和Listwise Loss [2019]）
  • leeesangwon/PyTorch-Image-Retrieval
  • 2019年发布的图像检索仓库，基于两篇论文（N-pair Loss [2016]和Angular Loss [2017]）
  • filipradenovic/cnnimageretrieval-pytorch
  • 2018年Filip Radenovic发布的图像检索仓库，基于两篇论文（Fine-tuning CNN Image Retrieval [2018]和CNN Image Retrieval Learns from BoW [2016]）
  • pochih/CBIR
  • 2017年发布的图像检索仓库，提供了不少基于传统图像处理算法的检索算法实现
  • zhaotaomcp/CBIR
  • 2017年发布的图像检索仓库，基于一篇论文（Deep Learning of Binary Hash Codes for Fast Image Retrieval）
  • willard-yuan/cnn-cbir-benchmark
  • 2017年发布的图像检索仓库，提供了VLAD算法和一些深度学习算法实现
  • flyingpot/pytorch_deephash
  • 2017年发布的图像检索仓库，同样基于论文Deep Learning of Binary Hash Codes for Fast Image Retrieval
• 自定义
  • zjykzj/SimpleIR
  • 主要参考ZCls2和PyRetri自定义实现的图像检索框架
  • zjykzj/crow-pytorch
  • 使用Pytorch扩展了2015年论文CroW官方实现YahooArchive/crow