论文：Learning Structured Sparsity in Deep Neural Networks
作者：Wei Wen, Chunpeng Wu, Yandan Wang, Yiran Chen, Hai Li
一作单位：University of Pittsburgh
录用情况：Neurips'2016
本文通过添加在滤波器数量、通道、形状维度以及深度上的group lasso正则化，让模型学习到结构化稀疏，后再微调；实验表明，这种结构化稀疏不需要很大的稀疏率就可以在多种设备上产生可观的加速效果，甚至还能减轻过拟合从而提升性能。
论文：Sparse Convolutional Neural Networks
作者：Baoyuan Liu, Min Wang, Hassan Foroosh, Marshall F. Tappen, Marianna Penksy
一作单位：Computational Imaging Lab, Computer Science, University of Central Florida, Orlando, FL, USA
录用情况：CVPR'2015
本文将卷积核两次分解，之后对第二次分解得到的“权重”矩阵进行稀疏化，对于ILSVRC2012数据集上训练的一个5层卷积层的网络，经过微调，在1%的性能损失下，获得了90%的稀疏率；尽管稀疏的算法在高度并行的GPU设备上并不吃香，但是对无GPU设备的加速仍有其意义，因此本文设计了在CPU上高效的稀疏矩阵乘法，获得了实质的推理加速；
论文：LCNN: Lookup-based Convolutional Neural Network
作者：Hessam Bagherinezhad, Mohammad Rastegari, Ali Farhadi
一作单位：University of Washington, XNOR.AI
录用情况：CVPR'2017
本文将卷积运算替换为学习一个字典和一组线性组合的权重，并提出了直接从头开始训练的方式，除了一般的分类实验，本文还证明了这种方法在few shot learning的提升，以及对网络初始迭代时收敛水平的提升等；在AlexNet的架构上的修改，该方法获得了55.1%的ImageNet top1准确率以及3.2倍的加速比；
论文：Efficient and Accurate Approximations of Nonlinear Convolutional Networks
作者：Xiangyu Zhang, Jianhua Zou, Xiang Ming, Kaiming He, Jian Sun
一作单位：Microsoft Research
录用情况：CVPR'2015
作者从卷积核沿着空间维度和通道维度展开后的低秩性入手，将其分解为更少的卷积核以及一系列1x1卷积；接着，作者考虑了卷积核后的非线性层的印象，设计了一个更加复杂的优化目标，并给出了优化算法；作者还考虑了多层误差累积现象，将优化目标改为“反对称”的；对于每一层的秩的选择，作者将其视为一个组合问题，用贪心法求解；在这一系列的策略下，SPPnet在字符分类精度损失0.7%的情况下获得了4.5倍加速比；
论文：Speeding up Convolutional Neural Networks with Low Rank Expansions
作者：Max Jaderberg, Andrea Vedaldi and Andrew Zisserman;
一作单位：Visual Geometry Group Department of Engineering Science University of Oxford
录用情况：BMVC'2014
本文在空间维度上对卷积的空间域进行低秩分解，提出了两种分解的Scheme，直接的和间接的，相比于只在空间域上分解卷积核，作者还利用了通道维度上的冗余性，将多个卷积核视为基的线性组合；对于从传统卷积核到分解后的结构，提出了两种优化方法，基于卷积核的重建和基于数据的重建；该可以用到任何一般的卷积层中去。
论文：Structured Convolutions for Efficient Neural Network Design
作者：Yash Bhalgat, Yizhe Zhang, Jamie Menjay Lin, Fatih Porikli
一作单位：Qualcomm AI Research
录用情况：Neurips'2020
本文提出了一种Structured Convolution，将传统的卷积运算分解为sum pooling操作和卷积核更小的卷积操作，从而能够获得更小、更快的推理模型；为了使得分解带来的损失更小，作者还设计了一种Structural Regularization的正则项添加到训练过程中。该方法不亚于先前的各种张量分解或者通道剪枝方法。笔者认为，本文的分解方法很有意思。
内容主要来自MIT EE364a课程slides和book；穿插着网络资源和少量自己的理解（这些内容不保证准确）
本文是重参数化的作者把这一方法做“透”了的一篇文章，在训练时用多路可以重参数化的结构不同的分支，在推理时合并起来；相比于先前的工作（ACNet和RepVGG），训练时的模型本身就在ImageNet上提点了，结合重参数化关于推理速度的卖点，这波是性能与速度的双赢；本文将主要关注代码实现；
模型压缩，包括低秩分解、剪枝、量化、蒸馏等技术，旨在精度损失很小的前提下，获得参数更小、推理速度更快的模型
论文：Exploiting Linear Structure Within Convolutional Networks for Efficient Evaluation
作者： Emily Denton, Wojciech Zaremba, Joan Bruna, Yann LeCun, Rob Fergus
录用情况：Neurips'2014
第一作者单位：Dept. of Computer Science, Courant Institute, New York University
笔者最近在做一些用SVD分解卷积核的小实验，并且也在想该如何设计目标函数，让重参数化这件事变成可学习的？然后我发现早在14年就有人做了相关问题的研究；笔者看来，这篇文章的贡献为：
- 给出了一种评估压缩后卷积核好坏的方式，并且通过在线学习的方式，修改了反向传播的梯度（不确定是不是这样）
- 归纳并尝试了对于高维张量的两种分解方法：SVD分解和外积分解；
- 结合聚类方法，针对浅层卷积和深层卷积的不同性质，设计了单色估计方法和双色估计方法；
- 给出一种微调方式：从最浅层开始，压缩一层，然后微调其上所有层，直至性能恢复，如此循环，看能最多压缩多少层；
作者在实验部分用了比较老的模型，仅4层卷积和3层全连接层，现在来看非常简单，但是很适合做一个demo，然而作者原始的C++代码链接已经失效了
