Ashun's Blog

我的学习记录

Ashun's Blog

本文主要记录了对ContrastiveSeg(论文,代码)的作者公开的代码的阅读和分析;

这篇论文提出的方法,从实现上来看,就是对于训练时模型添加了一个与分类头平行的投影头,添加了一个语义空间中的像素对比损失;按照对比对象来看,对比损失又分为两种实现,一种是mini-batch内的自对比,一种是mini-batch到memory bank的对比;在为对比损失挑选正负样本时,还先后设计了segmentation-awared hard anchor sampling用于从mini-batch中采样作为损失函数中的anchor feature,以及semi-hard example sampling用于从memory bank中采样作为损失函数的contrast feature(example sampling部分作者暂未开源实现)。

阅读全文 »

论文Learning Structured Sparsity in Deep Neural Networks

作者Wei Wen, Chunpeng Wu, Yandan Wang, Yiran Chen, Hai Li

一作单位:University of Pittsburgh

录用情况:Neurips'2016

本文通过添加在滤波器数量、通道、形状维度以及深度上的group lasso正则化,让模型学习到结构化稀疏,后再微调;实验表明,这种结构化稀疏不需要很大的稀疏率就可以在多种设备上产生可观的加速效果,甚至还能减轻过拟合从而提升性能。

阅读全文 »
0%