Ashun's Blog

本文记录开放世界语义分割相关工作。包括Zero Shot语义分割的工作。

笔者主要基于原论文和优秀博客，二次总结自己的一些理解

本文主要串讲以下工作

• Max-DeepLab
• MaskFormer
• Mask2Former

本文主要记录了对ContrastiveSeg(论文,代码)的作者公开的代码的阅读和分析；

这篇论文提出的方法，从实现上来看，就是对于训练时模型添加了一个与分类头平行的投影头，添加了一个语义空间中的像素对比损失；按照对比对象来看，对比损失又分为两种实现，一种是mini-batch内的自对比，一种是mini-batch到memory bank的对比；在为对比损失挑选正负样本时，还先后设计了segmentation-awared hard anchor sampling用于从mini-batch中采样作为损失函数中的anchor feature，以及semi-hard example sampling用于从memory bank中采样作为损失函数的contrast feature（example sampling部分作者暂未开源实现）。

新坑+1

记录一下笔者最近调研的几篇把CLIP等多模态预训练模型用在语义分割任务上的文章。

本文记录MMSegmentation和Detectron2中Metircs模块的实现，关注模块设计，实现细节，边界情况，给出在库外使用该模块的方法；MMSegmentation中这部分的代码主要在此处，Detectron2中这部分的代码主要在此处。

论文：Learning Structured Sparsity in Deep Neural Networks

作者：Wei Wen, Chunpeng Wu, Yandan Wang, Yiran Chen, Hai Li

一作单位：University of Pittsburgh

录用情况：Neurips'2016

本文通过添加在滤波器数量、通道、形状维度以及深度上的group lasso正则化，让模型学习到结构化稀疏，后再微调；实验表明，这种结构化稀疏不需要很大的稀疏率就可以在多种设备上产生可观的加速效果，甚至还能减轻过拟合从而提升性能。