TARGETDROP: A TARGETED REGULARIZATION METHOD FOR CONVOLUTIONAL NEURAL NETWORKS

TARGETDROP: A TARGETED REGULARIZATION METHOD FOR CONVOLUTIONAL NEURAL NETWORKS

Dense Object Detection

一. 论文简介

笔者感觉有点水的文章，想着既然看了就做个小记录吧

主要做的贡献如下（可能之前有人已提出）：

1. 提出一个目标正则化模块

二. 模块详解

2.1 论文详解

1. 文章的出发点？下图展示了三种DropOut的实际表现，第三种带有目标性

2. TargetDropout

上面的图完全概括了这篇文章的核心，下面一步步说明：

• 假设 (H) 为当前 (feature map) , (shape=[b,c,w,h])
• 对 (w,h) 轴进行均值操作，类似SE Attention模块的做法，参见论文公式（1），得到 (v_c)
• 再进行两个Full-Connect层操作，中间带两个激活函数-Relu+Sigmoid。得到 (M)，参见论文公式（2）。这里的操作意义: 论文说是为了进一步获得通道之间的独立性。
• 先对 (M) 进行排序，然后选择 (Top-K) ，选择数量又一个参数 (gamma) 进行控制，比如 (channel=5，gamma=0.4，top-k=2). 再将 (M) 进行二值化，属于 (top-k) 为设置为1，不属于设置为0，论文公式（3）所示。
• Mask的位置 ([b,c]) 已经确定（B是batch不用管，C按照$top-k$），([w,h]) 位置按照最大值即可。Mask的大小：按照公式（4）进行（就是一个Kernel，设置大小即可），掩膜操作直接相乘（Mask区域为0，其它区域为1），按照公式（5）。最后进行归一化接口，按照公式（6）。
• 很简单的一个模块，就是加了一个排序操作，训练阶段有点费时，推理阶段这个模块不起作用（这一点还是比较好的，相当于辅助训练）。

# 代码略
# 感觉作用不大，不去尝试了

三. 参考文献

• 原始论文