超分辨中的注意力机制：Attention in Super Resolution

目录

• 常见注意力模型
  • Non-local Neural Networks
  • SPATIAL TRANSFORMER NETWORKS
  • Squeeze-and-Excitation Networks
  • Residual Attention Network
• 注意力机制应用于超分辨
  • MAANet：Multi-view Aware Attention Networks
  • RNAN：Residual Non-local Attention Networks for Image Restoration
  • SAN：Second-order Attention Network for Single Image Super-Resolution
  • TAN：Triple Attention Mixed Link Network for Single Image Super Resolution
  • HRAN：Hybrid Residual Attention Network
  • MGAN：Multi-grained Attention Networks
  • PANet：Pyramid Attention Networks for Image Restoration
  • CSNLN：Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining

常见注意力模型

Non-local Neural Networks

计算任意两个位置之间的交互直接捕捉远程依赖，而不用局限于相邻点，其相当于构造了一个和特征图谱尺寸一样大的卷积核, 从而可以维持更多信息

1. paper：Non-local Neural Networks

2. blog：

   • https://www.cnblogs.com/pprp/p/12153255.html
   • https://blog.csdn.net/qq_39478403/article/details/105455877

3. code：

   • https://github.com/17Skye17/Non-local-Neural-Networks-Pytorch
   • https://github.com/facebookresearch/video-nonlocal-net

4. idea：

   

   

   

   • 应用到self-attention机制

   

5. 存在问题：在[PANet](#PANet：Pyramid Attention Networks for Image Restoration)中指出，在自注意力模块中使用的逐像素匹配通常对低级视觉任务很嘈杂(噪声问题)，从而降低了性能。 从直觉上讲，扩大搜索空间会增加寻找更好匹配的可能性，但对于现有的自注意模块而言并非如此。 与采用大量降维操作的高级特征图不同，图像重建网络通常会保持输入的空间大小。 因此，特征仅与局部区域高度相关，因此容易受到噪声信号的影响。 这与传统的非局部滤波方法相一致，在传统的非局部滤波方法中，逐像素匹配的效果比块匹配要差得多。

SPATIAL TRANSFORMER NETWORKS

基于空间域的注意力机制，利用坐标进行复制，用于图像的方位变化转正

1. paper ：SPATIAL TRANSFORMER NETWORKS

2. blog：https://www.cnblogs.com/liaohuiqiang/p/9226335.html

3. code：

   • https://github.com/mp31192/3D-SpatialTransformationLayer-pytorch
   • https://pytorch.org/tutorials/intermediate/spatial_transformer_tutorial.html

4. idea：

   

   

Squeeze-and-Excitation Networks

基于通道注意力，对每个通道赋予不同的权值

1. paper：Squeeze-and-Excitation Networks

2. blog：https://www.cnblogs.com/bonelee/p/9030092.html

3. code：

   • https://github.com/miraclewkf/SENet-PyTorch

   • https://github.com/moskomule/senet.pytorch

4. idea：

   

Residual Attention Network

1. paper：Residual Attention Network for Image Classification

2. blog：https://blog.csdn.net/u013738531/article/details/81293271

3. code：https://github.com/tengshaofeng/ResidualAttentionNetwork-pytorch

4. idea：

   

   

   

注意力机制应用于超分辨

MAANet：Multi-view Aware Attention Networks

1. paper：https://arxiv.org/abs/1904.06252

2. blog：https://blog.csdn.net/weixin_42096202/article/details/103666302

3. code：None

4. idea：

   

   

   

   1. 局部注意力利用下采样
   2. 全局注意力类似[Squeeze-and-Excitation Networks](#Squeeze-and-Excitation Networks)

RNAN：Residual Non-local Attention Networks for Image Restoration

1. paper：https://arxiv.org/pdf/1903.10082.pdf

2. blog：https://zhuanlan.zhihu.com/p/112624730

3. code：https://github.com/yulunzhang/RNAN

4. idea：

   

   

   

   • 主要引入了上面提到的[局部注意力](#Residual Attention Network)和[非局部注意力](#Non-local Neural Networks)

SAN：Second-order Attention Network for Single Image Super-Resolution

1. paper：http://www4.comp.polyu.edu.hk/~cslzhang/paper/CVPR19-SAN.pdf

2. blog：https://zhuanlan.zhihu.com/p/144682406

3. code：https://github.com/daitao/SAN

4. idea：

   

   1. 对于二阶注意力SOCA比较难理解

TAN：Triple Attention Mixed Link Network for Single Image Super Resolution

1. paper：https://arxiv.org/ftp/arxiv/papers/1810/1810.03254.pdf

2. code：https://github.com/opteroncx/TAN

3. blog：https://blog.csdn.net/qq_34049103/article/details/103291959

   

HRAN：Hybrid Residual Attention Network

1. paper：https://arxiv.org/pdf/1907.05514.pdf

2. code：https://github.com/AbdulMoqeet/HRAN

3. blog：博客没人读

4. idea：

   

   

MGAN：Multi-grained Attention Networks

1. paper：https://arxiv.org/pdf/1909.11937.pdf
2. code：没开源
3. blog：没人读

PANet：Pyramid Attention Networks for Image Restoration

1. paper：https://arxiv.org/pdf/2004.13824.pdf

2. code：https://github.com/SHI-Labs/Pyramid-Attention-Networks

3. blog：https://blog.csdn.net/weixin_42096202/article/details/106240801

   

   

   • Non-Local 只能在相同尺度下提取注意力，而且是以逐像素比对的方式，会引入噪声问题，导致性能下降，且未能捕获不同特征尺度上的有用特征的依赖关系
   • Scale Agnostic Attention 以patch方式捕获两个尺度上的全局像素响应
   • pyramid attention 以patch的方式来捕获多个尺度上的全局响应

CSNLN：Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining

1. paper：https://arxiv.org/pdf/2006.01424.pdf

2. code：https://github.com/SHI-Labs/Cross-Scale-Non-Local-Attention

3. blog：https://blog.csdn.net/weixin_43514766/article/details/109996899

4. idea：

   

   

   • 红色的小方块儿是pxp（p是可调参数）尺寸的，举个例子：如果我们想重建X中的红色小方块的部分（target），首先我们在X的下采样结果Y中搜寻与该target接近的小块儿（不止一个，为了方便，只画了一个，实际上应该是多个结果进行加权），Y中的小块就是与target接近的小块，此时，我们在X中找到对应该小块的“大”块，就是蓝色这块；最后，用蓝色块中的信息辅助重建目标块——SR中的紫色块。

     

   • 残差特征 R_IC 表示一个来源中存在而另一来源中不存在的细节。 这种残差间的投影使网络绕过共有信息，仅关注不同源之间的特殊信息，从而提高了网络的判别能力。同时加入了反投影的思路，Mutual-Projected Fusion结构可确保在融合不同特征的同时进行残差学习，与琐碎的加法（adding）或串联（concatenating）操作相比，该融合方法可进行更具判别性的特征学习。