论文阅读|GETNET: A General End-to-End 2-D CNN Framework for Hyperspectral Image Change Detection

abstract

有两个问题：1.传统算法不适用于高光谱图像的高维数据；2.亚像素级的信息没有被充分利用。因此作者提出了通用的端到端的2维CNN来进行高光谱图像的变化检测。主要贡献：1.引入融合亚像素表示的混合亲和矩阵，挖掘更多的跨通道梯度特征，融合多源信息；2.设计2维CNN在更高的层次有效学习多源数据差异特征，增强了CD算法的泛化能力；3.设计了一个新的HIS-CD数据集进行比较实验

introduction

完整的CD检测过程：1.图像预处理（应该是获得两张对应的图像，就是获得数据）；2.生成DI；3.评估。

对于HIS-CD有三个主要问题：1.混合像素问题，就是在该像素区域内有多个物体表面，这个像素表示的是这多个物体表面的平均值，那这样表示就不精确，就限制了HIS-CD的检测；2.高维数据问题，一些CD算法进行特征提取和波段选择来降维，某种程度上会丢失信息；3.有限的数据集问题，HIS-CD数据集较少，且制作耗时费力。

More Actions作者的动机主要有两个：1.必须解决混合像素的问题，利用光谱分解技术分解出一个像素内的具体成分以及相应的abundance map（一个像素内各成分所占的比例）；2.深度网络可以很好的解决高维数据问题并且能提取有效的特征，但许多运用了深度学习的HIS-CD方法没有充分提取特征，这些方法一般主要分析一维光谱向量的像素变化，而对应同一像素上不同光谱间的特征包含丰富的信息，但都被忽视了

relation work

CD最普遍和最简单的方法是图像差值以及图像比值，当处理多光谱图像时，主要有以下四种分类：

1. 图像的算术操作。对光谱向量作减法；
2. 图像变换。将多光谱图像转变到特定的特征空间，突出变化像素，抑制无变化像素；
3. 图像分类。这类方法一般是有监督的，需要先验知识；对一对图片中的像素，或者特征进行比较然后分类，相同或者不同；
4. 其它先进的方法。主要有基于深度学习的方法；作者关心的是光谱分解方法，光谱分解方法在HSI- CD里面没有广泛的研究，许多关于分解的方法都是个例研究。

methodology方法论

主要有以下步骤：光谱分解，提取端元（端元应该就是一个像素内所包含的多个物体表面），丰度估计，形成混合亲和矩阵，GETNET网络处理这个矩阵得出结果。

混合光谱分解用于亚像素级别信息挖掘

一个完整的光谱分解过程包括：端元提取，丰度估计。

端元提取采用的是ATGP算法；丰度估计采用线性分解以及非线性分解方法对提取到的端元解混

线性混合模型，假定每一个像素是端元的线性组合

(r)：反射系数，(b imes1)向量 (m)：端元个数 (omega_{li})：第(i)个端元的丰度分数，就是占比 (X)：(b imes m)的一个矩阵，(b)个波段，(m)个端元 (x_i)：(X)中的一列 (epsilon)：(b imes1)的噪声向量，传感器和模型误差引起 FCLS算法求出(omega_l)

非线性混合模型

(igodot)：是逐点相乘 (a_{ij})：(i)和(j)之间的非线性参数来表征模型非线性特性 (omega_{ni})：第(i)个端元的非线性比例 BFM算法求出(omega_n)

HSI的大小是(h imes w imes b)，(omega _n)和(omega _l)可以表示为(h imes w imes m)，将其简单的拼接在一起就得到了多元数据立方体

混合亲和矩阵用于信息融合

提出了混合亲和矩阵来进行多源信息融合

上式是一个基本的计算方法，(r_{ij})表示的是对应像素的信息向量

每一个像素都是一个(n imes n)的混合亲和矩阵，(n = b + 2m)，这个矩阵包含了像素级别信息：各个光谱波段间的关系，而且包含了亚像素信息：对应像素中各个端元的丰度之间的关系。

具体分为5部分，A表示两幅图中对应像素的特定波段之间的差异信息，就是各个波段之间用（8）式进行计算；B表示两幅图中对应像素中的特定端元间的线性丰度的差异信息，计算同（8）；E表示两幅图中对应像素中特定端元间的非线性丰度的差异信息；因为高光谱数据和端元丰度图之间没有关系，所以C为0。

每一个混合矩阵被输入到2维CNN中，将CD看成是一个分类任务，即某一像素是否改变。那个这个混合亲和矩阵有什么意义呢？

1. 是一种有效的方法来同时处理多源数据的融合，结合了高光谱数据和丰度图数据；

2. 一维的像素向量被映射到二维的矩阵中，能够提供丰富的跨通道梯度的信息，最大化多源信息的利用率；

3. 这个矩阵能和CNN无缝衔接，CNN能够有效的学习到用于CD检测的特征，而且能够整合矩阵中不同部分的信息

GETNET

不同于一般CNN网络的权值共享，GETNET采用的是局部权值共享，因为矩阵有两部分不同性质的信息，因此采用两个不同的卷积核，左上角和右下角。经过卷积核池化之后，学习到两种不同的高层次的特征，然后用全连接层融合两类特征，来提高模型的泛化能力，因为两类特征对不同的数据集比较敏感。如下图

这里的channels应该是每一层卷积核的个数，也就是输出的feature map的通道数

因为根据CVA的结果来看变化和未变化的比例是1：2，也就是说没有变化的像素更多，因此要多采用未变化的样本来训练网络，使网络能够区分更多的未变化样本。所以训练采用的是用CVA方法生成的带标签的伪数据集，正负样本比例是1:2

实验部分

数据集：总共使用了四个数据集，三个现有的数据集，以及开源出了一个数据集

实验结果：