高光谱图像处理深度学习方法综述（一）

1.摘要

HSI----高光谱图像（Hyperspectral Image）。所捕获的光谱信息以及对应高光谱数据对象之间的非线性关系，使得传统方法无法进行准确的分类。深度学习方法作为一个强有力的特征提取器，被用在高光谱图像分类任务上。1.概括传统机器学习方法用于HSIC上面的不足，然后了解深度学习方法解决这些问题的优势。2.将目前最新的深度学习框架划分为：光谱特征、空间特征和空间光谱特征。3.如何高效生产标注数据集。

2.引言

以前用于分析单色、RGB和多光谱图像的传统方法不能直接在HSI数据上提取有意义的信息。HSI展示了高维光谱/空间数据的统计和几何属性，即超立方体和超球体的体积分别集中在角落和外壳。

HSI分析主要划分为：降维操作、光谱分解、通道检测分类、用于分类的特征学习、修复和去噪、分辨率提高。本文研究侧重于HSI分类问题。

列出一个将深度学习使用在HSI分类问题的步骤框架：

1. 光谱和空间特征分别学习
2. 光谱空间特征学习
3. 考虑到有限的训练样本，如何提高泛化性能

3.背景和挑战

A.从传统到深度学习模型

HSIC的主要任务----基于光谱或光谱空间属性，给HSI立方体中每一个像素标注。

数学形式为：HSI立方体可以表示为:

[X = [x_{1}, x_{2}, x_{3},cdots, x_{B}]^{T} in R^{B imes(N imes M)} ]

这里(B)表示属于(Y)类的所有频带，且每个频带包含((N imes M))个样本数量总和，其中(x_i=[x_{1,i},x_{2,i},x_{3,i},cdots,x_{B,i}]^{T})是(i^{th})个HSI立方体中的样本，其对应的类别是(y_i in R^Y)。

传统的手工特征方法主要包含两类：

1. 全局特征信息：颜色直方图，GIST（全局尺度不变性转变）、纹理描述子
2. 局部特征信息：HOG（方向梯度直方图）、SIFT（尺度不变特征转换）

这些手工特征主要用来构建视觉词袋模型（BOVW）以及基于HOG特征的模型。

B.高光谱数据特点和深度学习挑战

一个主要问题是，缺少标注好的HSI数据。

其他问题：

高的内部变异性----集中环境因素干扰导致的反射值的不确定性变化；

由噪声导致的数据降级；

冗余带宽----HSI设备影响模型计算复杂度；

光谱混合----关联于HSI的空间分辨率。

4. HSI的表示

HSI数据用(3D)立方体表示：(X in R^{B imes(N imes M)}),这当中，一个样本包含(1D)的谱段信息和(2D)的空间信息，(B)作为所有的谱段，(N)和(M)是空间部分，如下图1所示。

A.谱段表示

上面表示中，每个像素向量是隔离于其他像素，并且处理每个像素向量是基于特定的频谱空间(x_{i})的，其中(x_{i}in R^{B})。注意，(B)可以是实际的谱段通道数，或者经过了降维后的谱段通道数。

仅仅依靠谱段信息来区分不同类型数据是不容易的，因为谱段混合的影响，相同材料可能表现出同的谱段信息，或者不同材料可能表现出相同的谱段信息。

B.空间表示

每一个谱段带宽中的像素信息，即空间信息，表示为矩阵的形式：(x_i in R^{n imes M})

。空间相关性很高，相邻像素有很大可能属于同一个类别，像素的相邻关系能够决定使用像素核以及像素中心窗口。

C.谱段空间表示

联合使用谱段和空间信息。一个像素向量基于谱段特征进行处理，考虑到空间纹理信息。

具体的处理操作：

1. 直接拼接谱段向量中的空间信息
2. 直接处理(3D)的HSI立方体