- A³CLNN: Spatial, Spectral and Multiscale Attention ConvLSTM Neural Network for Multisource Remote Sensing Data Classification
有效利用信息多个数据源的问题已成为遥感领域一个相关但具有挑战性的研究课题。在本文中，我们提出了一种新的方法来利用两个数据源的互补性：高光谱图像（HSI）和光检测与测距（LiDAR）数据。具体来说，我们开发了一种新的双通道空间，频谱和多尺度注意力卷积长短期记忆神经网络（称为双通道A3CLNN），用于特征提取和多源遥感数据分类。首先针对HSI和LiDAR数据设计空间，光谱和多尺度注意机制，以便学习光谱和空间增强的特征表示并代表不同类别的多尺度信息。在设计的融合网络中，使用了一种新颖的复合注意力学习机制（结合了三级融合策略）来完全整合这两个数据源中的功能。最后，受转学的想法启发，设计了一种新颖的逐步训练策略以产生最终的分类结果。我们在多个多源遥感数据集上进行的实验结果表明，新提出的双通道A3CLNN具有比其他最新方法更好的特征表示能力（导致更具竞争力的分类性能）。
- Deep Encoder-Decoder Networks for Classification of Hyperspectral and LiDAR Data
深度学习（DL）由于其强大的数据表示能力而受到了越来越多的关注（RS）。特别是，已证明深度模型对于基于单个给定模态的RS数据分类有效。然而，由于缺乏特征多样性，在单一模式下，识别材料的能力仍然受到限制。为克服此限制，我们通过遵循深层编码器-解码器网络体系结构（简称EndNet）来提供一种简单而有效的多峰DL基线，以对高光谱和光检测与测距（LiDAR）数据进行分类。 EndNet通过强制融合功能来依次重构多模式输入，从而融合了多模式信息。与一些常规且广泛使用的融合策略（例如，早期融合，中间融合和后期融合）相比，这种重构策略能够更好地跨模态激活神经元。在两个流行的高光谱和LiDAR数据集上进行的广泛实验证明，与高光谱LiDAR分类任务中的几个最新基准相比，提议的EndNet具有优越性和有效性。这些代码将在https://github.com/danfenghong/IEEE_GRSL_EndNet上可用，从而为RS社区做出了贡献。
- FusAtNet: Dual Attention based SpectroSpatial Multimodal Fusion Network for Hyperspectral and LiDAR Classification
随着传感技术的最新进展，多模态数据将可轻松用于各种应用，尤其是在遥感（RS）中，在遥感中，许多数据类型如多光谱图像（MSI），高光谱图像（HSI），Li DAR等。可用。这些多源数据集的有效融合变得越来越重要，因为这些多模态特征已经显示出可以生成高度准确的土地覆盖图。但是，考虑到数据中涉及的冗余以及多种模式之间的较大域差异，在RS上下文中进行融合是不平凡的。另外，针对不同模态的特征提取模块之间很难相互影响，这进一步限制了它们的语义相关性。作为补救措施，本文提出了一种特征融合和提取框架工作，即FusAtNet，用于HSI和LiDAR数据的集体土地覆盖分类。所提出的框架有效地利用了HSI模态，通过突出显示其自身光谱特征的“自我注意”机制来生成注意图。同样，同时使用“交叉注意”方法来利用LiDAR派生的注意地图，该地图强调了HSI的空间特征。然后，与原始数据一起进一步探索这些细心的光谱和空间表示，以获得模态特定的特征嵌入。如此获得的面向模式的联合光谱空间信息随后被用于执行土地覆盖分类任务。对三个HSI LiDAR数据集的实验评估表明，所提出的方法达到了最新的分类性能，其中包括在休斯顿大学（Data Fusion Contest-2013）上可用的最大的HSI-LiDAR数据集。多峰特征融合的分类方法。
- Multiple Feature-Based Superpixel-Level Decision Fusion for Hyperspectral and LiDAR Data Classification
遥感传感器数量的迅速增加使开发多源特征提取和融合技术成为可能，从而提高了表面材料的分类精度。据报道，光检测和测距（LiDAR）数据可以为高光谱图像（HSI）提供补充信息。本文提出了一种基于多特征的超像素级决策融合（MFSuDF）方法，用于HSI和LiDAR数据分类。具体而言，首先设计了超像素制导核主成分分析（KPCA）并将其应用于HSI，以减小尺寸并压缩噪声影响。接下来，分别对KPCA降低的HSI和LiDAR数据采用2-D和3-D Gabor滤波器，以获取判别式Gabor特征，并且将幅度和相位信息都考虑在内。三种不同的模块，包括基于原始数据的特征多维数据集（串联的KPCA减少的HSI和LiDAR数据），Gabor幅度特征多维数据集和Gabor相位特征多维数据集（从KPCA降低的HSI和因此可以实现LiDAR数据）。此后，引入随机森林（RF）分类器和象限比特编码（QBC）来分别完成对上述三个提取的特征立方体的分类任务。或者，通过在组合的HSI和LiDAR数据上利用多通道简单非迭代聚类（SNIC）和熵率超像素分割（ERS）算法生成两个超像素图，然后将其用于对三个分类图进行正则化。最后，结合了基于加权多数投票的决策融合策略，以有效地增强多源数据的联合使用。因此，建议的方法称为MFSuDF。在三个真实的数据集上进行了一系列实验，以证明所提出的MFSuDF方法的有效性。实验结果表明，当每个样本只有三个样本时，我们的MFSuDF可以分别对休斯敦，特伦托和密苏里大学和佛罗里达大学（MUUFL）Gulport数据集分别达到73.64％，93.88％和74.11％的整体精度。
- Joint Classification of Hyperspectral and LiDAR Data Using Hierarchical Random Walk and Deep CNN Architecture
使用多传感器数据进行地球观测越来越引起人们的注意。融合遥感高光谱图像和光检测和测距（LiDAR）数据有助于提高应用程序性能。在本文中，使用有效的分层随机游走网络（HRWN）研究了高光谱图像和LiDAR数据的联合分类。在提出的HRWN中，首先开发了双通道卷积神经网络（CNN）架构来捕获光谱和空间特征。提出了一个像素方向的亲和度分支，以从LiDAR数据中捕获具有不同海拔信息的类之间的关系，并确认分类的空间对比度。然后在设计的分层随机游走层中，双通道CNN的预测分布充当全局先验，而逐像素亲和力反映了像素对的局部相似性，这在网络的更深层中实现了空间一致性。最后，通过计算概率分布获得分类图。通过三个真实的多传感器遥感数据验证的实验结果表明，所提出的HRWN明显优于其他最新技术。例如，两个分支的CNN分类器在休斯顿大学校园数据集上的准确性达到88.91％，而拟议的HRWN分类器获得93.61％的准确性，从而提高了约5％。
- Fusion of Multispectral LiDAR, Hyperspectral, and RGB Data for Urban Land Cover Classification
随着监视城市区域的重要性越来越高，出现了一个问题，即最适合解决相应挑战的传感器。 这封信提出了在随机森林（RF）框架内进行新颖的节点测试的方法，使它们可以单独或组合地将其应用于光学RGB图像，高光谱图像以及光检测和测距（LiDAR）数据。 这不仅允许在不进行预处理或特征提取的情况下得出许多相关城市类别的准确分类结果，而且还可以洞悉哪种传感器可以提供最有意义的数据来解决给定的分类任务。 尽管仅基于一小部分训练样本，但在公开基准数据集上获得的结果要优于通过深度学习方法获得的结果。
- Classification of Hyperspectral and LiDAR Data Using Coupled CNNs
论文学习笔记 - Classifification of Hyperspectral and LiDAR Data Using Coupled CNNs
- Hyperspectral and LiDAR Classification With Semisupervised Graph Fusion
为了融合高光谱和光检测与测距（LiDAR），我们提出了一种半监督图融合（SSGF）方法。 我们将形态滤波器应用于LiDAR和高光谱数据的前几个分量，分别对高度和空间信息进行建模。 然后，将拟议的SSGF用于将光谱，高程和空间特征投影到较低的子空间上以获得新特征。 特别地，SSGF的目的是通过使用标记和未标记的样本来最大化类分离能力并保留局部邻居引擎盖结构。 来自2013年IEEE地球科学与遥感学会（GRSS）数据融合竞赛的高光谱和LiDAR数据的实验结果证明了SSGF的优越性。
- Feature Extraction for Classification of Hyperspectral and LiDAR Data Using Patch-to-Patch CNN
多传感器融合在与地球观测有关的应用中非常重要。例如，高光谱图像（HSI）提供了丰富的光谱信息，而光检测和测距（LiDAR）数据提供了高程信息，并且将HSI和LiDAR数据一起使用可以实现更好的分类性能。本文提出了一种无监督的特征提取框架，称为斑对斑卷积神经网络（PToP CNN），用于高光谱和LiDAR数据的协同分类。更具体地说，首先开发了三塔式PToP映射，以寻求从HSI到LiDAR数据的准确率表示，旨在合并两个不同来源之间的多尺度特征。然后，通过对设计的PToP CNN的隐藏层进行光栅化，可以将提取的特征具有深融合的特征。因此，来自不同隐藏层的特征将被串联成一个堆叠向量，并被馈送到三个完全连接的层中。为了验证所提出分类框架的有效性，对两个基准遥感数据集进行了实验。实验结果表明，与某些最新的分类器（例如，两分支CNN和上下文CNN）相比，该方法可提供更好的性能。