稀疏张量网络

稀疏张量网络

稀疏张量

在传统语音，文本或图像数据中，特征是密集提取的。因此，用于这些数据的最常见表示形式是矢量，矩阵和张量。但是，对于3维扫描或什至更高维的空间，这样的密集表示效率不高，因为有效信息仅占空间的一小部分。取而代之，只能将信息保存在空间的非空区域上，这与将信息保存在稀疏矩阵上的方式类似。此表示是稀疏矩阵的N维扩展；因此，被称为稀疏张量。

在Minkowski Engine中，采用稀疏张量作为基本数据表示形式，并且类提供为 MinkowskiEngine.SparseTensor。

稀疏张量网络

压缩神经网络以加快推理速度并最小化内存占用已被广泛研究。用于模型压缩的流行技术之一是修剪卷积网络中 的权重，也被称为稀疏卷积网络。用于模型压缩的这种参数空间稀疏性仍然在密集张量上运行，并且所有中间激活也是密集张量。

然而，在这项工作中，专注于空间稀疏数据，尤其是稀疏张量的空间稀疏高维输入和卷积网络。还可以将这些数据表示为稀疏张量，并且在3D感知，配准和统计数据等高维问题中很常见。定义了专门用于这些输入稀疏张量网络的神经网络 ，这些稀疏张量网络处理并生成稀疏张量。为了构建稀疏张量网络，与在密集张量上定义，并在Minkowski引擎中实现的相同方式，构建所有标准神经网络层，例如MLP，非线性，卷积，归一化，池化算子。

广义卷积

卷积是许多领域的基本算子。在图像感知中，卷积一直是在许多任务中实现最先进性能的关键，并且被证明是AI和计算机视觉研究中最关键的算子。在这项工作中，采用稀疏张量上的卷积，并提出了稀疏张量上的广义卷积。广义卷积将所有离散卷积合并为特例。不仅在3D空间轴上使用广义卷积，还在任何任意维度上或在时间轴上都使用广义卷积，这在某些应用中被证明比递归神经网络（RNN）更有效。

具体来说，对通用输入和输出坐标以及任意内核形状进行卷积。允许将稀疏张量网络扩展到极高维的空间，并动态生成生成任务的坐标。而且，广义卷积不仅包含所有稀疏卷积，还包括常规密集卷积。在下面列出了广义卷积的一些特征和应用。

• 卷积核的稀疏张量允许使用专用核进行高维卷积
• 任意输入坐标广义卷积包含所有离散卷积
• 任意输出坐标允许动态坐标生成和生成网络重建和完成网络

 

 

 在密集的张量和稀疏的张量上可视化一个简单的2D图像卷积。注意，稀疏张量上的卷积排序不是顺序的。

 

 为了有效地计算稀疏张量上的卷积，必须找到如何将输入稀疏张量中的每个非零元素映射到输出稀疏张量。将此映射称为内核映射，因为它定义了如何通过内核将输入映射到输出。

广义卷积的特例

广义卷积包含所有离散卷积作为特殊情况。将在本节中介绍一些特殊情况。首先，当输入和输出坐标都是网格上的所有元素时，即密集张量，广义卷积等于密集张量上的规则卷积。其次，当输入和输出坐标是稀疏张量上非零元素的坐标时，广义卷积就变成了稀疏卷积。同样，当使用超十字形内核时，广义卷积等效于可分离卷积。

 

 References

• [1] Sparse Convolutional Neural Networks, CVPR’15
• [2] 3D Semantic Segmentation with Submanifold Sparse Convolutional Neural Networks, CVPR’18
• [3] 4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks, CVPR’19
• [4] High-dimensional Convolutional Neural Networks for 3D Perception, Stanford University Chapter 4. Sparse Tensor Networks