郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！
IEEE transactions on pattern analysis and machine intelligence, (2022) 同组工作
Abstract
神经形态视觉传感器是近年来出现的一种新的仿生成像范式。它使用异步脉冲信号代替传统的基于帧的方式来实现超高速采样。与通过模仿视网膜周边感知运动的动态视觉传感器(DVS)不同，最近开发的脉冲相机通过模拟称为中央凹的小视网膜区域来感知精细纹理。对于这种新型神经形态相机，如何从脉冲数据中重建超高速视觉图像成为视觉场景感知、分析和识别应用中一个重要但具有挑战性的问题。在本文中，首次提出了一种基于仿生的脉冲相机视觉重建框架。其核心思想是利用受生物启发的自适应调整机制，结合所提模型提取的时空脉冲信息，以超高的时间分辨率重建自然场景的完整纹理。具体来说，所提出的模型由一个运动局部激发层、一个脉冲细化层和一个视觉重建层组成，该层由生物学合理的LIF神经元和具有脉冲时间依赖可塑性(STDP)规则的突触连接驱动。为了评估性能，我们为脉冲相机记录的现实世界中的正常和高速场景构建了脉冲数据集。实验结果表明，该方法可以在正常和高速场景中以每秒40000帧的速度重建视觉图像，同时实现高动态范围和高图像质量。
Index Terms—Neuromorphic vision sensor, spike camera, texture reconstruction, spiking neural model, bio-inspired vision.
1 INTRODUCTION
许多典型的新兴应用，如自动驾驶、无人机和自主移动机器人，都是实时应用，需要在高速场景中做出快速反应[1]。通常，视觉处理基于从传统相机捕获的图像或视频，将曝光时间内的光强度累积到一帧中。然而，关键信息可能会丢失，因为该时间段内的光强度变化是平均的[2][3]。增加帧速率可能会缓解这个问题，但仍然有一个最短曝光时间来测量平均光强度。同时，在高帧率下会带来巨大的传输带宽需求，这在很多应用中通常难以满足[3]。
如果我们将注意力转向人类视觉，视觉采样与数码相机的视觉采样完全不同。虽然人类视觉的机制过于复杂，无法完全理解，但人类视网膜的物理结构和信号处理给我们一些启示。其中，事件相机(又名动态视觉传感器，DVS)是最广为人知的[4][5]。独立采样打破了曝光的限制，这通常是大多数基于帧的相机提高帧率的瓶颈。在DVS中，每个像素通过生成异步脉冲独立响应亮度强度的变化。这种机制类似于视网膜周边，它只对移动的物体敏感。其输出脉冲的时间冗余大大减少，但是，它不能像传统相机那样重建视觉图像。为了解决这个问题，随后开发了一些混合传感器，通过结合DVS和传统图像传感器(DAVIS)[6]，或添加额外的光测量电路(例如，ATIS [7]、CeleX [8])，但有由于两种异构电路之间的采样时间分辨率不同，存在运动失配。
为了解决在保持高采样率的同时捕获视觉纹理的问题，一些研究人员设计了一类脉冲图像传感器，以使每个像素模仿IF神经元的行为并异步工作[9][10][11]。脉冲图像传感器不像传统相机那样为所有像素选择固定的积分时间，而是确保每个像素选择自己的最佳积分时间，以实现高动态范围和改进的信噪比[9]。这种传感器能够以无帧方式重建视觉纹理。使用时间窗口或脉冲间间隔，可以重建图像纹理[10]。
最近，Dong等人[12][13]提出了一种基于类中央凹采样方法(FSM)的脉冲相机，属于脉冲图像传感器的范畴。在中央凹中，从感光器(输入)到神经节细胞(输出)的路径是一对一的连接。作为一个粗略的近似，神经元动力学可以被认为是一个整合过程，结合了触发高于某个临界电压的动作电位的机制。与之前的脉冲图像传感器相比，这种称为脉冲相机的传感器模拟了灵长类动物中央凹的结构和功能，它可以感知精细的纹理并以高时间分辨率对脉冲发放做出响应。与DVS等事件相机不同，具有空间(250 x 400)和时间分辨率(40000 Hz)的脉冲相机将视觉重建和运动灵敏度结合在一起[13]，适用于处理高速视觉任务。然而，之前的重建算法[10][13]在复杂环境中会遇到低对比度或模糊的问题。事实上，高质量的图像重建主要有两个挑战：1) 如何从脉冲数据中重建出适合人类视觉的视觉图像？2) 如何以高时间分辨率重建高速运动？根据脉冲采样机制，关键问题是灵活利用隐藏在高时间分辨率脉冲数据时空分布中的光强变化(见图1)。
据我们所知，我们是第一个提出一个脉冲神经元模型框架，用于从类似中央凹的脉冲相机重建视觉图像。本文的主要贡献包括：1) 我们提出了一个三层脉冲神经模型，该模型依赖于生物学合理机制的组合，包括生物学合理的LIF神经元和与STDP规则的突触连接。使用具有高时间分辨率的脉冲数据，我们的方法可以在任何采样时刻(每秒40000帧)重建图像，同时保留场景的细节。2) 根据脉冲数据的时空分布，我们提出了一种基于一阶马尔可夫随机场(MRF)的动态神经元提取模型，以增量方式区分神经元状态(动态或静态)。此外，提出了一种动态脉冲细化方法来消除采样机制引起的时间模糊，这对于重建高质量的高速运动场景很有用。3) 我们构建了一个包含多个高速运动和静态场景的新脉冲数据集，用于评估重建方法，并将其提供给研究界。
这项工作的初步版本已部分作为会议报告(oral paper)发表在CVPR 2020上[14]。主要扩展有：1) 针对高速场景的重构，我们在脉冲细化层开发了动态尖峰细化机制。动态神经元提取后，动态脉冲将被细化，以消除采样机制引起的时间模糊和噪声。与之前的框架相比，可以提高运动区域的重建质量。2) 对于普通速度场景，我们采用基于电导动力学的STDP机制来提高收敛性能和重建质量。此外，还进行了更多的定性和定量实验来评估新版本中的STDP机制、动态脉冲细化和视觉重建。
本文的其余部分安排如下。第2节回顾了仿生视觉成像的相关工作，第3节分析了脉冲数据的表示和分布。第4节展示了所提出的脉冲神经模型。在第5节，我们讨论了视觉图像重建的实验结果。最后，本文在第6节结束。
2 RELATED WORK
2.1 Conventional Frame-based Visual Imaging
2.2 Bio-inspired Visual Imaging
2.2.1 Texture Reconstruction from DVS
2.2.2 Texture Reconstruction from the integration of DVS and Other Circuits
2.2.3 Texture Reconstruction from Spike Cameras
3 SPIKE DATA ANALYSIS
3.1 Spike Data Representation
在FSM中，光的强度由感光器转换为电压[13]。一旦电压达到预定义的阈值，就会输出一位脉冲信号，同时发出复位积分器的信号。这个过程与IF神经元非常相似。不同的亮度刺激导致不同的脉冲发放率，输出和复位在各个像素之间异步触发。通常，光线越亮，发放速度越快：
脉冲相机的原始数据是一个三维脉冲阵列D。脉冲相机只关心亮度强度的积分，并以超高频发放脉冲。在每个采样时刻，如果刚刚触发了一个脉冲信号，则输出数字信号"1"(即脉冲信号)，否则生成"0"。我们定义
来表示像素(i, j)在时刻 t 的脉冲发放状态。为简单起见，我们用脉冲平面(spike plane)来表示某个时刻所有像素输出的脉冲信号，而某个像素产生的脉冲信号称为脉冲序列(见图6(a))。
3.2 Spike Data Distribution
积分器具有预定义的容量，也称为脉冲发放阈值Φ。如果积分器被填满，它将被重置并发放一个脉冲。由于光线的变化，积分器从空到满的持续时间不是恒定的。在显微镜下，发放一个脉冲意味着已经记录了固定数量的光子。我们将N(t, δ)定义为在时间间隔[t, t+δ)内到达感光器的光子数，并且R(t, δ)为同一时期实际记录的光子数。然而，两个连续光子到达之间的死区时间τ使N(t, δ)和R(t+δ)不相等。如果在时间 t 记录前面的到达，则在(t, t+τ] 期间任何后面的光子到达都不会被记录。
事实上，光子记录过程R(t, δ)可以看作是一个更新过程，它涉及到循环模式，在每个模式之后，该过程都从头开始。光子到达过程通常被假定为均匀泊松过程[35]。它由单个标量λ参数化，该标量给出光子到达的平均速率。如果一次更新和下一次更新之间的等待时间具有集合均值和方差，则具有死区时间τ的光子记录过程是渐近高斯分布的[36]：
脉冲间间隔(ISI)的分布可以被认为是几个独立且相同分布的更新过程的总和，被描述为渐近高斯分布。为了验证模型，我们在各种光照条件下使用脉冲相机记录了几个脉冲序列。我们假设 n 个光子的记录将达到调度阈值并产生一个脉冲。如果脉冲发放时间表示为ti，则脉冲间间隔为tISI = ti - ti-1。如图2所示，具有不同灰度值的块代表亮度强度，这表明更大的强度导致更高的脉冲发放率和更短的ISI。RMSE表明，脉冲区间分布直方图可以很好地被近似高斯分布拟合。
基于以上分析，我们可以通过高斯分布对一定强度的ISI分布进行建模。 在第4.2节，提出了一种动态神经元提取模型，根据ISI分布提取代表运动物体的脉冲信号。
4 SPIKING NEURAL MODEL
（略）
基于生物神经元的启发，我们提出了一种脉冲神经模型来解决图像重建问题。图3所示的模型包括运动局部激励层、脉冲细化层和视觉重建层。运动局部激励层接收输入脉冲并标记神经元的运动状态(静态或动态)。然后脉冲细化层根据其运动状态调整每个神经元的不应期，起到时间滤波器的作用。最后一个视觉重建层采用了广泛存在于生物神经元中的适应机制，将每个神经元的动态阈值映射为灰度图像作为输出。
脉冲神经模型的整体架构如图3所示，图6中更详细地说明了这一点。在本节中，我们首先在第4.1节中描述了脉冲神经模型的架构。基于图切割的动态神经元提取如第4.2节所示。第4.4节介绍了突触连接，而视觉图像重建在第4.5节中介绍。
4.1 Model Architecture
Motion Local Excitation Layer. 运动局部激励层对输入脉冲数据进行操作，并输出带有二值标记(动态或静态)的脉冲序列。目的是根据输入的脉冲数据区分神经元状态。该层中的每个神经元都以一对一的方式连接到输入脉冲数据。在这一层中，输入脉冲数据根据历史发放分布建模为运动置信度矩阵。然后，对于当前时刻，可以将神经元状态抽象为具有二值标签的一阶马尔可夫随机场[41]，并执行基于图割的运动局部提取器。这样，每个输出脉冲都有一个动态或静态的标记来区分神经元的状态。细节将在第4.2节中描述。
Spike Refining Layer. 为了模拟神经元动力学，在脉冲细化层中引入了LIF模型。在这一层中，输入脉冲被过滤以保持对运动的快速响应，同时去除噪声。引入动态脉冲细化机制来消除超高速场景(例如每分钟超过2000转的磁盘)引起的"运动模糊"。该层的大小与运动局部激励层相同，每个输入都馈送到该层中的一个神经元。为了快速响应运动，我们将阈值电压设置为非常小的值。为了消除噪声，根据运动局部激励层给出的标记，如果当前输入脉冲标记为静态，则应设置相对较长的不应期；否则，如果脉冲来自动态神经元，则应设置相对较短的不应期。通过上述机制，脉冲细化层可以显著消除噪声，并通过降低发放率来缓解过度曝光。同时，该层保留了尽可能多的细节，以保持动态脉冲的保真度，同时保持高动态范围。
Visual Reconstruction Layer. 和上一层一样，这一层的神经元是LIF神经元。每个神经元从脉冲细化层接收脉冲序列，神经元和突触连接进行各种自适应调整。根据神经元的状态重建视觉图像。该层的神经元与脉冲细化层的神经元以一对多的方式连接。这些神经元没有不应期。STDP学习规则[39]在这两层之间执行以学习调整脉冲发放率(参见第4.4节)。此外，为了实现系统的稳态，在这一层引入了阈值自适应[40]。根据神经元状态和动态阈值的统计，可以同时重建包括动态和静态场景的高质量视觉图像(参见第4.5节)。
4.2 Dynamic Neuron Extraction
在本节中，我们提出了一种动态神经元提取模型来将输入脉冲标记为动态或静态。根据脉冲采样机制，ISI值等于已记录的固定数量光子的时间，与积分器的发放阈值Φ成正比。正如在第3.2节中分析的那样，对于恒定的光子到达率λ，ISI分布具有接近高斯分布的单峰和对称分布。移动对象访问的区域与静态区域驱动的区域具有不同的ISI分布。
假设每个神经元对应一个坐标(i, j)，
，其中m × n是脉冲相机的分辨率。为简单起见，第ij个神经元表示为ij。位置ij处神经元的ISI使用高斯分布建模：
其中μ和σ是ij处的均值和标准差。并且可以通过初始脉冲进行估计并逐步更新。对应于ij和tISI的脉冲的运动置信度由下式获得：
其中P(·)表示ISI服从高斯分布N(μ, σ)的概率。换句话说，P(·)是当前脉冲属于静态神经元的概率。
为了估计每个脉冲的运动置信度，我们通过公式(5)评估所有时刻与它们相应的ISI分布模型，并得到置信度图
，对应于该位置属于运动区域的置信度。因此，每个神经元在时刻 t 的运动置信度为：
通过公式(4)-(6)，离散脉冲数据可以转化为连续运动置信度。可以基于运动置信度估计神经元的状态。为了描述神经元在时刻 t 的状态，我们使用标记矩阵Mt∈{0, 1}m×n介绍如下：
(略)
4.3 Dynamic Spike Refining
4.4 Synapse Connection
4.5 Visual Texture Reconstruction
在本节中，我们根据神经元的状态重建视觉信息。输入的不均匀性导致兴奋性神经元的不同发放率。为了确保神经元适应输入的脉冲序列，我们希望所有神经元的发放率大致相等。为此，调整阈值的常用方法是使用泄漏自适应阈值[40]：当神经元发放脉冲时，对阈值进行动态调整以适应发放率，以防止其发放过于频繁。神经元发放脉冲的频率越高，其阈值就越高。反过来，神经元需要更多的输入来在不久的将来发放一个脉冲。与[47]类似，我们将动态阈值的模型定义为：
其中υ0是没有脉冲时神经元的初始阈值，
表示该层的发放脉冲。神经元的发放阈值增加量为θij，并在发放脉冲后呈指数衰减。增加量θij定义为：
其中Sij(t)是该层的脉冲序列输入，tf表示最近的发放时间，tw是 t 之前的时刻，可以设置为常数，并且 τ 是时间常数。在实践中，我们可以将tw设置为一个较小的值，以避免由于动态脉冲而导致阈值不稳定。
最后，可以从神经元状态和发放阈值估计视觉图像的灰度值：如果神经元ij在时刻 t 属于静态神经元，即
，则灰度值为：
除此以外，
其中υij(t-)表示υij在时间 t 之前的收敛值，
是重构动态区域的准确灰度值的调整参数，tISI表示与时间 t 对应的脉冲间间隔，并控制重建动态区域的对比度2。
2. 对于摄像机快速移动的场景，ISI分布变化很大。在这种情况下，某些神经元可能无法确定 t- 的值。为了保证模型在这种情况下的适应性，我们根据
的神经元的动态阈值υij及其对应的tISI制作查找表(LUT)(完整的LUT由曲线拟合)。对于没有υij(t-)的神经元，υij可以根据LUT和细化脉冲间隔tISI通过强度变换来估计。此外，如果大部分神经元属于
，我们设置直接根据全局υij值和细化的脉冲间间隔tISI重构得到视觉纹理。
5 EXPERIMENT
5.1 The Spike Dataset
5.2 Ablation Experiments
5.2.1 The Effect of STDP Mechanism
5.2.2 The Effect of Dynamic Spike Refining
5.2.3 The Effect of Motion Local Excitation Layer
5.3 Visual Texture Reconstruction
5.3.1 Qualitative Analysis
5.3.2 Quantitative Analysis
5.4 Computation Time
5.5 Comparisons with Other Vision Sensors
6 CONCLUSION
在本文中，我们提出了一种新颖的三层脉冲神经模型，用于从高时间分辨率脉冲数据中重建视觉图像。作为仿生相机，脉冲相机将光强转换为由"1"和"0"组成的脉冲数据，自然适用于利用生物机制重建视觉图像。我们全面讨论了基于脉冲采样机制的脉冲分布，并构建了运动置信度模型对其进行描述。在建立的运动置信度模型的基础上，提出了一种新的动态神经元提取模型来区分动态和静态神经元，并采用动态脉冲细化机制对动态脉冲进行处理。引入了包括LIF神经元模型、STDP和动态阈值在内的生物学合理机制的组合来自适应处理高时间分辨率脉冲数据。实验结果表明，我们的方法可以在高速运动和静态场景中重建高质量的视觉图像。
我们未来的工作将集中在如何从弱光强度场景(例如"办公室")中更好地估计光强度。在这个场景中，弱光强度会导致较低的发放率，从而导致信噪比下降。同时，由于ISI较大，两个脉冲之间可能存在更复杂的运动。我们计划开发算法来处理上述场景，以提高重建质量。提高现有算法的计算效率也是未来的工作。