郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！
Neuron, no. 4 (2021): 571-575
SUMMARY
最近的研究解决了建立生物物理学合理的脉冲神经模型的挑战性问题，该模型也能够进行复杂的信息处理。这一进步为神经科学和神经形态工程创造了新的机会，我们在一次在线焦点会议上讨论了这些机会。
INTRODUCTION
神经元通过离散的稀疏事件(脉冲)进行通信和计算。这种机制与数字计算机和现代人工智能基础的深度神经网络的模拟激活完全不同。要了解大脑并在神经形态硬件中模仿其最高能力，我们需要了解脉冲神经网络如何学习并表现出复杂的智能行为。似乎存在的矛盾使实现这一目标的道路受挫。传统的脉冲模型非常类似于大脑中观察到的机制，但是事实证明很难建立能够学习与生物电路类似的复杂性和性能的行为的模型。相反，深度神经网络与生物大脑完全不同。但是，它们有史以来第一次能够以与真实大脑的能力相媲美的水平解决复杂的问题。
是什么导致函数能力上的差异？就像在深层的人工神经网络中一样，大脑中的计算源于复杂的连接网络，该网络允许大量的神经元作为能够进行复杂信息处理的网络协调一致地发挥作用。当活动通过这些连接流动时，它会进行高维非线性转换。有了适当的连接性，此过程将在网络级别上进行有意义的计算。找到正确的连接是有问题的，因为它需要了解网络深处的单个神经元如何影响整个网络的输出。该要求被称为信度分配问题。深度学习与众不同之处在于，该问题是通过基于梯度的优化以算法方式解决的，其中优化整个网络中的突触连接和神经元参数会逐渐减少输出误差(图1A)。该算法依赖于流经网络的梯度信息，这由行为良好的可微神经元激活函数来确保。此类优化算法的存在使深度学习成为通过函数模型理解大脑内部工作的最有前途的途径之一(Richards et al., 2019)。
不幸的是，基于梯度的优化无法在脉冲神经网络中发挥作用，在这种神经网络中，神经元脉冲动态的不可微本质阻止了梯度的流动。但是，神经形态工程师和计算神经科学家的持续共同努力导致了最近的一些进展，这些进展允许将深度学习革命的基础算法转化为生物学受限的脉冲神经网络领域。
为了弥补这一新兴领域的跨学科论坛的不足，我们弥合了脉冲网络与深度学习之间的鸿沟，我们组织了一次主题会议，名为“将脉冲神经网络作为通用函数近似器”。为期两天，该领域的专家在对话中分享了最近的工作，讨论了新颖的想法，并规划了在公开小组讨论中前进的方式。由于冠状病毒2019 (COVID-19)，它是一个在线会议，吸引了来自世界各地的700多名注册参与者，他们积极参与了丰富的讨论。
该会议报告总结了这次聚会的主要成果。核心的是几项创新，这些创新预示了脉冲神经网络建模的根本转变，将传统的生物学合理的模型与现代性能优化的人工神经网络的最佳结合在一起。重要的是，这些发展使我们可以建立模型来：
（1）利用时序脉冲动态来有效地编码和处理信息；
（2）通过共同优化具有连通性的神经元参数，以接受神经元异质性和多时间尺度动态的计算价值；
（3）通过从基于梯度的规范框架中得出的生物学合理的学习规则进行学习，从而在微电路级的机理基础上提供新的观点。
这些进步为我们提供了一种有原则的通用新方法来解决有关神经元异质性，特定电路模式以及时序脉冲动态在神经系统中的作用的问题。
The importance of temporal dynamics in neural processing
以前在复杂任务上训练脉冲神经网络的工作仅使用神经元的固定发放率，从而可以直接转换机器学习中使用的常规人工神经网络的结果。但结果是，这些网络无法利用脉冲可以携带的时序结构，这是大脑为快速处理和稀疏信息编码而广泛利用的一种机制。会议报告中介绍的工作克服了先前研究的技术问题。它使我们第一次探究了脉冲网络可以用来解决复杂的信息处理任务的独特时间编码策略。使之成为可能的是找到方法，将基于梯度的学习直接转换为细粒度的时序脉冲，同时将发放脉冲的数量保持最小(Neftci et al., 2019)。具有稀疏但精确计时的动作电位的这种操作设置不仅让人联想到皮层处理，而且还使脉冲神经网络的实现更有效地在硬件上运行。现在，我们讨论三种主要的学习范例，这些范例说明了这种新方法：脉冲网络中的FORCE训练，相对于单个脉冲时间的梯度以及替代梯度。
Time-continuous processing with instantaneous rates
另一种方法假设每个神经元在给定的时间段内精确地发放脉冲一次，并针对这些脉冲时间计算梯度(图1B)。Kheradpisheh和Masquelier (2020)指出，对于MNIST和fashion MNIST的脉冲延迟编码版本，它可以提供最新的准确性。在类似的工作中，Comsa等人(2019)不仅在时延MNIST上取得了可比性能，而且还证明了这种编码方案提供了一类通用近似器。Gotztz等(2019)使用加速的BrainScales-2模拟神经形态系统展示了在脉冲延迟编码任务上的可比性能。这不仅大大减少了延迟，而且功耗降低了200mW，每秒可处理超过10000个输入，而且该学习方案对于底层神经形态基质的小制造缺陷具有鲁棒性，这也是对任何生物系统的基本要求。
通过设计，基于计时的方法非常适合使用延迟编码的静态刺激。该方法假定脉冲非常稀疏，因为每个神经元最多发出一个脉冲。这种表示允许使用有效的事件驱动算法，其中时间代表自身，这可以在网络级别将其转换为较小的内存占用量和低功耗计算(Kheradpisheh and Masquelier 2020; Gotztz et al., 2019)。类似于二值神经网络，所有处理都在单个脉冲穿过网络传播时发生。因此，结果准备就绪，延迟低。尽管具有这些优点，但是在每个神经元中仅使用单个脉冲具有其局限性，并且不太适合处理时序刺激，例如脑电图(EEG)信号，语音或视频。但是，可以通过使用替代梯度训练网络来克服此限制。
Flexible information processing through surrogate gradient learning
代替梯度操作，在具有离散时间网格的神经元模拟中计算替代梯度，类似于机器学习中的常规循环神经网络(图1C)。为了捕获脉冲动态的本质，该方法在每个时间步骤假定一个二值神经元输出。因为二值神经元激活函数是不可微的，所以在这些网络中计算目标函数梯度的标准过程就会失败。诀窍是用平滑的可微函数近似不可微的阶跃函数，然后产生一个替代梯度，从而可以使用标准的机器学习软件有效地优化脉冲网络(Neftci et al., 2019)。由于替代梯度学习并未对任何神经元发出的脉冲次数施加任何严格的限制，因此它可以灵活地处理输入神经元多次脉冲的时间刺激(Kheradpisheh and Masquelier 2020)。
The computational value of coordinated neuronal heterogeneity
建立脉冲神经网络模型的另一个令人振奋的进展是，替代梯度技术可以优化重要的神经元和突触参数，例如时间常数，并具有连通性。这种变化为建模人员提供了令人兴奋的新机会，使其可以实现参数异质性。例如，Yin等人(2020)表明，不给每个神经元相同的自适应时间常数(一个通用的简化模型假设)，而在每个神经元的基础上优化时间常数，这在几个分类基准上提供了决定性的计算优势。优化神经元参数明显偏离了先前的建模标准，并为理解大脑细胞多样性的功能性作用开辟了道路。
The importance of multi-timescale dynamics
更普遍地，几项研究表明，单个神经元的动态复杂性如何在网络级别的计算成形中发挥关键作用。因此，我们现在有了必要的工具来利用这种复杂性来增强脉冲网络模型。Bellec等(2020)显示了如何缓慢移动神经元发放阈值从而大大改善计算性能，使得脉冲网络能够解决大量复杂的计算问题，例如玩Atari游戏。同样，Yin等人(2020)表明，在几个时间序列分类任务上，具有最佳异构自适应时间尺度的网络始终优于没有这种异构性的网络。除了提高整体计算性能外，脉冲频率自适应还可以显著减少脉冲计数，并有可能进一步减少神经形态实现的能耗。
Linking normative and biologically plausible plasticity models
到目前为止讨论的工作使用基于梯度的优化算法，这在生物学上是不合理的。例如，在机器学习中训练循环神经网络的标准算法是时间反向传播(BPTT)。它不能被解释为生物学合理的学习规则，因为它需要通过时间反向传播信息。此外，其计算需要了解各个突触在物理上没有访问权限的知识。这意味着我们可以使用该算法来优化网络模型，但是它并未提供有关神经生物学如何实现类似优化的有用想法。在脉冲网络的情况下，BPTT还有另一个明显的缺点。它的记忆需求随刺激持续时间线性增长，在以高时间分辨率模拟长时间刺激和大型网络时会产生问题。
实时循环学习(RTRL)是一种替代算法，不存在此问题，只需要及时传播信息即可。它仍然需要非本地信息，因此不能直接解释为生物学合理的学习规则。但是，该算法的近似值可以解释为局部学习规则(Bellec et al., 2020; Zenke and Neftci, 2021)。例如，以这种方式派生的本地学习规则"e-Prop"允许具有缓慢的脉冲触发自适应的循环脉冲神经网络学习解决各种挑战性任务，包括语音识别和玩Atari游戏(Bellec et al., 2020)。
此外，Zenke和Neftci (2021)提出了一个通用的数学框架，该框架提出了一种关于自动微分的新观点，从而允许将BPTT和RTRL的元素与近似灵活地结合在一起。该框架揭示了本地学习规则与RTRL的近似形式和众多在线学习规则的基本联系；例如，e-Prop，在线时序学习(OSTL)，随机反馈本地在线学习(RFLO)，深度连续本地学习(DECOLLE)和SuperSpike，这些都可以通过忽略循环连接对梯度的特定贡献而得出。有趣的是，已知存在于生物学中的突触资格迹的概念不属于该规范框架，并且与突触和神经元动态有关(Bellec et al., 2020; Neftci et al., 2019)。这些近似的共同点是它们的效率提高，生物学可解释性以及在神经形态硬件上的可实现性。
Biologically plausible solutions to the spatial credit assignment problem
尽管资格迹可以解决时间信度分配问题(即，过去的网络活动在一段时间后导致了特定的误差或强化信号)，但解决空间信度分配问题(即，哪个神经元的活动对特定的网络级输出有很大的贡献)需要专用电路来计算并在神经元之间传递学习信号。大脑如何完成这项壮举仍然是一个悬而未决的问题。
Bellec等(2020)探索了一种可能的方式，其中单独训练的网络模块充当学习信号发生器。它的任务是向一群神经元提供精确的时空分离学习信号，以作为解决空间信度分配问题的一种可行方法。但是，可以对可塑性进行这种控制的精确电路机制在模型中仍然没有解决。
Payeur等(2020)使用经过实验验证的微电路元件和细胞类型，在生物物理电路模型中解决了这个问题。该模型使用簇多路复用，其中孤立的脉冲与高频簇具有不同的含义，从而通过每个神经元维持两个独立的信息通道，从而允许前馈信息和反馈误差同时流动。为此，该模型仅依赖于生物学合理的特性，例如树突区室，短期可塑性，抑制性微电路和与簇依赖可塑性。作者使用模型的简化版本，证明了它在像ImageNet这样的大型机器学习基准上具有竞争优势。
Future challenges and research directions
尽管我们新获得的构建功能性脉冲神经网络的能力具有革新我们构建受生物启发的神经网络模型的方式的潜力，但仍存在一些明显的困难。我们将概念挑战和技术挑战大致区分开。
Conceptual challenges
我们如何才能最好地使用功能性脉冲神经网络模型来进一步了解大脑中的信息处理？在人工和生物脉冲网络之间建立和睦关系将是至关重要的第一步。这样做将需要定量的方法来比较不同网络之间的网络表示形式。最初，对当前用于将神经数据与深度神经网络进行比较的表征相似性分析进行调整和推广可能是可行的。可以想象，神经元脉冲序列的固有时间结构可能需要全新的分析技术。
另一个必不可少的步骤将是通过逐步将生物布线约束，单元类型多样性和电路模式纳入我们的网络模型，逐步向更合理的架构发展。对此类网络进行特定任务的训练将阐明此类限制在有效信息处理中的作用，并开拓新的前景，以将这些见解转化为更高效的神经形态硬件。
我们应该预期不同的结果，具体取决于视觉输入是使用延迟编码，频率编码还是两者之间的混合。因此，架构改进必须与生物学合理的输入相结合，以提供可解释的结果。因此，有关大脑输入编码的详细知识是充分利用我们新发现的训练脉冲神经网络的能力的先决条件。
尽管当前的工作侧重于有监督的学习，但要构建更好的硬件并更深入地了解大脑的未来应用程序需要研究无监督的学习。这样，我们可以希望回答有关大脑优化哪些目标功能以及如何优化的问题。
Technical challenges
一个主要目标是将脉冲神经网络的训练规模扩大到更大的系统。尽管模拟大规模脉冲神经网络的技术可能性已经存在多年，但当前的训练算法并未很好地适合于这些大规模且通常基于事件的实现。当前功能性网络的大小限制主要是由于用于训练脉冲网络的自动微分库。他们的设计对稀疏连接性和稀疏脉冲的支持不佳，这使得它们在模拟大型网络模型时效率低下。因此，这里突出显示的大多数模型由数百个神经元组成，与大多数生物回路和机器学习中的典型深度神经网络相比，数量很少。朝着与生物学相当的神经元数量发展并将这些网络应用于现实世界的数据集，将需要开发新颖的算法，软件库和专用硬件加速器，以在脉冲神经网络的特定方面表现良好。 实现此目标的另一个重要方面是开发有效的参数初始化策略，这对于成功进行训练至关重要，从而可以实现较高的任务性能。
最后，为了进一步设计出人工和生物网络之间的有意义的比较，我们需要花费时间和精力来构建合理的基于脉冲的数据集，以模仿大脑中感觉神经元所看到的输入。与深度学习一样，大型数据集是从可以很好地推广到看不见的数据的优化原理形成功能性网络的前提。因此，设计与感觉神经元所经历的输入非常相似的数据集对于允许定量比较生物神经网络的人工数据和实验数据的内部表示形式至关重要。最后，一个重要的问题仍然悬而未决：脉冲神经网络比非脉冲对应能更好地解决哪些任务？
CONCLUSIONS
尽管我们新获得的实例化执行复杂信息处理任务的脉冲神经网络的能力是一项令人振奋的进步，但要获得其全部好处，仍然面临着严峻的技术和概念挑战。在解决这些挑战时，我们期望从通常解决手工计算问题的手工脉冲网络模型向能够解决苛刻的计算挑战的复杂脉冲网络的重大转变。这种转变将对大脑启发的硬件和计算神经科学建模中的实际应用产生持久影响。特别是，它允许建立执行特定大脑回路的假设功能并将直接将模型活动与实验数据进行比较的脉冲网络模型。到目前为止，这种比较仅在其结构和动态与神经生物学显著不同的人工神经网络中存在。最终，这很可能是突飞猛进的神经网络研究新时代的开始，当这个神经网络研究得以充分实现时，它可以为我们解决一个长期存在的问题的具体答案：为什么使用脉冲？