郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布
Neural Computation, no. 7 (1998): 1601-1638
Abstract
我们回顾了模拟和数字计算的优缺点。我们提出在资源使用方面最有效的计算既不是模拟计算也不是数字计算，而是两种形式的混合。为了获得最大效率，混合形式的信息和信息处理资源必须分布在多条线路上，每条线路具有最佳的信噪比。我们的结果表明，大脑很可能以混合方式进行计算，而人脑仅消耗12W的效率的一个被低估的重要原因是其架构的混合和分布式特性。
1 Introduction
我们估计人脑每秒执行3.6 x 1015次突触操作(Sarpeshkar, 1997中的附录A.1)。从对脑血流量和耗氧量的测量可知，大脑仅消耗12W (Sarpeshkar, 1997中的附录 A.2)。因此，它的计算效率约为每焦耳3 x 1014次运算。尽管我们的大脑和身体中存在缓慢且嘈杂的组件，但人脑仍然能够实时进行极其复杂的计算。
极快的微处理器(例如DEC Alpha 21164)每秒执行约255 x 106次浮点运算并消耗40W。1 因此其效率约为每焦耳6.25 x 106次运算。尽管它的晶体管速度极快且精确，但它甚至无法实时解决相对简单的行为任务。
如果我们将人脑的计算效率与数字微处理器的计算效率进行比较，我们会发现大脑的效率至少要高出七个数量级。2 Mead是第一个指出神经生物学和电子产品的计算效率存在巨大差异的科学家(Mead, 1990)。他还开创了神经形态计算领域——受神经系统启发并与之相似的电子计算(Mead, 1989)。
如何在神经生物学系统中实现具有噪声成分的高效和复杂计算？Mead将神经生物学系统的巨大效率归功于它们对内置介质的物理特性的巧妙利用、它们的局部布线策略以及它们巨大的适应和学习能力。在本文中，我们将重点介绍使用物理进行计算所涉及的权衡。
机器用来执行计算的三种物理资源是时间、空间和能量。计算机科学家传统上将能源视为一种免费资源，并且主要关注时间(计算终止所需的时钟周期数)和空间(所需的内存量或执行计算所需的设备数量)。然而，当我们对大脑等极其复杂的系统感兴趣时，能量不能被视为一种免费资源。以目前数字计算的效率，建立一个像大脑这样的系统需要几十兆瓦(假设我们完全可以这样做)。如果我们也想让这个系统便携，那么能源限制确实非常重要。能源显然是自然进化过程中极其重要的资源。(有关生物学和进化中能量约束的有趣讨论，请参见Allman, 1990; 和Aiello & Wheeler, 1995。) 在较小的范围内，能量约束在所有便携式应用中都很重要，例如无线电话、膝上型计算和助听器。
生物系统通常不断地而不是间歇地计算，时间资源由任务的计算要求固定。例如，对于感觉运动任务，我们可能需要在几百毫秒内做出响应，而对于听到1 K Hz音调的任务，我们需要对1毫秒时间尺度上的逐周期变化做出响应。因此，在整篇文章中，我们将假设计算任务的带宽是固定的，并且时间资源不是一个自由度(它将是我们公式中的一个参数，而不是一个变量)。另外两种资源(能源和空间)将是自由度；我们将使用更多的自然资源(单位时间的能量)和面积(二维基板中的空间资源，如神经膜或超大规模集成电路)作为我们的自由度。
假设我们有两个系统A和B，它们以相同的带宽(以Hz为单位)、以相同的输出信息速率(以比特/秒为单位)和相同的输入进行计算。如果A在执行此计算时消耗更少的功率(和/或面积)，则它比B更有效。在本文中，我们将有兴趣了解一个系统优于另一个系统的原因。我们将特别研究模拟和数字系统之间效率差异的原因。
电子系统比生物系统更容易理解和分析。因此，在第2节和第3节中，我们首先分析模拟和数字电子系统之间的差异。在第4节中，我们使用通过此分析获得的见解来概述混合和分布式电子架构如何实现高效且精确的计算。在第5节中，我们将我们对电子系统的想法外推到神经生物学系统。第6节总结了这篇文章。
1 在执行类似于人耳听觉计算的specfp92 Ear Program上，在Alpha Server 8200 5/300上运行的DEC 21164的速度是VAX11/780的1275倍，后者的运行速度约为0.2 MFLOPS(对于我们的计算)。因此，我们估计它大约相当于1275 x 0.2 = 255 MFLOPS。这些数字是1995年的。
2 有人可能会争辩说，我们的比较并不公平，因为微处理器执行的浮点计算比突触执行的计算更复杂，而且它们也更精确。然而，除了乘法之外，突触计算还涉及时间滤波和自适应，这是数字计算中相当复杂的操作。我们还忽略了在神经元树突中执行的几个复杂的时空相关和加法。因此，为简单起见，我们选择仅比较数字计算和神经生物学中“基本运算”的效率。神经生物学和电子学之间存在许多数量级的差异，以至于这些担忧不会改变我们的结论。
2 Analog Versus Digital: The Intuitive Picture
2.1 Physicality: Advantage Analog.
2.2 Noise and Offset: Advantage Digital.
3 Analog Versus Digital: The Quantitative Picture
3.1 Noise in MOS Transistors.
3.2 Noise in Analog Systems.
3.3 The Costs of Analog Precision.
3.4 The Costs of Digital Precision.
3.5 Precision Costs: Analog Versus Digital.
3.6 Caveats.
3.7 Summary of the Analog-Versus-Digital Analysis.
4 The Best of Both Worlds
4.1 Distributed Analog Computation.
4.1.1 Caveats.
4.2 Hybrid Computation.
4.2.1 The A/D/A.
4.2.2 The Optimal Length of a Hybrid Link.
4.3 Distributed and Hybrid Computation.
5 Extrapolating to Neurobiology
5.1 Why Neuronal Information Processing Is Distributed.
5.2 Information Processing in the Brain Is Likely to Be Hybrid.
5.3 How Signal Restoration May Be Implemented.
5.3.1 Von Neumann Restoration for Spike Counting.
5.3.2 Restoration for Spike Timing.
5.3.3 Caveats.
5.4 Noise in Biological Devices.
5.5 Noise in Neurobiological Systems.
6 Summary
最后，我们回顾了文章的要点：
- 模拟计算在低精度处理时有效，数字计算在高精度处理时有效。模拟计算的资源精度方程(公式3.17和3.18)和数字计算的资源精度方程(公式3.19和3.20)量化了MOS技术在一定精度下的计算成本。图3显示了不同精度水平下模拟和数字计算的成本图。一项技术的带噪资源方程(MOS技术的公式3.6)决定了该技术的资源精度曲线的形式。
- 模拟计算的优势源于它利用物理原语进行计算。数字计算的优势源于其信息和信息处理的多线表征，以及其信号恢复特性。
- 由于计算和通信之间的权衡，模拟计算将其精度和处理资源分配到多条线上，在每条线的特定信噪比下效率最高。公式4.1和图4更详细地说明了这一事实。
- 我们提出了一种混合架构，它将离散信号恢复的优势与连续信号、连续时间模拟计算的优势相结合。这种混合方案的关键构建块是称为A/D/A的恢复电路，在4.2.1节中进行了描述。图5和图6说明了混合方案的工作原理。为了获得最大的计算效率，在离散信号恢复之前必须完成最佳数量的连续模拟处理；图7和等式4.12说明了如何确定此最佳值。
- 我们在4.3节和图8中描述了一个计算架构，它说明了分布式和混合计算的同时工作。分布式和混合计算结合了模拟和数字世界的优点，创造了一个比两者都更高效的世界。
- 在神经生物学系统中，与硅中的通信成本相比，通信成本相对较低，每条线的最佳信噪比低于硅中的信噪比。因此，我们相信大自然很聪明地将计算资源分配到许多带噪的神经元(树突和体细胞)上，并通过许多带噪的接线(轴突)在神经元之间传递信息。
- 由于大脑在其信息处理方面似乎非常高效，并且混合表征是大规模复杂系统中最有效的表征，因此大脑很可能使用混合表征。
- 实验表明，大脑中的离散状态编码在网络中神经元的交叉相关发放模式中(Abeles et al., 1995)。因此神经元信息处理最有可能涉及矢量信号恢复。在5.3节中，我们讨论了如何使用类似A/D/A的方案来实现神经元网络中的信号恢复。
- 从许多例子中可以清楚地看出，在神经生物学中，噪声的减少是通过资源消耗来实现的，就像在电子学中一样。神经生物学和电子学的行为相似，因为物理和数学定律(如热力学定律和大数定律)不会随着技术而改变。正是这样的定律，通过一些与技术相关的参数，确定了带噪资源方程。由于我们的结论仅依赖于带噪资源方程的一般属性，例如噪声随资源消耗的多项式减少，我们建议我们从电子学到神经生物学的推断是正确的。