路漫漫其修远兮：科学研究是一场持久战
科学研究需要灵感和激情，但伟大成果的诞生往往伴随着科研工作者在漫漫寒夜中无畏的坚守！
近日，莱斯大学教授 Moshe Vardi 发表在 ACM 计算机期刊《Communications of the ACM》上的一篇文章引起了极大的关注，他表示「要将研究视为一场漫长的旅程，才能取得重大的突破。」2018 图灵奖得主 Yann LeCun 评论称：「Moshe Vardi 以神经网络历史兴衰为例，告诉我们，研究是一场持久战…」
位于美国加利福尼亚州帕罗奥多的未来研究所（IFTF，Institute for Future）是一个智库，建立于 1968 年，是兰德（RAND）公司的分支机构，旨在帮助企业对长远的未来进行规划。
曾于 1971 到 1990 年间任 IFTF 总裁的 Roy Amara 在 2007 年过世，他因提出了关于技术的影响的 Amara 定律而闻名：「人们总是高估一项技术所带来的短期效益，却低估了它的长期影响」。Gartner 技术成熟度曲线就是最好的例证，该曲线的特点是在「期望膨胀期」后，会紧跟一个「泡沫化的底谷期」，然后是「稳步爬升的光明期」，最后则是「实质生产的高峰期」。
当我听说 Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun 因「在概念和工程上取得的突破，使深度神经网络成为计算的重要组成部分」而获得 2018 年的图灵奖时，我又想起了 Amara 定律。
这条消息一点都不令人惊讶。毕竟，在过去十年间，再也没有其它计算技术具有如此引人瞩目的表现和影响。一如图灵奖公告所说：「近年来，深度学习方法一直是计算机视觉、语音识别、自然语言处理和机器人技术等领域取得惊人突破的重要原因」。
但为了在恰当的历史背景下讨论他们的贡献，还是要回顾一下神经网络的悠久历史。
1943 年，神经生理学家 Warren McCulloch 和年轻的数学家 Walter Pitts 写了一篇关于大脑神经元如何工作的文章。他们用电路模拟了一个简单的神经网络。
1958 年，康奈尔的一名神经生物学家 Frank Rosenblatt 发明了感知机——它是只有一层的神经网络。《纽约时报》将感知机称为「可以行走、说话、看、写、自我再生，并能意识到自己的存在的电子计算机雏形。」不幸的是，在 Marvin Minskey 和 Seymour Papert 于 1969 年撰写的《感知机》一书中，证明了感知机存在很大的局限性。
「期望膨胀期」之后将紧跟着「泡沫化的底谷期」。此时，「人工智能的第一个寒冬」出现了，这从人工智能的研究经费不断减少就能体现出来，这样的状况一直持续到 20 世纪 80 年代初。
1982 年，加州理工的 John Hopfield 发表了一篇论文，其重点不是模拟大脑，而是要创造出有用的设备。他通过数学方法，清晰地向人们展示了这样的网络是如何工作的，以及这样的网络可以做些什么。
大约同一时间，日本东京举办了「合作/竞争神经网络美日联合会议」。日本随后宣布了第五代（the Fifth Generation）计算机计划。美国的期刊刊登了这篇报道，人们开始担心美国会落后。很快，资金再一次流入。
1987 年，神经信息处理系统年会（NeurIPS）成功举办。但新的膨胀期后依然会跟随着底谷期。
就像图灵奖的公告中所说：「到 21 世纪初，LeCun、Hinton 和 Bengio 是仍然坚持研究这种方法的小部分人中的一员」。事实上，他们在重燃人工智能社区对神经网络兴趣方面所做出的努力，在一开始是遭到质疑的。这段底谷期导致「人工智能的第二个寒冬」到来，这一直持续到了 20 世纪 90 年代。
直到本世纪初，人们将改进的算法、硬件（GPU）和大数据集（ImageNet 有超过 1,400 万张有标签的图像）组合在一起，取得了令人印象深刻的重大突破，而且无论是从效率角度还是从速度角度来讲，深度（有许多层的）神经网络在计算机视觉方面都有着显著的优势。
Hinton 和他同事的想法带来了重大的技术进步，他们的方法现在已经成为该领域的主要范式，并因此获得了 2018 年的图灵奖。
这个故事告诉我们，研究是一场持久战，在该过程中，耐心和耐力是必要的组成部分。
但我还记得 20 世纪 90 年代早期，在一个工业研究实验室中曾举办过一个研究评估会议，会议上有人所做的数据挖掘的开创性工作并没有得到认可，因为「这一项工作已经做了两年了，但他竟然还不清楚这项工作未来将会走向何方」。我和普林斯顿大学高级研究所的创始人 Abraham Flexner 担心的是同一件事，在 1939 年出版的《无用知识的有用性》一书中，Flexner 讨论了为了支持所谓实用主义而放弃纯粹的好奇心的危险倾向。
没有一个简公式可以简单地概括成功研究背后的规律。有时，在短期内关注一些眼前的问题是可以的，但大多数时候，要将研究视为一场漫长的旅程，才能取得重大的突破。