节选自詹姆斯·巴拉的《我们最后的发明》
“…我们将会开始依赖于电脑的帮助来发展出新型电脑，以生产出更为复杂的产品。然而，我们并不十分了解中间的进程，因为电脑将会领先于我们。目前，我们运用程序使电脑运行速度加快，以此使进程加快。而这正是如此令人疑惑的地方——技术在自我反馈，不再需要我们人为参与了。现在，我们就像是单细胞生物正在转换为多细胞生物。我们是阿米巴虫（单细胞生物-译注），我们搞不懂我们创造出来的东西到底是什么。”——思维机器有限股份公司创始人
丹尼·希利斯。
你和我都生活在人类历史上一个有趣且脆弱的时代。大约到2030年左右，不到30年的时间，我们有可能要面临这样的挑战：与超智能机器共享地球，并想方设法地生存下去。人工智能理论家总是一再想到某些主题，但是唯有这个主题最迫在眉睫：我们需要一项技术以理解超智能机器。
幸运的是，有人已经为我们奠定了基础：
制造一个下棋机器人肯定不会带来危害的，是吗？… 除非仔细认真地设计这个机器人，不然它肯定会异常 危险。没有特殊的防护措施，这个机器人会拒绝关 机，会试图破译其他机器，并制作它自己的复制品， 还会不顾他人安危，设法获取资源。这并非由于一开 始在电脑中编制了电脑程序，这些潜在危险行为才会 发生，而是目标驱动系统（goal driven systems）的 内在天性使然。
这段话的作者是史蒂夫·奥莫亨德罗。
他身材高大，身体健康，并且作为一个深入研究无底洞似的智能爆炸的人来说，他非常活泼开朗，他步履轻快，握手时孔武有力，眼睛露出友好的光芒。我们在帕洛阿尔托的一个饭店见面，这个城市临近斯坦福大学。他作为美国大学优秀生全国性荣誉组织成员毕业于斯坦福大学。之后继续在加州大学伯克利分校深造，并获得了物理学博士学位。在《物理学几何微扰理论（Geometric Perturbation Theory in Physics）》一书中，奥莫亨德罗就微分几何的发展阐明了自己的论点。对奥莫亨德罗而言，将事情化难为易这一事业才刚刚开始。
他被奉为人工智能专家，和一位多产的科技作家，并且在唇读及图片识别这样的人工智能里程碑方面被尊为先驱。他与别人共同设计了电脑语言StarLisp和Sather，以用来为人工智能编程。他是创造沃尔夫勒姆研究公司的Mathematica（一种强大的计算系统，深受世界各地的科学家、工程师及数学家的喜爱）的七位工程师之一。
奥莫亨德罗非常具有乐观主义，对毁灭性，湮灭这样的词语不屑一顾。然而他对人工智能风险的分析所得出的结论却是我所听过的最令人毛骨悚然的。尽管许多理论家相信有可能的高级人工智能数量无限，并认为其中一些是安全的，但是他不相信。相反，他总结道，如果不小心谨慎地编程，所有异常聪明的人工智能都将会是致命的。
“我的分析结果表明，我们应该小心考虑输入的数值， 否则我们得到的将不止是一个精神错乱，自私自利，以 自我为导向的物体。”
“如果一个系统具有自我意识，并能创造出更好版本的自己，这非常不错，”奥莫亨德罗告诉我，“较之人类程序设计员，电脑本身创造的升级版则更胜一筹。一方面，经过多次迭代，它会变成什么呢？我认为大多数人工智能研究员都认为创造一个下棋机器人不会有任何危害。但我的分析结果表明，我们应该小心考虑输入的数值，否则我们得到的将不止是一个精神错乱，自私自利，以自我为导向的物体。”
这里的关键问题是，首先，人工智能研究员们自己甚至都不清楚，这些看似大有裨益的系统会危机四伏；其次，研究员们也不知道，这些拥有自我意识、会自我完善的系统可能会精神错乱。
精神错乱？
对话开始时，奥莫亨德罗讲了一些糟糕编程。程序错误使得发射的昂贵火箭向着地球曲折而落；使得癌症患者因超剂量辐射而被活活烧死；还导致数百万民众无法用电。他表示，如果所有的工程技术都如众多电脑程序一样漏洞百出，那乘坐飞机或开车过桥将会十分危险。
国家标准技术局发现，每年的糟糕编程使美国经济收入损耗超过600亿美金。换句话说，我们美国每年在错误代码上损耗的钱，比大多数国家的国内生产总值还要多。“讽刺的是，计算机科学理应是所有科学中最为精确的，”奥莫亨德罗说，“本质上，计算机就是精确的引擎，应按预见性路径准确运行。而软件更像是精神错乱的工程，满是漏洞和安全问题。”
那么对于充满缺陷的火箭和满是漏洞的代码，有什么解决办法吗？
奥莫亨德罗表述道，对于可以自我维护的程序，“为获得人工智能，我公司采取的独有方式是，建立可理解自身行为的系统，并使它们在工作和解决问题时自我监控。当运行不畅时，它们会注意到，并进行自我改善提高。”
自我完善软件不仅是奥莫亨德罗的公司追求，而是对于所有软件而言，都是合乎逻辑、甚至是不可避免的下一步行动。但是奥莫亨德罗提及的自我完善软件，即有自我意识并能构建更好自身版本的软件尚未面世。然而，它的堂兄弟——可自我修改的软件，则随处可见，并已面世了很长时间。在人工智能用语中，一些可自我修改的软件技术来自于一个广义的类别——“机器学习（machine learning）”。
那么，一个机器要学习什么呢？“学习”这一概念更像”智能“，因为”学习“的定义很多，而且大多数都是正确的。简单地说，当机器中发生了改变，能使机器在第二次运行时更好地执行任务，那么这个机器就学习了。机器学习使网络搜索，语音识别及手写识别成为可能，并在许多应用程序中提升了用户体验。
电子商务巨头亚马逊上的“推荐”就使用了一项机器学习技术——关联分析。这种策略可促使你购买相似物品（交叉销售），或更为昂贵的物品（向上销售），或者向你推销。它的工作原理很简单。将你所搜索的物品称为A物品，那么其他购买A物品的顾客倾向购买的物品B,物品C和物品D就显示出来了。当你搜索物品A时，就触发了关联分析算法。它会开始进行大量的交易数据分析，继而显示出相关联产品。因此，关联分析通过不断增加的数据库来提升自身性能。
通过这一软件的自我完善，谁会从中受益呢？当然是亚马逊了，不过，你也受益匪浅。关联分析就像是买家的购物助理，可以让你每次购物时都从大数据中获益。而且亚马逊也会时时记得建立购买简报，这样它给你推荐的商品就会越来越好，越来越合适。
如果从会学习的软件更进一步，若发展出可以自我进化，以解决困难问题的软件，甚至发展出可编写新程序的软件，情况会怎么样呢？那么它就不再是拥有自我意识、且可自我完善的软件了，而是在前进路上更进了一步——可编写软件的软件。
遗传程序（genetic programming）是一种机器学习技术，它运用自然选择之力来寻找问题的答案，而这些问题，人类可能要耗费很长时间，甚至数以年计的时间才能解决。遗传程序也可用来编写创新性的，高性能的软件。在很多重要方面，它与很多常见的程序设计技术（我称之为普通程序设计）都大有不同。在普通程序设计中，程序设计员把每一行代码都写下，而从输入到输出的进程，理论上来说，检阅起来则一览无余。
相比之下，使用遗传程序的程序设计员只需将亟待解决的问题描述出来，其他的由自然选择来完成即可。而结果会非常令人震惊。
遗传程序会创造出少量代码，以此代表一个育种世代。最为拟合的为杂交品种——即部分代码被替换——可创造出新一代。程序的拟合性取决于其解决程序设计员设置的问题的能力如何。不适者被淘汰，而适者可继续繁殖。在此过程中，程序将指令或变量中的改变（即变种）随机去除。一旦设置开始后，遗传程序就自行运行，不再需要人为输入。
作为1986年遗传程序的先驱者，斯坦福大学的约翰·科扎使用遗传算法为NASA(美国国家航空和宇宙航行局)发明了一种天线，并创造了鉴别蛋白质的电脑程序，而且还发明了通用电气控制器。仅将目标设置为已完成装置的工程规范，即“适应度”标准，科扎的遗传算法就独立发明了23种电子元件，且已注册了专利权。举例而言，在同种规格中，较之人类发明的电路，科扎的算法发明出来的电压-电流转换电路（一种用于检测电子设备的装置）能更为准确地工作。然而，不可思议的是，无人可以解释它何以工作得更为出色——表面上看，它包含了一些冗余的，甚至不必要的部件。
但是，这就是遗传程序（和同属于一个程序家族的“进化编程”）令人好奇的地方。代码是高深莫测的。程序“进化”出来的那些解决办法，计算机科学家们无法轻易再造。而且，他们无法理解遗传程序是通过何种过程获得最终解决方案的。人们可以理解其输入与输出，却不明白其过程，这样的一个计算工具被称为“黑匣子”系统。它们的不可知性对所有使用进化组件的系统来说都是个很大的不利因素。每向不可预知性接近一步，就远离可说明性一步，或者说越无希望建立人类友好型编程。
这并不意味着科学家们又一次失去了对黑匣子系统的控制。但是如果认知架构使用黑匣子来获得一般人造智能——十有八九会做到的——那么，若干层不可知性则会成为系统核心。
不可知性也许是拥有自我意识、可自我完善软件所无法避免的结果。
《我们最后的发明：人工智能及人类时代的终结》（詹姆士·巴拉）
“这与我们所熟悉的系统非常不同，”奥莫亨德罗表示，“当你拥有了一个可进行自我改变，并可为自己编程的系统时，你可能会搞清楚它的首个版本。但是它可能会自我改变，变成你不再明白的东西。所以，这些系统更加不可预测。他们强大异常，同时又暗藏危险。所以我们的很多工作要做的就是趋利避害。”
回到奥莫亨德罗前文提及的下棋机器人，它怎么会危害人间呢？当然了，他谈论的并非安装在你电脑上的下棋软件，而是一个假想的下棋机器人，它通过认知架构运行，而且该认知架构非常复杂精密，所以该机器人可以重写自身代码，以获得更好的棋艺。它拥有自我意识和自我完善能力。那么，如果你命令该机器人下一盘棋，然后关机，情况会如何呢？
奥莫亨德罗解释道，“好，我们假设它已经尽可能完美地下了一盘棋，游戏结束了。现在，它该关机了。从它的角度而言，这件事非常严肃，因为它将无法自行开机。所以它想确认万事确实如它所‘想’的那样。尤其它会想，我刚刚真的下棋了吗？万一是有人戏弄我呢？万一刚才我并没有下棋呢？万一我现在处于模拟中呢？”
“万一我现在处于模拟中？”这个下棋机器人真是“精神”失常了。但是由于它具有自我意识，那么它必然会自我保护，还会有一点点妄想症。
奥莫亨德雷继续道，“在将自己关机这一关键步骤之前，也许它认为它应该使用些资源来搞清楚那些关于现实本质的问题。在关掉那些与它意见相左的指令之后，它可能会认为值得使用大量资源来决定关机的时机是否正确。”
“多少才算大量资源呢？”我问道。
澳毛亨德罗脸上阴云密布，不过阴云转瞬即逝了。
“它可能认为用上所有人类资源也是值得的。”
【该文章节选自《我们最后的发明：人工智能及人类时代的终结（Our Final Invention: Artificial Intelligence and the End of the Human Era）》（詹姆士·巴拉）】