导语：现在的各家技术巨头都在大力投入人工智能的研究，取得的进展也越来越多、越来越快。那么超越我们智能的机器会不会出现呢？什么时候会出现？它的出现对我们来说会意味着什么呢？我们来看看作家 Steven Johnson 阅读《Superintelligence 》后的思考。
1Nick Bostrom 的《
超级智能》令人吃惊地在开篇就提到了
Bird 和 Layzell 的进化实验。Bostrom 只是稍微提起，但在我看来这似乎是一个非常有用的案例研究，可以用来帮助非人工智能专家理解现在正在争论的一些问题。
首先，人类如果想造出一台思维能力超过自己的机器，那可能会需要某种进化算法。第一台真正超智机器的 “设计师” 有可能是自然选择的 “
盲眼钟表匠”，而不是某位 21 世纪的 Steve Wozniak（苹果联合创始人）。
进化工程与超智结合，如果的确发生的话，那人类就有风险了，可能会既无法理解这台思考机器是如何工作的，也不知道它会利用什么材料来达到它的目的。我们可能就会像 Bird 和 Layzall 一样，绞尽脑汁也想不出正弦波是从哪里来的。振荡器的故事最恐怖的一点是，你想不出算法是如何利用屋子里面的其他技术来达到自己目的的，那种技术已经超出 Bird 和 Layzell 对进化 “环境” 的考虑范畴。Bird 和 Layzell 给他们的虚拟发明家一些建构块来试验，然后让达尔文自然选择主导后面的实验。那些实验导致了新的建构块的发现，而这些新的建构块已经超出仿真的范畴了。
简而言之，这既是人工智能的希望，也是其潜在危险所在。我们用进化或递归方法发明了超出人类理解范畴的思考机器，这些机器进化到最后，必定聪明到人类想要牵制它们的任何努力都要宣告失败的地步。相比之下，我们的聪明程度已经无法意识到 “他们” 劫持了附近计算机的振荡器，或者 “他们” 劫持的不是振荡器，而是纳斯达克、纳米机器人或者互联网自己。
要想意识到这个问题的严重程度，你必须摆脱对智力尺度的人类偏见。正如 AI 理论家 Eliezer Yudkowsky 所言，我们对智力尺度的看法有一种 “介乎 ‘笨蛋’ 和 ‘爱因斯坦’ 之间的人类倾向，而不是一般意义的思维尺度上几乎无法分辨的点”（意思是说，人类内部的那点思维水平差距在整个生物界几乎不值一提）。在老鼠看来，人类里面的笨蛋和爱因斯坦都是一样的高深莫测。
AI 研究的头 10年，我们主要的梦想是造出一台傻瓜级智能水平的机器，更高点也许会达到爱因斯坦的高度。但就像 Bostrom 和 Yudowsky 都指出过的一样，没有理由认为爱因斯坦这种水平也存在某种根本限制。“远算不上最聪明的物种，” Bostrom 写道：“把我们自己看成是开启技术文明的最弱智的生物物种也许会更合适—我们之所以存在，是因为我们正好先到，而不是因为我们最适应。” 用递归、自我学习算法武装头脑的第一代真正的人工智能也许刚刚登上了爱因斯坦峰，正朝着我们无法感知到的更高峰进发。
2那下个世纪左右某种形式的超智出现的可能性有多高呢？回答这个问题已经超出了我这种（介于笨蛋和爱因斯坦之间）中等水平的智力范畴。但 Bostrom 的书（以及 Tim Urban 对《Wait but why》的改编）已经让我认为这种场景出现的可能性比我原先的看法还要高。
现实的反乌托邦 AI 预言跟科幻小说有两点重要的不同。首先，AI 根本没必要具备自我意识。超智 AI 也许会发展出某种替代性的意识，可能跟我们的完全是两码事。不过它也可能会保留大量的无意识计算，这些计算结合起来能够表达和行动并进行长期规划，但却没有自我意识。
其次，AI 不必突然变得邪恶或有报复心理或者野心（或者任何拟人化的情绪）才能摧毁人类文明。比方说 Bostrom 在《超智》里基本没有把机器想象称大魔王，相反，他担心的是在定义 AI 目标或动机时，小的错误传达会导致全球性甚至全宇宙的转变。比如说，人类让 AI 超智把人类快乐的最大化作为首要目标，不久之后，AI 就把纳米机器人派遣进入到这个星球每一个人的大脑，对大脑的快乐中枢产生永久性的刺激，让我们统统变成了笑脸僵尸。（Tim Urban 有一个类似的寓言，说一个 AI 附到了一个机械臂上，指示它手写出 ‘我们爱我们的客户’ 的纸条，AI 无意间摧毁了宇宙）
威胁不在于我们会让 AI 给我们造一个振荡器，或者它会违背我们指令，黑掉国防部网络引爆整个核军火库。而是在我们让它造振荡器时，它会决定把整个星球（以及在上面的所有生物）变成正弦波发生器电路，因为我们没有把目标框定得足够清楚。
《超智》大部分的篇幅都用来思考所谓的遏制问题（containment problem，电影《机械姬》里面的说法）：如何不让神灯里面的 AI 魔鬼出来，但同时又能利用它的威力。人类能否发展出一个具备真正超常智慧的 AI，同时又能把它限制在安全边界里面，避免逃生指令会引发全球灾难呢？Bostrom 很有说服力地向我们展示了这个问题要比乍看之下要难得多，这很大程度上是因为人类需要智取智能水平超出我们几个量级的智能。遏制 AI 就像一只老鼠在谋划如何去影响人类技术进展，以避免捕鼠器的发明一样。
3无论你是否认同 Bostrom 的说法，有一点事实不可否认。AI 存在威胁论的阵营在规模和声势上日益壮大，其中就包括许多爱因斯坦峰上的人：盖茨、霍金、Elon Musk。从某种程度上看，现在的情况跟 1980年 代末的全球变暖之争相当：一小部分科学家、研究人员及公知根据当前的趋势推断并预测认为，几代人后将面临的重大危机正隐约出现。不过根据 Bostrom 进行的一项调查，大多数 AI 研究团体认为超智 AI 出现至少还需要 50年。
这几代的时间跨度也许是争论末日是否来临时最鼓舞人心的元素了。气候变化倡导者经常抱怨是拖沓的政治步伐以及企业改革加大了全球变暖的威胁。但我们也应该提醒自己，在应对气候变化问题上，我们在做的事情是史无前例的：彻底调动制度性、技术性解决方案来防止威胁对几代人的大多数（如果不是更多的话）产生重大影响。为了更远的目标而牺牲短期利益，这种长期规划正是人类智能的标志之一。不过这种规划几乎从未突破过几个月或者最多几年的时间。不管我们谁登上了爱因斯塔峰，作为一个物种，我们都是出色的问题解决者。但我们从来都没有利用我们的智能去解决一个新颖的、尚未存在的问题，一个我们根据对当前趋势的判断，预期在遥远的未来会出现的问题。
要知道，人类有许多独创项目一开始的目标就很明确，要能持续几个世纪：比如金字塔、朝代、遗迹、民主等。有些创造，比如通过给规范和惯例融入弹性和灵活性的民主治理，其明确目的就在于解决一个有待发现的问题。但这些长期规划实践的大多数都是为了维持当前的秩序，而不是对几代后可能爆发的威胁采取先发制人的行动。与当前对气候的干预（以及对 AI 愈演愈烈的讨论）最接近的是末世论：即鼓励我们根据几十年或几千年后也未必来临的预期中的审判日来做出当前决定的宗教传统。
据我所知，在对历史与未来的长期规划的思考方面，没有哪个机构能比 Long Now Foundation 考虑得更多，于是我给它的几位创始人发了一封电子邮件，问在历史记录里面是否能找到共同预见的可比例子。“荷兰人的堤坝规划可抵御百年一遇的洪水，日本人的乡村建筑显然也是按抵御十年一遇的海啸来设计的。不过这些预期更多是周期性而不是紧急性的，” Kevin Kelly 这样写道。他继续说：
是的，这类实践是新的，因为我们现在都承认我们孙辈的世界会跟我们的世界有显著的不同—这在以前不是这样的。
我认为这就是科幻小说的功能。对未来的新东西进行解析、争论、预演、质疑并为我们做好准备。至少在一个世纪以来，科幻小说充当了预测未来的角色。你的建议是现在要做的不仅仅是写写小说而已，而是要制定法律、社会规范、规章制度等，用更具体的方式去预期未来。过去有许多法律会禁止新发明。但在那些被禁止的新发明出现前我对它们毫无意识。
我把这个解读为一种文化转变，从把科幻小说当作娱乐转变为当作基础设施的转变—变成一种必要的预测方法。
Stewart Brand 则提出了警告。“定义潜在的远期问题是一项很好的公共服务，” 他写道：“但解决方案定义太早不是。有些问题会自行消失。有的最终会有解决方案，但不是一开始就能想象得到的。”
4鉴于现代社会的变化在加速，目前有关 AI 以及它的潜在威胁的争论，有点像 1800年 代的一群发明家、科学家围坐在一起，说：“这个工业革命肯定会让我们更有生产力，从长远来看会提高生活水平，但是我们似乎往大气里面排放了大量的碳，这有可能会困扰我们几个几个世纪，因此我们应该想想如何避免这个问题。” 不过当然这一对话并没有发生，因为当时我们既无测量空气中碳浓度的工具，亦无计算机模拟来预测碳排放对全球气温的影响，也没有与其他工业污染物斗争的历史，或者政府、学术机构对气候生态体系变化的监测。我们已经聪明到可以发明燃煤引擎，但还没有聪明到可以预测它对环境的最终影响。
这就是 AI 之争帮助我们觉察到一个明显的积极趋势：所有这一切的工具、制度、传感器，那些让我们能够认识到气候变化威胁，并且开始与之斗争的东西，共同组成了它们自己的超级智能。直到最近，人类还缺少预测远期紧迫问题、以及及设计法律、进行改革或开发者新技术，以便避免那些问题发生的能力。那些技能根本就不是我们脑力工具箱的一部分。现在是了。
事实上我们当中的一部分人还在争执有没有全球变暖这回事，这表明我们在这类思考方面还不是专家。不过这在某种程度上也是可以理解的：对于个人来说，预测 50年 之后的事情很难，对整个社会来说难度则要小很多。不过现在这些对 AI 的争论说明我们正开始锻炼自己的认知肌肉（注：这是从整个人类层面的集体思维锻炼，关于如何锻炼自己的大脑可见如何把自己变成灵感机器？）。有关 AI 未来威胁的所有预警也许到头来都是误报，要么因为结果证明 AI 实现难度比我们想象的要高很多，要么就像 Stewart Brand 说的那样，我们会发现一些新技术，在机器越过爱因斯坦峰之前就能把危险最小化了。不过如果超级人工智能的确对我们构成存在威胁的话，我们最好的防御也许来自我们自己新的人类超级智能：提前假设、预测、模拟和思考。
本文编译自howwegettonext.com，编译boxi，首发36kr，机器之心经授权转载。
