尼克·博斯特罗姆（Nick Bostrom)在《超级智能》（SuperIntelligence)一书中提出：人类智能水平创造出的AI（artificial intelligence)将很快被一个全能的超级智能的存在所替代，这可能给人类带来灾难性的后果。他认为，人类一个首要任务是解决怎么向超级智能渗透道德感。然而，他认为这项任务很困难。我讨论了他分析中的一些缺陷，尤其是在人工智能研究中执行伦理行为是一个非常困难的问题这种观点。
对Nick Bostrom 《超级智能：路线图、危险性与应对策略》（Superintelligence: Paths, Dangers, Strategies，牛津大学出版社, 2013）的书评。
Nick Bostrom 在他的新书《超级智能》中说到，迟早有一天AI很可能会以某种方式达到和人类相近的智力。继而很快——可能几年间，极有可能在几个小时或者几分钟之内——AI将会达到远超人类的智力水平，带来AI取得地球社会绝对控制权的严重威胁，给人类生活带来噩梦般的灾难性改变。博斯特罗姆详细的描述了各式恐怖的场景以及它们成真的方式。他还预测AI在那时会转向星际穿越，殖民整个银河系甚至以外的空间。因此，他强调了如何避免让这样的后果成为现实是人类首要思考的问题。
AI甚至不需要任何恶意或者自我膨胀，也许它只是在尝试证明黎曼假设（Riemann hypothesis）。但是执着的追求目标会使得它收集所有资源，首先在地球上，然后在银河中，去建造额外的计算能力以实现那个目标。或者它可能被命令去制作回形针，在这种情况下，它会把整个银河系做成回形针。不要以为你可以通过命令它只制作一百万个回形针来逃过一劫。如果它听到那个命令，它会制作那一百万个回形针，然后它会耗尽全宇宙的资源来检查和复查它是不是数错了。
[caption id="attachment_5460" align="alignleft" width="338"]
Nick Bostrom[/caption]
Bostrom 没有说他预计什么时候这些会发生，并且作为一名坚决的贝叶斯决策论者，他也没有给出一个概率。然而，在这本书中他暗示这个概率不会低于1/2。
Bostrom 这本书的前三章（副标题的「路径」）非常棒。他调查了几个产生超人智能（superhuman intelligence）的可能：AI、人类基因操纵、脑机接口（brain-computer interface）以及大型网络系统。他关于技艺的状况，挑战以及以及和每个方向的挑战与前景的谈论非常翔实并切合，尽管不会每个人都同意他的判断，但总的来说，这是我见过的关于这个主题最好的调查文献。
尽管如此，对于我来说，这本大部头的「危险」和「策略」部分的讨论却有着严重的缺陷。
这种假设认为，所谓的智能是一种被认可、单一价值观的无限数量。Bostrom 描述了不同的方程式，并给出了一些解决思路。当然，如果你要就这个问题询问Bostrom，他或许会说这是为了进行分析而简化的假设。而如果你仔细思考这个论证，你会发现它太依赖于理想化的想法，当抛开理想主义的包裹之后，整个论证的核心部分变得非常脆弱。比如，Bostrom预测人工智能(human intelligence)向超人智能（superhuman intelligence）的过程将会很快到来。
的确，有相当数量的智能能够佐证这个描述，比如处理速度、大脑的大小和各种内存的大小。但是，我们却不知道这些所谓的智能在性质上的意义，也不知道不同动物之间大脑大小与智能水平的关系，因为我们没有衡量所谓智能的标准和定义。而且这种差异与人类不同人智能差别的关系也不大。Bostrom援引 Eliezer Yudkowsky的话指出，科学家爱因斯坦与一个乡村农夫智能水平的差异远不如一个人与一只老鼠的差异那么大，这句话很朴实，但也很重要。但这并不能证明，老鼠追上人类要比村夫赶上爱因斯坦花费更多时间。有一件事很确定，我们对于让爱因斯坦如此天才的认知过程知之甚少。 Bostrom强调一旦我们拥有了一个与普通人智能水平相当的机器，那么你就能通过各个手段升级为超级智能，比如让机器更大更快。如果你拥有两台机器，A和B，B运行速度比A快10倍，那么A就可以做到任何B可以做到的事情，只要你愿意等待十倍的时间。
这个假设认为，智能上的提升将不可避免地提升能力。Bostrom表示，大脑尺寸和复杂程度的相对较小的增加会显著地反映在身体能力上。但是他忽略了一个事实：人类大脑更大规模的演化并未让人类身体发生多大变化。他提到计算机之于人类就如同人类之于老鼠，而非爱因斯坦之于我们这样的普通人。那如果把这个类比换成大象和老鼠呢？
这个假设同时认为更大智能的提升会带来全能控制力。在Bostrom的概述中，超级智能可以在它的「道德」之下做任何事情，而没有限制。短期来看，超级智能会发展出科技上的创新、社交功能、控制人类等等，比之前存在的相对更加先进。它可以轻易拒绝8，000,000个反对奴役与杀戮的人类，并且比他们都要聪明。
如果超级智能表现出色，Bostrom所宣扬的会带来巨大利好的救世宣言就会不证自明。他写道，如果超级智能得到发展，消除绝大多数自然灾害的措施也相应会得到发展，或者（通过太空移民的方式）使灾难对人类失去影响力，那么来自诸如行星撞击、超级火山、流行疾病的危害将不复存在；同样，超级智能也会建立自统治，以自身统御自身（Bostrom 称之为「singleton」），这将彻底消除来自战争、科技竞赛、无休止的竞争、进化、人类悲剧的危险。
在别处，Bostrom 也同样建议哲学家停止思考哲学的传统问题，取而代之是思考如何向AI们灌输伦理道德，这是因为在其看来超级智能很快就会解决所有的哲学传统问题。对我来讲，这个预言的可能性仅仅比世界末日稍微小一点，但也仅是那么一点。
尽管发展智能或多或少地容易起来，对计算机赋予道德观依然相当困难，因而这仍是一个未经证实的信念。
Bostrom 以一种与发生于上世纪60年代的机器智能讨论相似的语调来夸大对计算机赋予道德的问题；当我们仅能捣腾寄存器的时候的时候，你怎么能让它智能呢？
在 AI的运行语言中，伦理的定义必须重新起底，并且像原始的机器操作员及地址一样最终指向个体记忆寄存器的内容。如果从这个角度考虑问题，你就会开始理解程序员在这项工作中的困难。
接下来，他继续写了在复杂计算机视觉（computer vision）层面上来看，赋予道德是几乎是一件毫无希望的事；很显然，Bostrom没有意识到计算机视觉本身就是一个核心AI问题，而他假设这可以被解决。他认为在 AI系统中对计算机赋予道德是一项值得挑战的研究，这项光荣使命将落在下一代最杰出的数学天才身上。
相反地，我认为对计算机进行道德赋能（就像现代人所理解的那种道德观念）是AI发展面临的简单问题中的一个。不仅如此，无论对人类认知来讲（例如理解叙事体），还是对Bostrom赋予超级智能的特性来讲，给计算机赋予道德都是必不可少的一部分。例如，Bostrom提及 AI的「社会操控超能（social manipulation superpowers）」，但是如果 AI成了一名社会操控者，其需要对人类的道德有着良好的理解。如果 AI完全不具有伦理观念，这将成为其操控社会的一个巨大缺点，举例来讲，如同《指环王》和《哈利波特》的核心思想：与人打交道却不理解其伦理原则是一种战略错误。如果 AI真的理解人类的伦理道德，那么它就很难不看出为何一定要遵循后者的必要性了。
为了给超级智能AI制定一个必须遵守的、可操作的最低道德标准，我建议采用以下方法。你指定一批受人敬仰但已过世的人（指定已经过世的人是因为根据Bostrom的预测AI更偏好操纵活人）。AI已经在网上熟悉了他们的一切事情。然后你命令AI：「不要做这些人会严肃反对的任何事。」
这种方法有几个优势：
- 它与人类获得道德感的过程十分相似。
- 相比而言，它的基础十分牢固，因此不太可能出现违反直觉的支点。
- 它很容易向人们解释。
当然，在AI拥有非常强大的理解力之前，这个实验是不可能实施的，Bostrom所有的解决办法也是如此。需要澄清的是，我不是说日常决策的道德考虑也要使用这个标准，我也并没有声称这个想法对道德哲学有任何贡献。我相信这个标准作为道德的最低标准来说已经足够。如果AI坚持遵守这个标准，它就不会消灭我们，也不会奴役我们。
但这对Bostrom来说似乎还不够，因为他并不满足于人类目前的道德状况。他认为，对AI来说，更重要的是运用它的超级智能来寻找一个更加终极的道德规范。在我看来，这种想法这不仅毫无必要，甚至可能是非常危险的。它毫无必要是因为，只要AI遵守我们的道德规范，至少它会避免做出道德上惊世骇俗的事情，它不会消灭和奴役我们。这种想法也是危险的，因为很难肯定地说它不会导致我们反对的结果。超级智能可能会像《格列佛游记》中的巨人国国王一样会认为我们人类是「大自然创造出来遍布地球表面的小害虫中最可憎的一种」，出于好心，它可能会消灭我们，并用更有价值的物种来取而代之。不管这个决定是多么明智，也不管它多么接近道德的终极标准，我想我们都会毫不犹豫地反对它，并尽一切可能避免它的发生。所以，如果一个超级智能所遵循的道德标准是2014年的，抑或是18世纪的（译者注：《格列佛游记》写于18世纪），而不是决定以自己的方式来思考问题，我会感到更加安全。
最终，Bostrom考虑了如何解决这个失控计算机的问题。他提出，这个计算机可能栖身于一个模拟的宇宙中，如果是这样，它会因为做了太多恶作剧而受到权力者的惩罚。当然，这只是一种相信超然的上帝会惩罚罪恶的信仰，只不过改头换面以吸引21世纪的哲学家。它允许提出传统异议：即便有人真的证明了上帝或模拟器的存在，不管从经验上还是理论上说，都缺乏足够的基础让人们相信那个「祂」会惩罚罪恶、奖励美德。不管怎样，Bostrom都认为，这场争论也许能说服AI（至少注入一点怀疑的因素）以停止它那邪恶的计划。
当然广义的人工智能有潜在危险的，一旦我们的科技造物达到一定程度智能，都理应认识到我们必须确保它不会失控。那些可造成严重破坏的物理项目，比如控制电力网或者核弹，应该采取传统且熟知的编程。
我们也要避免这些项目被人工智能的蓄意破坏，但这些项目本已需要防范来自人的威胁，而这些保护也并不困难。任何人都不应该给一个程序自由处理权，允许其为达目的而动用全世界所有的资源，也不应放松对人工智能的监管，为解决问题放任自流，不论人工智能是用于解决黎曼假设还是制作回形钉之类的看似平常的小事。
任何机器都应该有一个伸手可及的关闭键，而对于电脑或机器人这些可能会产生自我保护意识的机器，就需要设置一个它不能限制他人接触的关闭键。但是，电脑和机器人都是我们自己制造出来的，所以这一点很容易做到。你只需要在机器人自己不能触及的内部放一个特殊装置，当接收到特定信号时，就会自动切断机器人的电源，或者更极端点，引发机器人自爆。对电脑而言，如果电脑不知道这个炸弹是怎样设置的或者怎样会引爆，并确保它对此无能为力。
当然，即使是这样，人们仍会提出异议，认为人工智能的危险性太大，我们应该将危险扼杀在摇篮里，不冒险制造存在任何靠近人类智能潜能的电脑。不怕一万只怕万一，或意外纰漏，或是某人欠缺考虑甚至居心叵测，造就了一个没有道德观念并对自己的关闭键有自主权的超级智能体。虽然如果在人工智能领域延续重组DNA研究领域的Asilomar概论的精神，设定限制将会使人工智能的发展停滞不前在远未达到人类智能的水平，但我对此举双手赞成（幸运的是，这些限制不必在AI研究与发展领域在可见的未来内产生任何影响）。但好好讨论一下在这个方向上我们该做些什么还是有必要的。
如何防患于未然还需要进一步推敲。但是Bostrom声称我们应当接受一个几乎被无所不能的超智能体作为我们的未来，而我们的任务是想尽办法帮助它逐渐摸索到他们自己的道德原则，这种道德原则可能远远超出我们的微不足道的理解能力。着在我看来，这种意见对于我们的讨论并无益处。
作者：Ernest Davis（纽约大学计算机科学系）。机器之心翻译出品。参与人员：小二，赵赛坡，Arphetian，汪汪，20e，Chen Xiaoqing。
