从1920年的戏剧《R.U.R.》中愤怒的机器人到电影《2001：天空漫游》中嗜杀成性的计算机H.A.L.9000，自人工智能这个概念进入到我们共同的想象中以来，科幻小说作者浓墨重彩地描写了它黑暗的一面。人工智能研究的缓慢进展，尤其是上世纪七八十年代经历的「AI寒冬」，使得这种担心看起来有点离谱。但是近期，随着机器学习的突破和计算能力的大幅提高给人工智能研究带来了大量的资金，但也给人工智能究竟把我们引向何方这个思考题引来了新的关注。 Stuart Russell是其中一位公开表态的研究者，他是加州大学伯克利分校的计算机科学家，他与谷歌研究所的主管Peter Norvig合写了一本书重量级的人工智能教科书《人工智能：一种现代方法》（Artificial Intelligence: A Modern Approach），现在已经是第三版了。去年， Russell 参加了剑桥大学CSER，作为一个人工智能家，专注于可能导致人类灭绝的风险。4月，他在日内瓦参加了联合国发起的会议，在会议上，他提出了几项主要的担忧，其中包括人工智能系统来控制无人机和武器的风险。
以下是John Bohannon对他的专访：
问：你认为人工智能演变成灾难可能的途径是什么？
答：最典型的情况就是明显或者隐含的价值体系失调：人工智能系统被赋予的目标难以完全考虑和计算人类所关心的目标要素。各个公司想要取得巨大技术优势的方法是多种多样和纷繁复杂的，国家之间也想尽力在敌国之前建立人工智能系统，或者以一种温水煮青蛙的方式渐渐使得我们变得越来越虚弱，不得不依赖人工智能才能生活下来，就像 E. M. Forster的科幻小说《机器休止》（The Machine Stops）。
问：你与这个问题「搏斗」了好长时间。
答：我的课本上有一章节是《如果我们成功了呢》，致力于回答这个问题：人类水平的AI或者超级智能系统是否是一个好主意。最近备受关注的话题是AI能力快速发展，比如用腿行进的大狗机器人（这是Boston Dynamics开发的自主式机器人，最近被谷歌收购），以及在计算机视觉上的进步。
问：阻止人工智能大灾难需要做些什么？
答：首先，需要对技术方法潜在的风险和进展进行研究，消除风险。第二，调整AI和培养学生的目标，以使AI系统遵循人类的目标成为本领域内最重要的事，就像遏制在核聚变研究中很重要一样。
问：但是在我们发展核聚变的同时，已经有了原子弹。但人工智能危险只是出于推测中，那我们是否真的处于人工智能「核聚变」的阶段？
答：1939年，利奥·西拉特（Leo Szilard）在证明核链式反应后写道：「我们把一切都关掉，回家了。那天晚上，我毫不怀疑，世界正走向悲痛。」那些说，嗯，我们可能永远都达不到人类水平的AI或超级AI，我会回答：这就像开车直向悬崖边，然后说，「让我们祈求汽油尽快被烧完！」
问：发明核裂变是为了制造武器，发明人工智能是为了创造工具——随时可用的智能。这是否解释了人们不愿意监管AI的原因？
答：从一开始，核技术上的最初目标是「取之不尽的能源供应」。作为武器的可能性再明显不过了。我认为无限能源和无限智能之间具有合理的可比性。二者都似乎很美妙，直到有人想到可能的风险。任何人都不会在数学上限制二者。核武器的监管对象是目标和材料，而AI的监管对象则是各种无法形容的眼花缭乱的软件。无论在AI领域的内外，我都没有看到有人呼吁这种监管，因为我们不知道应该如何去写出这样的规定。
问：我们应该像监测易裂变物质(核燃料)一样监测AI研究吗？谁负责此类的监管？
答：我认为正确的做法是把问题直接建立到从业者如何定义他们所做的事上。土木工程从业者没有谁会谈到「搭建不会倒塌的桥梁」他们只说「搭建桥梁」。基本上所有的核聚变研究者都认为遏制核武器是理所当然的事；不受限制的聚变反应对人类无益处。所以，我们要从现在起聚焦在「可能有益的AI」上，今后才能单用「AI」来概括对人类有益的AI。这个领域目前致力于建立纯粹的智能，而不顾它们的目标和可能带来的后果。我们应该摒弃这样的想法，重新规划目标。
