运行人工智能系统（Operational AI systems，例如，自动驾驶汽车）需要遵循我们的法律和价值观。本文提议人工智能监管系统（人工智能卫士，AI Guardians）作为解决这一挑战的一种途径，同时也回应了对于日益增长的人工智能系统潜在威胁的担心。这些人工智能监管系统是为了查实运行系统没有过度背离程序员的指令，而且如果背离了要把它们带回到指令下。引入这样的二级指令，并不意味着监管系统应该是严厉、强势、或者说是硬性的控制。为了遵循它们从额外的数据挖掘与经验中学习到的内容，并且能够至少实施半自主决策（接而是更大的自主权），运行系统需要很大程度上的自由度。然而，所有的运行系统都需要边界，既是为了不违反法律也是为了遵循道德准则。开发这样的监管系统——人工智能卫士——是人工智能社区的一项新使命。
纵观历史，所有的社会都有监管系统。工人有监工；商业有会计人员；教师有校长。也就是说，所有的这些系统都有层级，第一梯队的操作人员服从于第二层的监管，并期望回应来自监管者的纠正信号。（反过来也期望监管方能考虑来自第一梯队的建议或者甚至是要求。）1996 年，John Perry Barlow 在其著名的《网络空间独立宣言（Declaration of the Independence of Cyberspace）》一书中将迅速繁盛的网络世界描述成受到用户间形成的社会合约监管的世界。
未知领域
人工智能系统不只是需要一些监管，而是必须不能由——至少部分不由——人类提供，而是由新类型的人工智能系统提供——监管类型的人工智能系统。人工智能需要由人工智能监管。
一个原因是人工智能运行系统是学习系统。这些系统一经发布就会不断地收集数据，然后挖掘数据和经验用于改进自己的性能。这些人工智能系统可能因此偏离最初程序员设定的指令。但人类无力监控（更别说实时监控了）这些变化并决定它们是否合法或合乎道德。
第二，人工智能系统正变得高度不透明，对人类来说就是「黑箱」。来自加州大学伯克利分校信息学院的 Jenna Burrell 指出了算法变得不透明的三种方式：刻意的不透明，比如政府或者公司想在算法专利上保持机密；技术盲区，算法的复杂性和功能是否超出了公众的理解能力；应用规模，其中「机器学习」和/或一些不同的程序员实施了一个甚至对编程者自己而言都不透明的算法。
一项技术不管有多聪明，它都仍然是服务于人类的工具。
最终，人工智能指导的系统自主性增加——它们能「依靠自己」做出大量的决策。也就是说，这些器械能使用复杂的算法独立回应环境输入信息，它们甚至可能反抗最初程序员设定的指令。一个简单的例子就是自动紧急刹车系统，在感知到危险时没有人类输入的情况下就会停止汽车。消费者抱怨这里面有很多错误警报，突然刹车对其它汽车而言也是很危险的，而且这些刹车系统即使在司机想要转向的情况下也会强制汽车直行。
在这些所有理由之下，人工智能监管系统是必须的。我们将它们称为人工智能卫士，对卫士的一个简单定义是「一个监管、保护、维持的人」。该定义很好地诠释了监管系统需要足够强大，因为它可能会抑制运行人工智能系统的创新和发展，但却是不可避免的。确实，人工智能的一个主要任务是在不久之后开发出这样的监管系统。我们现在描述下谁有责任开发这样的监管系统，又该向谁汇报成果，以及它们关乎到谁的价值。
不同类型的人工智能卫士质问者
一家公司制造的无人机发生了一系列坠毁事故，另一家购买了数百个无人机的公司肯定想要找到造成坠毁的原因。他们是故意的吗（例如，是由反对使用无人机的工人造成的）？特定无人机品牌一些未知缺陷？作为无人机大脑的人工智能操作系统的缺陷？由于之前讨论的一些原因，没有人能提供一个准确回答。我们需要设计并部署一个质问者（interrogator）人工智能系统来回答该问题。近年来，多次事故表明我们需要这样的质问。2015 年，卡耐基梅隆大学和国际计算机科学研究中心的一组研究人员发现谷歌的算法更倾向于将高回报管理职位的广告展示给男性而非女性。谷歌解释说没有故意歧视，影响因素是广告商的喜好。
2014年，Facebook 开展一项未向用户公开的研究，Facebook 的算法会操纵用户的帖子，移除里面的「情感内容」从而评估用户朋友的反应。Facebook 后来对其未能通知用户而道歉。Twitter 近期删除了 12.5 万个账户，解释说这些里面的账户是连接到伊斯兰国（ISIS）的。如果这些公司的董事会或外部团体想要查证这些各类声明，他们需要一个人工智能监管系统。
审计者（Auditor）：耶鲁生物伦理跨学科中心（ Yale's Interdisciplinary Center for Bioethics ）的一位学者 Wendell Wallach 指出，「在医院，APACHE 医疗系统帮助决定重症监护室病人最佳的治疗方案，特别是那些在死亡边缘的人。Wallach 指出，即使医生看起来有自主权，但在特定情况下反对机器的建议是非常难的 ，特别是在一个流行诉讼的社会里。」无疑，医院想要寻找做这样决定的审计，而且没有人工智能审计系统他们做不到这一点。
监管者（Monitor）：因为自动驾驶汽车被编程可以学习和改变，所以它们需要一个特定类型的人工智能卫士程序——一个人工智能监管者——来保证自动驾驶汽车的学习行为不会导致其违法，比如向老司机学习超速，并模仿其行为。
执法者（Enforcer）：在少数情况下，人工智能卫士可能帮助实施一项法律或条规。例如，如果军事承包商的计算机反复被黑，人工智能执法者可能警示承包商需要加固其网络防护。如果这样的警示被忽略，人工智能执法者将会向承包商的客户警示，或者怀疑其是否清白。
伦理机器人：人工智能的运行系统不仅必须要遵守法律，也一定要遵循社会的价值准则。如此一来自动驾驶汽车就需要被告知它们是应该在法律限制的速度内驾车，还是以最省油环保的方式驾车，又或者在车上有孩子的情况下保持在慢车道行驶。还有，如果它们「预见」车祸，是否应该叫醒后座的乘客。
关于在何种情况下人工智能系统或许需要遵循道德，这里有几种建议。在之前发表的一篇文章中，我们发现让系统工具的每个用户输入他或她的伦理偏好是不现实的，而且借鉴社会持有的伦理同样是有问题的。我们建议则是利用伦理机器人（ethics bot）。
一个伦理机器人就是一个人工智能程序，它能分析数千条信息——不仅仅是网上公开可用的信息还包括从个人电脑中收集到的特定个人的行为，这些行为揭示了其道德偏好。然后用这些来指导人工智能的运作系统（个人使用的工具，比如无人驾驶汽车。）
基本上，伦理机器人做的很多道德选择与人工智能程序深挖消费者的喜好和定向广告的行为类似。然而，在这个案例中，机器人被用来按照人类的价值观指导人类而不是一些营销公司（或政治竞选活动）拥有或操作的工具。例如，这样一个伦理机器人也许会在过去学习到的人类行为的基础上，引导某人的金融项目投资只针对有社会责任的公司（一般是公益项目），尤其是绿色企业，而且每年还向塞拉俱乐部（Sierra Club）捐款。
简短来说，没有理由让数字世界变得几乎像非数字世界那样阶层分化。然而， 在确保人工智能运行系统的行为守法并观察拥有和操作它们的人的道德价值上，不断增长的人工智能领域已经超过了某种监管水平。
人工智能卫士没有必要比它们所监管的系统更加智能。应该是这些监管卫士只需要有足够的能力和智能避免被它们监管的系统欺骗或破坏就行了。想象，例如家中的断路器：它远没有整个电路系统（和相关的电器）复杂，但是它非常可靠，能在紧急情况下让人类断掉电源。
人工智能研究者可以按照这个思路从至少三个方向上开展工作。第一，他们可以尝试将我们的法律和价值观形式化，遵循一种类似于概述「损害」这个概念的方法。第二，研究者可以建立一个有标注的数据集，通过预想的结果找出道德和法律难题的标签，提供给机器学习算法。最后，研究者可以构建可以方便关掉开关的「掌控系统的人工智能」，就像是强化学习中的「Safely Interruptible Agents（安全可中断代理）」。我们的主要观点是：我们需要把人工智能卫士提上该领域的研究议程。
谁来防卫人工智能的卫士？
这个问题可以分为两个方面。一方面关涉谁来决定可以开动哪种人工智能监管系统来持续监测运行的系统。软件程序员会按照这些特殊技术的拥有者和用户的要求引进一些监视系统。例如，制造无人驾驶汽车的人和使用它们的人会想办法确保他们的汽车不会一直加速下去。这确实是个问题，因为自动驾驶汽车的运行系统——重申一遍，是学习系统——会注意到道路上的很多传统汽车都会违反限速。法院和执法部门会部署一些其他的人工智能监视系统。比如，为了确定谁或者什么该对事故负责，以及是否是有意的。
从这个角度看，伦理机器人是独特的人工智能卫士。它们会注意用户的价值，而不是拥有者、程序员或者政府支持的那些人的价值。这里可以解释一下。社区有两套社会和道德价值观。一种包括社区拥有的价值观，这是特别重要的，因此这种价值观不会考虑个人的具体选择，要注意的是这些价值观是通过法律强制执行的，包括禁止谋杀、强奸、盗窃等。在人工智能世界，要注意这些是之前概述的各种人工智能卫士的主体。第二种价值观是社区拥有的同时给个人留有选择余地的价值观，包括是否捐赠器官、加入慈善机构、做志愿者等。这由道德机器人在人工智能世界中执行的。
问题来了，谁来看守这些卫士呢？人类应该持有关于人工智能操作和人工智能监视系统的角色和行动的最终话语权；事实上，所有这些系统都应该有一个开关。它们没有一个应该是完全拥有自主权的。最终，无论一种技术有多聪明，它仍然是为人类目的服务的工具。考虑到那些开发和使用这些技术的人对编程和使用负有责任，这些人应该作为人工智能的设计、运作和监督的最终权威。
参考文献
1. Burrell, J. How the machine 'thinks': Understanding opacity in machine learning algorithms. Big Data & Society 3, 1 (2016).
2. Etzioni, A. and Etzioni, O. AI assisted ethics. Ethics and Information Technology 18, 2 (2016), 149–156;http://bit.ly/28Yymx0
3. Kapnan, C. Auto-braking: A quantum leap for road safety. The Telegraph, (Aug. 14, 2012);http://bit.ly/2917jog.
4. Limer, E. Automatic brakes are stopping for no good reason. Popular Mechanics, (June 19, 2015);http://bitly/28XVSxP.
5. Mayer-Schönberger, V. and Cukier, K. Big Data: A Revolution That Will Transform How We Live, Work, and Think. 2014, 16–17.
6. New algorithm lets autonomous robots divvy up assembly tasks on the fly. Science Daily, (May 27, 2015);http://bit.ly/1FFCIjX.
7. Phelan, M. Automatic braking coming, but not all systems are equal. Detroit Free Press, (Jan. 1, 2016);http://on.freep.com/2917nnZ.
8. Weld, D. and Etzioni, O. The First Law of Robotics (a call to arms). In Proceedings of AAAI '94. AAAI, 1994; http://bit.ly/292kpSK
