Dean Pomerleau 仍然记得自己第一次研究黑箱问题（black-box problem）的经历。那是在 1991 年，他正在自动载具（autonomous-vehicle）方面开展一些开拓性的尝试，而现在教计算机学习驾驶已经成为了一个非常常见的研究领域。
这意味着计算机要接管经过了专门改装的悍马军用汽车的轮子然后引导他穿过城市街道，Pomerleau 说，他当时还是卡内基梅隆大学的机器人技术研究生。和他一起坐在悍马里面的计算机经过了他的编程——它可以读取相机得到的信息、解读路况并记忆他对每一种情况所作出的每一步响应步骤。Pomerleau 希望最后这台机器能够得到足够的关联，从而能够自己控制方向盘。
Pomerleau 在每一次出行的时候都会训练该系统几分钟，然后让它驾驶一下。一切看起来都很不错——直到有一天这辆悍马靠近一座桥时突然向一边急转弯。Pomerleau 赶紧抓住方向盘夺回了控制才得以避免这场车祸。
回到实验室，Pomerleau 试图了解计算机哪里出了问题。「我的课题的一部分是打开这个黑箱并且搞清楚它是怎么思考的，」他解释说。但该怎么做呢？他将这台计算机编程得能像一个「神经网络」一样工作——神经网络是一种以生物大脑为模型的人工智能（AI），其有望在复杂的真实世界情况中实现优于标准算法的表现。不幸的是，这样的网络也和大脑一样是不透明的。它们并不会将已经学到的内容存储在整齐的数字存储模块中，而是一种极难解读的方式将信息散乱地存放着。只有在全面地测试了他的软件对各种视觉刺激的反应之后，Pomerleau 才发现了问题的所在：该网络一直在使用路旁的草地作为道路的方向指引，所以桥梁的出现让它感到了迷惑。
二十五年之后，破译黑箱的难度已经成倍地增长了，而且也变得更为紧迫。这项技术本身的复杂度和应用都已经实现了爆发式的增长。现在正在卡内基梅隆大学兼职教授机器人学的 Pomerleau 将他原来的安装在小货车上的系统描述为部署在今天的机器上的大型神经网络的「穷人版本」。而在大数据集上训练网络的深度学习技术已经在从自动驾驶汽车到基于用户浏览历史进行推荐的网站等许多领域实现了商业应用。
它也有望在科学界变得无处不在。未来的无线电天文观测将需要深度学习来寻找有价值的信号，否则这么大量的数据将无法得到有效的管理；引力波探测器将使用它来理解和消除最微小的噪声源；出版商将使用它来筛选和标记数百万的研究论文和书籍。一些研究者相信，装备的深度学习的计算机将最终能够表现出想象力和创造力。「你只需要给这种机器送入数据，它就能给你返回自然规律。」位于帕萨迪纳的加州理工学院的物理学家 Jean-Roch Vlimant 说。
但这样的进步将会使得黑箱问题变得更加严重。比如说：机器到底是怎样找到那些有价值的信号的？谁能确保它是对的？人类能在多大程度上相信深度学习？「我认为我们在这些算法面前肯定是在节节败退，」位于纽约的哥伦比亚大学的机器人学家 Hod Lipson 说。他将这个情况比作是在遭遇某种外星智慧生物的情形：它眼睛的感受器不仅有红绿蓝这些基色，还有第四种颜色。人类会很难理解这种外星人是如何看世界的，外星人也难以向我们解释清楚。计算机在向我们解释事物上会存在类似的困难，他说：「在某种程度上，这就像是向一只狗解释莎士比亚。」
面对这样的挑战，人工智能研究者给出的回应和 Pomerleau 曾经做过的一样——通过打开黑箱和类似神经科学内的做法来理解网络的内部。答案并非见解（Answers are not insight），位于瑞士日内瓦附近的欧洲粒子物理学实验室 CERN 的一位物理学家 Vincenzo Innocente 说，他是人工智能在这一领域应用的开拓者，「作为一位科学家，只是将猫和狗分开并不能让我满意。一个科学家想要能够说：区别在于这里和那里。」
旅途愉快
第一个人工神经网络诞生于 1950 年代早期，那时候计算机才差不多刚刚能够执行算法。其背后的思想是模拟「神经元」这一小型计算单元，它们被以层级的形式进行排布，通过大量数字「突触」进行连接。底层的每个单元取入外部数据（如图像中的像素），然后将其信息分配给下一层中的一些或所有单元。接下来，第二层中的每一个单元就使用一种简单的数学规则整合来自第一层的输入，并将结果传递给后续的层。最后，顶层得出一个答案——比如说，将原始图像分类成了「猫」或「狗」。
这种网络的力量源自它们的学习能力。给定一个带有正确答案的训练数据集，它们可以通过调整每个连接的强度而逐渐提升它们的表现，直到它们的顶层输出也是正确的。这个过程模拟了生物大脑通过强化或调整突触来进行学习的方式，最终能得到一个能成功分类来自训练数据集之外的新数据的网络。
在 1990 年代，学习能力对 CERN 的物理学家来说有很大的吸引力，他们在那时候成为了第一批经常使用大规模神经网络进行科研的人：事实证明神经网络在重建来自 CERN 的大型强子对撞机（Large Hadron Collider）中粒子对撞所产生的亚原子碎片的轨迹上能够带来巨大的帮助。
但这种学习的形式也是其网络中的信息如此散乱的原因：就像在大脑中一样，记忆被编码在多个连接的强度之中，而不是像常规的数据库一样存储在特定的区域。「你电话号码的第一个数字存储在你大脑中的哪里？可能是在一堆突触中，也许和其它数字相隔不远，」加州大学欧文分校的机器学习研究者 Pierre Baldi 说。但并不存在一个编码了这些数字的明确定义的比特序列。由此，正如拉勒米市的怀俄明大学的计算机科学家 Jeff Clune 说的那样：「即使我们做出了这些网络，我们也没有在理解它们上比理解人脑更近一步。」
对于需要在自己的学科处理大数据的科学家而言，这个问题让他们在使用深度学习作为工具上非常小心谨慎。为什么呢？英国牛津大学的一位计算机科学家 Andrea Vedaldi 说：想象一下在不远的将来，人们使用旧的乳房 X 光片训练了一个深度神经网络，这些乳房 X 光片根据最后哪些女性发展成了乳腺癌而进行了标注。Vedaldi 说，在训练之后，显然健康的女性的组织可能在机器「看」来是已经癌变了的。他说：「这个神经网络可能内在地已经学会了识别标志——我们不知道的特征，但那是癌症的预测。」
但如果这个机器不能解释它是如何知道的，Vedaldi 说，它就会将医生和病人带入严重的困境。对女性来说，选择预防性乳腺切除手术就已经很艰难了，因为她们有一个已知的会显著更容易导致患癌的基因变异。但如果不知道风险因素是什么，那么做决定甚至会更为艰难——即使根据机器的预测，机器给出的推荐是非常准确的。
「问题在于知识是在网络之中形成的，而不是在我们之中，」在华盛顿州西雅图市的谷歌的生物物理学家和程序员 Michael Tyka 说，「我们真正理解了任何东西吗？并没有——这种网络做到了。」
2012 年，有一些研究团队开始深入这个黑箱问题。加拿大多伦多大学的一位机器学习专家 Geoffrey Hinton 领导的一个团队曾参加了一场计算机视觉竞赛，并第一次证明了深度学习在 120 万张图像的数据库上的分类能力远远超过了其它人工智能方法。
为了深入理解这是如何做到的，Vedaldi 的研究组使用了 Hinton 开发的算法来改善神经网络的训练，然后从根本上对其进行了反向运行。该团队没有教网络给出一张图像的正确解读，而是开始于预训练的网络并尝试重建生成它们的图像。这帮助研究者确定了机器表征各种特征的方式——比如他们询问一个假想的癌症识别网络：这个乳房 X 光片的哪个部分让你决定其是癌症风险的标志？
去年，Tyka 和 Google 的研究员在最终结论的得出上也遵循了类似的方法。他们把他们的算法称为 Deep Dream，从一个图形开始，好比说一朵花或者有个沙滩，然后修改它来提高特定的顶级神经元的反应。
举个例子，如果神经元喜欢标记鸟类的图片，那么修改后的图片就将在各处都显示鸟类。这些生成的图片会让你有 LSD 般的致幻体验，从逐渐浮现出的鸟类的脸到各种建筑等等。
「我认为这更像是一个幻觉，而不是一个梦。」同时还作为一个艺术家的 Tyka 说道。当他和他的团队看到其他人也有能够使用这种算法去创造新事物的潜力时，他们果断地让这种算法变得人人可下载。几天之内，Deep Dream 仿佛就像一种病毒一样开始在网上流行。
使用技术可以最大化所有神经元的反应，而不仅限于那些顶级的神经元。Clune 的团队在 2014 年发现，黑箱问题可能比预期的更为糟糕：神经网络非常容易被人类理解上随机噪声似的图片所欺骗。例如，一个神经网络在看到扭动的线条时，它可能会将这些线条归类于海星；当它看到黑黄相间的线条时，它又会误以为这是辆校车。此外，在不同数据集里训练的模式会在神经网络里引发相同的反应。
研究人员已经提出了很多方法来解决这个所谓「欺骗」的问题，但到目前为止还没有通用的解决方案出现。
而在现实生活中，这可能会非常危险。Clune 说，一个特别可怕的场景是恶意的黑客们能够学会利用这些弱点来作恶。他们可以让一辆自动驾驶汽车误以为一块广告牌是一条道路从而引发车祸，也可以让白宫的视网膜扫描仪误以为入侵者是巴拉克·奥巴马而让其通过。
「我们正在竭尽所能地让机器学习变得更强壮和智能。」Clune 总结道。
这些问题的出现开始让一些计算机科学家们认为神经网络的深度学习不该是目前业界的唯一选择。一个名叫 Zoubin Ghahramani 的剑桥机器学习研究员认为，如果人工智能存在的意义是让人类更容易地理解问题的答案，但是，「对于很多问题来言，深度学习并不是那个解决问题最终的答案。」
一个相对透明的科研方法是由 Lipson 和 一位计算机生物学家 Michael Schmidt 在 2009 年首次提出的，随后这种方法在纽约的康奈尔大学被应用。他们的算法被称作 Eureqa，它可以仅通过观察一个相对简单的机械对象（一个钟摆运动系统）来重新发现牛顿定律。
从一个随机的数学模块组合，例如加号、减号和正余弦开始，Eureqa 会遵循一套受达尔文进化论启发的试错法，直到最终的结果能够最好地得到最终的数据表达公式。随后，Eureqa 还会提出测试模型实验的方法。Lipson 认为这种方法的优点之一就是简单，「Eureqa 生成的一个模型通常有 12 个参数，而一个神经网络却有数百万。」
On autopilot
去年，Ghahramani 发表了一个可以自动化数据科学家工作的算法，从查看最原始的数据到撰写论文，它都能够胜任。他这款被称为 Automatic Statistician 的软件，指出了数据集中的趋势和异常，并给出了它的结论，包括一个关于它推理的详细解释。Ghahramani 认为，透明度对于应用科学而言是至关重要的，但它也对很多商业应用同等重要。例如，在很多国家，银行可以拒绝向你贷款并可以在法律上解释这么做的理由，而深度学习算法却可能无法做到这样。
来自大数据公司 Arundo Analytics 的数据科学主任 Ellie Dobson 认为，类似的担忧在很多其他机构中也存在。如果有类似英国汇率设置错误的问题出现，英国央行是不能说「这是黑箱让我这么做的」。
尽管存在着这些担忧，但计算机科学家们认为，努力地创建透明的人工智能应该被视为深度学习的补充，而不是替代。他们认为，一些透明的技术可能会适用于一些既定的抽象事实问题，但它们不善于感知从原始数据中提取事实的过程。
最后，这些研究人员认为，机器学习的复杂答案是科学工具集中必不可少的一部分，因为现实世界是如此的复杂，例如天气和股票市场等现象，一个简化的、合成的描述甚至都不可能存在。
「有些事情我们无法通过语言来表达。」一位名叫 Stéphane Malla 的应用数学家在巴黎理工学院说道，「但为什么需要花 20 年才能成为一个好医生呢？因为知识和信息不仅仅只存在于书本之上。」
对于 Baldi 而言，应该接受深度学习没有和黑箱搅合在一起的事实。毕竟，他们彼此都拥有黑箱。
「你一直在使用你的答案，你也一直在信任你的大脑，但你却不知道你的大脑是如何工作的。」
参考文献
, & Imagenet classification with deep convolutional neural networks. In Advances in Neural Information Processing Systems 1097–1105 (2012).
http://arxiv.org/abs/1412.0035 (2014).
http://arxiv.org/abs/1412.1897 (2014).
& Science 324, 81–85 (2009).
Nature 521, 452–459 (2015).
