2 月 2 日，Facebook 推出了一种全新图像识别系统，可将照片内容自动转换为文本（automatic alt text，AAT），这些描述包括照片中的物体，以及 12 个动作，包括「人在行走」、「人在跳舞」、「人在骑马」、「人在玩乐器」等等。类似的程序不仅可以帮助视觉障碍的病人阅读图片，也可以帮助医生对皮肤癌的风险进行诊断。这些技术都基于神经网络：一种复杂的计算机算法，是人工智能（AI）技术的前沿分支，但人们一直不知道它的内部运作机制到底是什么样子。直到最近，一群研究者找到了「窥探」神经网络运作机制的方法。
神经网络是基于人类大脑神经元运作机制的计算机模拟方式。它就像大脑一样，并不通过直接联系产生结果——神经网络通过数据集进行训练，建立并不断加强加强对特定输入内容的反应机制，从而「学习」对事物进行识别的能力。神经网络的边缘可能存在用于识别像素点的层——就像人类神经元中识别背景的机制一样。在经过数万条经过标记数据的训练后，神经网络算法内部会形成特定的机制，能够在接收到新的数据后进行处理。但很长一段时间以来人们一直不知道这些算法是如何得出它们的答案的。
「神经网络是令人着迷的数学模型，」柏林 Heinrich Hertz 研究所的研究员 Wojciech Samek 说道。「它们在很多领域都已得到应用，表现良好，但其内部机制对于人类而言仍是黑箱状态。」
为了打开黑箱，Samek 和他的同事们开发了一个软件，试图探寻神经网络背后的秘密。他们的研究成果将在本月 20 日于德国汉诺威举行的「CeBIT 信息及通信技术博览会」中进行讲解。至此，研究人员终于可以了解对于神经网络模型所有的输入（包括并不限于图片）是如何经过处理并获得结论的。在神经网络中，像素和其位置会得到各自的分数以标定它们的重要性。有了这些信息，研究人员就可以对图像处理的过程进行可视化。随着这项研究的发布，像素对于神经网络输出结果重要性的问题很快就会得到答案。
例如，该软件被用在两个识别马的神经网络上。一个神经网络通过身体形状判定图片中的形象是不是一匹马。而另一个神经网络寻找的则是图片上与马匹协会网站相关的版权标志。
Samek 表示，这项研究的成果可以提升神经网络的性能，通过聚焦神经网络的真实需求，帮助其减少所需数据的数量，这是人工智能发展面临的最大障碍之一。这项工作还可以帮助神经网络检查结果中的错误，比如一张图片的错误归类。
其他研究者正采用相似方法研究算法和用于视觉与文本的神经网络如何做决策。哈佛大学互联网与社会学院 Berkman Klein 中心的科技评论家 Sara Watson 表示，由于算法在人类日常生活中做着越来越多的决策，所以持续的研究很重要。公众需要工具来理解人工智能是如何做决策的。目前的算法远不是一个完美的真理仲裁人，其公正性最多只能与给到的数据并驾齐驱。
在一次臭名昭著的神经网络风波中，谷歌的图片应用把一个黑人妇女标记成了一只大猩猩。一些被用于更严肃目的人工智能程序也正遭受质疑，美国的几家法院已在根据软件提供的风险评分来预测罪犯是否会再次犯罪，从而决定是否通过假释申请。但至少一项研究表明，对于相似的案例，黑人获得的危险评分要高于白人。「制造机器的意义正变得越来越重要，人们必须对机器的使用和它们的输出结果负责。」Watson 说道。
论文：Explaining nonlinear classification decisions with deep Taylor decomposition
摘要
非线性方法，例如深度神经网络（DNN）可以很好地解决图像识别等多种具有挑战性的机器学习问题。尽管这些方法表现出色，但透明性的缺失是一个严重的短板，这将限制其可解释性并缩小实际应用的范围。相对而言，深度神经网络更是一个具有多层非线性结构的黑箱。在这篇论文中，通过把网络分类决策分解成输入元素的贡献值，我们提出了一种阐释遗传性多层神经网络的全新方法。尽管我们只专注于图像识别，该方法同样适用于更宽广的输入数据集，学习任务和网络架构。通过从输出层到输入层反向传播其解释，这种深度泰勒分解的方法可以有效利用网络结构。我们根据 MNIST 和 ILSVRC 数据集的实际情况评估了这一方法。
