黑箱(系统)

黑箱，指一个只知道输入输出关系而不知道内部结构的系统或设备。在人工智能领域，我们更多指代黑箱系统，如下图所示：

[图片及描述来源：维基百科 URL：https://en.wikipedia.org/wiki/Black_box]

「黑箱」问题是深度学习所特有的。比如用于诊断（恶性）黑素瘤的深度学习系统，该系统不受大量而明确的医学知识和一系列诊断规则的引导；通过进行大量的内部调整——类似于加强和减弱大脑中的突触连接——它已经能够有效地教自己去区别痣与黑色素瘤。它究竟是如何将某一病变确定为黑色素瘤的呢？我们无法知道，它也无法告诉我们。所有允许网络去学习的内部调整和处理都发生在我们的审查能力之外。就像我们自己的大脑一样。该黑色素瘤机器必须从图像中提取某些特征；如果它不能告诉我们所选的是哪一个特征，这会有什么影响吗？这就像是微笑着的知识之神。遇到这样一台机器，你可以窥见动物感知人类心灵的可能方式：无所不知但却难以理解。

「深度学习系统没有任何解释能力，」深度学习领域的权威Hinton 直截了当地说到。黑箱不能调查原因。事实上，他说：「深度学习系统变得越强大，它就越含糊。由于更多的特征被提取了出来，诊断本身变得越来越准确。然而为什么这些特征会从数以百万计的其它特征中被提取出来，这仍然是一个无法回答的问题。」算法可以解决一个案例，但它不能创建一个案例。而无法解释其预测或推荐背后的原因的这一现象，降低了用户的信任，阻碍了系统诊断和修复。

[描述来源：纽约客特稿 | 把癌症诊断交给机器，医疗服务会更好吗？|机器之心]

发展历史

英文术语“黑匣子”的现代意义似乎是在1945年左右被提出的，主要应用在电子电路理论中，1962年Vitold Belevitch在他发表的论文中对电子电路的黑箱特点和历史进行了综述。

在控制论(Cybernetics)中，Ross Ashby在1956年在他的著作对中黑箱系统进行了比较全面的阐述。Norbert Wiener在1961年给出了我们现在所熟悉的定义，他描述了一个黑匣子，它是一个未知系统，需要使用系统识别技术进行识别。他认为自我组织（self-organiza）的第一步是能够复制黑匣子的输出。此后，许多其他工程师，科学家和认识论者，如Mario Bunge，在20世纪60年代使用并完善了黑箱理论。

由于神经网络也是黑箱模型，目前人工智能领域也非常关注黑箱系统的可解释性。2017年， Antonio Torralba等人提出了一个名为网络剖析（Network Dissection）的通用框架，通过评估各个隐藏单元和一组语义概念之间的对齐来量化CNN潜在表示的可解释性。给定任何CNN模型，所提出的方法利用广泛的视觉概念数据集来对每个中间卷积层的隐藏单元的语义进行评分。这些带有语义的单元被赋予了大量的概念标签，这些概念包括物体、组成部分、场景、纹理、材料和颜色等。

Song-Chun Zhu等人则学习了一个图形模型，即一个解释图，它揭示了隐藏在预训练的CNN中的知识层次。在解释图中，每个节点表示部分图案，并且每个边缘编码共同激活关系和图案之间的空间关系。 更重要的是，他们以无人监督的方式学习预训练的CNN的解释图。 实验表明，每个图节点通过不同的图像始终表示相同的对象部分。

主要事件

发展分析

瓶颈

目前深度学习的可解释性仍然是一个正在研究中的课题，如何解释模型是一个开放问题。

未来发展方向

正如上文所述，目前深度学习的可解释性研究正在发展中，并且受到了广泛的关注。

Contributor: Yuanyuan Li