一个可以解释的AI（Explainable AI, 简称XAI）或透明的AI（Transparent AI），其行为可以被人类容易理解。它与机器学习中“ 黑匣子 ” 的概念形成鲜明对比，这意味着复杂算法运作的“可解释性”，即使他们的设计者也无法解释人工智能为什么会做出具体决定。 XAI可用于实现社会解释的权利。有些人声称透明度很少是免费提供的，并且在人工智能的“智能”和透明度之间经常存在权衡; 随着AI系统内部复杂性的增加，这些权衡预计会变得更大。解释AI决策的技术挑战有时被称为可解释性问题。另一个考虑因素是信息（信息过载），因此，完全透明可能并不总是可行或甚至不需要。提供的信息量应根据利益相关者与智能系统的交互情况而有所不同。
AI系统优化行为来满足系统设计者选择的数学指定的目标系统，例如命令，“最大化评估测试数据集中正面电影评论的准确性”。人工智能可以从测试集中学习有用的普遍的规则，例如“含有'恐怖'这个词的评论可能是负面的”。但是，它也可能学习不合适的规则，例如，包含“丹尼尔戴路易斯”的评论“通常是积极的”；如果这些规则被认为可能无法在测试集之外推广，或者如果人们认为该规则是“作弊”或“不公平”，则这些规则可能是不合需要的。人类可以在XAI中审核规则，以了解系统有多大可能推广到测试集之外的未来真实数据。
XAI已经在许多领域进行了研究，包括：
- 神经网络坦克成像
- 天线设计
- 算法交易
- 医学诊断
- 自动驾驶汽车
资料来自维基百科：https://en.wikipedia.org/wiki/Explainable_Artificial_Intelligence
发展历史
描述
在20世纪70年代早期，Mycin是一种研究原型，可以解释哪种手动编码规则有助于特定病例的诊断。到了20世纪90年代，研究人员也开始研究是否有可能有意义地提取由不透明的训练神经网络生成的非手工编码规则。临床专家系统的研究人员为临床医生创建了神经网络驱动的决策支持，他们寻求开发动态解释，使这些技术在实践中更加可信和值得信赖。
在2010年代推动尖端人工智能的“深度学习”方法自然是不透明的，和其他复杂的神经网络一样; 遗传算法同样天然不透明。相比之下，决策树和贝叶斯网络对检查更加透明。
层次相关传播（LRP），首先在2015年被提出，是一种用于确定特定输入向量中哪些特征对神经网络的输出贡献最大的技术。
在2010年，公众对使用人工智能进行刑事判决和信誉调查的种族和其他偏见的担忧可能导致对透明人工智能的需求增加。一些组织，如埃森哲，为企业提供工具，帮助检测系统中的偏差。
2018年，成立了一个名为FAT （公平，问责和透明度）的跨学科会议，以研究社会技术系统背景下的透明度和可解释性，其中许多包括人工智能。
主要事件
| 年份 | 事件 | 相关论文/Reference |
| 2014 | Gilles Louppe分析并讨论了在变量重要性测量眼中拟合随机森林模型的可解释性。 | Louppe, G. (2014). Understanding random forests: From theory to practice. arXiv preprint arXiv:1407.7502. |
| 2015 | 随机森林为特定预测提供了贡献 | Palczewska, A., Palczewski, J., Robinson, R. M., & Neagu, D. (2014). Interpreting random forest classification models using a feature contribution method. In Integration of reusable systems (pp. 193-218). Springer, Cham. |
| 2015 | Airbnb研究团队专注于决策阈值分配的方法。 | https://medium.com/airbnb-engineering/unboxing-the-random-forest-classifier-the-threshold-distributions-22ea2bb58ea6 |
| 2016 | 新一代可解释性技术，适用于任何机器学习模型 - 不仅仅是基于树的。 | Ribeiro, M. T., Singh, S., & Guestrin, C. (2016, August). Why should i trust you?: Explaining the predictions of any classifier. In Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining (pp. 1135-1144). ACM. |
| 2016 | 解释机器学习的模型与为什么我们需要它 | Lipton, Z. C. (2016). The mythos of model interpretability. arXiv preprint arXiv:1606.03490. |
| 2017 | 作者们试图统一先前的可解释性方法。 | Lundberg, S. M., & Lee, S. I. (2017). A unified approach to interpreting model predictions. In Advances in Neural Information Processing Systems (pp. 4765-4774).Lundberg, S. M., & Lee, S. I. (2017). A unified approach to interpreting model predictions. In Advances in Neural Information Processing Systems (pp. 4765-4774). |
发展分析
瓶颈
当前以大数据与深度学习为基础的人工智能存在的最大问题是：不可解释和不可理解，就事论事，缺乏推广能力，遇到新的情况一筹莫展。因此当面对动态变化的环境，信息不完全，存在干扰与虚假信息时，人工智能系统的性能就会显著下降。此外，这样的人工智能系统由于不可理解，无法实现人机交互，无法与人类协同工作与和谐相处。人工智能的黑匣子问题是关键，即如果人们不知道AI是如何做出决定的，那么就不会相信它。可解释的人工智能是一个重要的思想领域，同时也有可能成为未来机器学习的核心，但随着模型变得越来越复杂，确定简单的、可解释的规则就会变得越来越困难。这些规则主要描述为什么一些人工智能系统会按照它所做的方式对任何给定的输入进行分类、组合、操作。
资料出自：https://blog.csdn.net/w26Y3t53EfqaI0MFeQBa/article/details/82837126 与 https://zj.zjol.com.cn/news/654456.html
未来发展方向
新的机器学习系统将能够解释它们的基本原理，表征它们的优点和缺点，并传达对它们将来如何表现的理解。实现该目标的策略是开发新的或改进的机器学习技术，以产生更多可解释的模型。这些模型将结合最先进的人机界面技术，能够将模型转化为最终用户可理解和有用的解释对话（图2）。我们的策略是采用各种技术，以生成一系列方法，为未来的开发人员提供一系列设计选项，涵盖性能与可解释性交易空间。
资料来自于：https://www.darpa.mil/program/explainable-artificial-intelligence
Contributor: Zhixiang Chi