关于多变量概率分布的一个重要概念是条件独立性。考虑三个变量a，b和c，假设a基于b和c的条件分布是不依赖于b的值的，即：
我们说给定c，a在条件上独立于b。如果我们考虑以c为条件的a和b的联合分布，则可以表示为：
我们已经使用了概率乘积规则和上图第一个式子。因此，我们看到，在c的条件下，可以将a和b的联合分布以α的边际分布与b的边际分布（再次都以c为条件）进行因式分解。这就是说，变量a和b在统计上是独立的，在给定c的情况下。
[描述来源：Bishop C. M. (2006).Pattern Recognition and Machine Learning. Springer.]
从基本定义可导出一套描述条件独立的重要法则，在下文两个条件独立的变量将写作$X\amalg Y| W$：
读作给定W，X条件独立于Y。
因这些推论在任何机率空间中都成立，因此也对所有变量关于另一变量的条件概率分布成立，只需考虑相应子空间即可。譬如说$X \amalg Y \Rightarrow Y \amalg X$ 也就意味着$X \amalg Y |K \Rightarrow Y \amalg X |K$ 。
- 对称性：
- 分解性：
- 微弱的联合：
下面提供几个例子：
例子1：假设A和B及时回家吃饭是两个独立事件，雪灾袭击了这个城市是第三个事件。尽管A和B的晚餐回家的可能性较低，他们之间仍然彼此独立。也就是说，已知A迟到的信息并不能告诉你B是否会迟到。（他们可能生活在不同的社区，不同的距离，使用不同的交通方式）。但是，如果你有他们住在同一个社区的信息，使用相同的交通工具，并在同一地点工作，那么两个事件就变成不是条件独立的了。
例子2：有条件的独立性取决于第三个事件的性质。如果你掷出两个骰子，可以假设这两个骰子的行为彼此独立。看一个骰子的结果不会告诉你第二个骰子的结果。（也就是说，这两个骰子是独立的。）但是，如果第一个骰子的结果是3，并且有人告诉你第三个事件——这两次掷出的骰子点数的总和是偶数——那么这个额外的信息会将第二次掷出的点数限制到奇数。换句话说，两个事件可以是独立的，但不是条件独立的。
[描述来源：维基百科URL：https://en.wikipedia.org/wiki/Conditional_independence]
描述
独立性和条件独立是概率论的基础概念，它们构成了几个研究领域的基础，例如极限定理和马尔可夫链。同时也是由Thomas Bayes奠基的贝叶斯定理的重要依据。1979年Dawid通过对统计几个不同领域的有条件独立的研究阐述了条件独立理论所形成的统计推断理论的框架概念，其涵盖的主题包括参数识别、因果推断、预测充分性、数据选择机制、不变统计模型以及主观模型构建方法。
其中在条件独立理论最重要的应用中，基于贝叶斯定理和一个很强的假设——假设特征互相独立——的朴素贝叶斯分类器是用于文本分类的流行基准方法。它在60年代初被以不同的名称引入文本检索社区，将文档判断为属于一个类别或另一个类别的问题（例如垃圾邮件或合法，体育或政治等），词频为特征。2001年Rish使用Monte Carlo模拟对几类随机生成的问题进行系统的分类准确性研究，证明了朴素贝叶斯的良好性能。
另外一个具有贝叶斯思想（其也应用了条件独立性）的模型是贝叶斯网络，这个概念是由Pearl在1985年针对主观的输入信息依靠贝叶斯条件作为更新信息的基础而提出来的，并在其后几年快速发展，成为了一个单独的研究领域，现在也是一种常用的分类器。
1960年左右Ruslan L. Stratonovich在他的论文中描述了隐马尔科夫模型（hidden markov model，HMM）中使用的向前和向后递归以及边缘平滑概率的计算。该模型除了基于条件独立定理这一点，它实际上还可以被表示为最简单的动态贝叶斯网络（dynamic Bayesian network）。1975年，Baker提出了DRAGON系统，将HMM应用于语音识别，这也是HMM最早的实际应用之一。现在HMM也常用于分析生物序列、交通监控、推荐系统等。
除此之外，条件独立性作为几乎所有机器学习模型（如概率图模型）所基于的基础概念，在图像处理、数据挖掘等领域都能找到广泛应用。
主要事件
年份 | 事件 | 相关论文/Reference |
1763 | Thomas Bayes提出贝叶斯定理的基本形式 | Bayes, T. (1763). An Essay towards solving a Problem in the Doctrine of Chances. The Philosophical Transactions. 53: 370-418. |
1960 | Ruslan L. Stratonovich在他的论文中描述了隐马尔科夫模型（,hidden markov model，HMM）中使用的向前和向后递归以及边缘平滑概率的计算 | Stratonovich, R.L. (1960). Conditional Markov Processes.Theory of Probability and its Applications. 5 (2): 156–178. |
1975 | Baker提出了DRAGON系统，将HMM应用于语音识别 | Baker, J.(1975). The DRAGON system—An overview.IEEE Transactions on Acoustics, Speech, and Signal Processing. 23: 24–29. |
1979 | Dawid通过对统计几个不同领域的有条件独立的研究阐述了条件独立理论所形成的统计推断理论的框架概念 | Dawid, A. P.(1979). Conditional Independence in Statistical Theory.Journal of the Royal Statistical Society, Series B. 41 (1): 1–31. |
1985 | Pearl提出贝叶斯网络的概念 | Pearl J. (1985). Bayesian Networks: A Model of Self-Activated Memory for Evidential Reasoning.Proceedings of the 7th Conference of the Cognitive Science Society, University of California, Irvine, CA. pp. 329–334. |
1995 | 贝叶斯分类在60年代初被以不同的名称引入文本检索社区 | Russell, Stuart; Norvig, Peter (2003) [1995]. Artificial Intelligence: A Modern Approach (2nd ed.). Prentice Hall. |
2001 | Rish使用Monte Carlo模拟对几类随机生成的问题进行系统的分类准确性研究，证明了朴素贝叶斯的良好性能 | Rish, I. (2001). An empirical study of the naive Bayes classifier. IJCAI Workshop on Empirical Methods in AI. |
发展分析
瓶颈
关于条件独立性的研究已经非常成熟，很难说存在什么瓶颈，但其作为许多模型的假设，实际上是一个很强的假设，在实际应用中很难满足。
未来发展方向
有关条件独立的研究目前并不活跃，但一直有研究专注于将模型要求条件独立的假设放宽，如朴素贝叶斯允许变量间有依赖关系，就变成了贝叶斯网络。
Contributor: Yuanyuan Li