本文精选了几篇因果表示学习领域的最新文献,并细致分析了不同方法的基本架构,希望能帮助感兴趣的你对因果学习应用于机器学习的方向和可能一探究竟。
因果推理(Causal inference)是根据影响发生的条件得出因果关系结论的过程,是研究如何更加科学地识别变量间的因果关系(Causality)。在因果关系中,原因对结果负有部分责任,而结果又部分取决于原因。客观事物普遍存在着内在的因果联系,人们只有弄清事物发展变化的前因后果,才能全面地、本质地认识事物。基干事物发展的这种规律,在论证观点时,有时就可以直接从事物本身的因果关系中进行推论,这就叫因果推理法。几十年来,因果推理一直是统计学、计算机科学、教育学、公共政策和经济学等许多领域的重要研究课题。为了解决观测数据因果推断中的这些问题,研究人员开发了各种框架,包括潜在结果框架(the potential outcome framework)(潜在结果框架也称为内曼-鲁宾潜在结果或鲁宾因果模型(the Rubin Causal Model))和结构因果模型(the structural causal model,SCM)。UCLA 教授 Judea Pearl 在他的著作《Causality: models, reasoning, and inference》[1] 中介绍了 RCM 和 SCM 的等价性,就应用来看,RCM 更加精确,而 SCM 更加直观。Judea Pearl 是因果关系模型的倡导者之一。机器之心在 2018 年也有一篇对于他的论文的报道:https://cloud.tencent.com/developer/article/1119926,探讨了机器学习的理论局限性与因果推理的七大特性。来自 University at Buffalo、University of Georgia、Alibaba 和 University of Virginia 的几位学者在 AAAI 2020 中发表了一篇关于 RCM 因果推理方法的的文章《A Survey on Causal Inference》[2],是第一篇对 RCM 和机器学习问题的综述,而关于 SCM 的介绍则主要可以参见 Judea Pearl 的综述《Causal inference in statistics: An overview》[3]。而近年来,在以上提及的两个理论框架的基础上,机器学习领域的蓬勃发展促进了因果推理领域的发展。采用决策树、集成方法、深层神经网络等强大的机器学习方法,可以更准确地估计潜在结果。除了对结果估计模型的改进外,机器学习方法也为处理混杂问题提供了一个新的方向。借鉴近年来产生式对抗性神经网络等深度表征学习方法,通过学习所有协变量的平衡表征来调整共焦变量,使得在学习表征的条件下,处理任务独立于共焦变量。在机器学习中,数据越多越好。然而,在因果推理中,仅仅有更多的数据是不够的。拥有更多的数据只会有助于获得更精确的估计,但在因果推理的框架下,如果使用传统机器学习技巧,不能确保这些因果估计是正确和无偏的。与传统的使用因果图连接随机变量来完成因果发现和推理假设任务的因果推理不同,近年来,关于因果的表示学习(Causal Representation Learning)问题吸引了越来越多的关注。因果表示学习是指从数据中学习变量,也就意味着,经过大数据学习,基于因果表示学习的机器学习算法或者能够超越传统的符号人工智能(symbolic AI)。它不要求人工划分的先验知识,就能从数据中学到信息。直接定义与因果模型相关的对象或变量,相当于直接提取真实世界的更详细的粗粒度模型。尽管经济学、医学或心理学中的每一个因果模型所使用的变量都是基本概念的抽象,但是要在存在干预的情况下使用粗粒度变量描述因果模型,仍然是非常困难的。现有机器学习面临的另外一个困难是有效的训练数据。对于每个任务/领域,尤其以医学为例,只能掌握有限的数据。为了提高模型的效果,就必须想办法搜寻、汇集、重新使用或者人工编制数据的有效方法。这与目前由人类进行大规模标签工作的行业实践形成鲜明对比。因此,因果表示学习对人类和机器智能都是一项挑战,但它符合现代机器学习的总体目标,即学习数据的有意义表示,其中有意义表示稳健、可转移、可解释或公平。在这篇文章中,我们选了几篇关于因果表示学习的最新文献,其中涉及了基于 SCM 和基于 RCM 的工作。我们主要分析了不同方法的基本架构,目的是对因果学习应用于机器学习的方向和可能一探究竟。提取模块化结构(Learning modular structures)因果表示学习的一个方向是提取模块化的结构,即世界的不同组件在一系列环境、任务和设置中存在,那么对于一个模型来说,使用相应的模块就是利用了有效的因果表示。例如,如果自然光的变化(太阳、云层等的位置)意味着视觉环境可以在几个数量级的亮度条件下出现,那么人类的神经系统中的视觉处理算法应该采用能够将这些变化因素化的方法,而不是建立单独的人脸识别器,比如说,适用于各种照明条件。如果大脑通过增益控制机制来补偿光照的变化,那么这个机制本身就不需要和导致亮度差异的物理机制有任何关系。Goyal 等针对这个方向,尝试将一组动态模块嵌入到一个递归神经网络中,由所谓的注意机制进行协调,这允许学习模块独立动态运行,同时也会存在相互影响。专业用户独享
本文为机器之心深度精选内容,专业认证后即可阅读全文
开启专业认证