类比推理是人类试图理解世界并作出决定的最常见方法之一。 当一个人对产品有不好的经历并决定不再向生产者购买任何东西时,这往往是一种类比推理。 在许多科学实验中也常常隐含着类比。例如,对实验室老鼠的实验通常是基于大鼠与人之间的某些生理学相似性(例如对药物的可能反应)的基础上进行的。
哲学文献将类比归类为一种推理形式,用逻辑理论的某些形式方法进行分析。科学文献将类比作为事实问题进行实证探索,或者至少对于重要的类比来说是这样。因此,类比有两个概念。 首先是类比(analogy)或类比的事实(fact of analogy)。 当两个系统的属性相似时,这是一个事实,其中相似的部分表达为事实的一部分。 事实是一个本地问题(local matter),是case by case的。 类比的事实不需要一般的抽象相似理论,因为它只是对两个系统进行对比, 类比也不需要其得到的事实必须符合的通用模板。
第二个概念是从类比的事实中得出的类比推理(analogical inference)。 如果我们知道一个系统的特性而不是另一个系统的特性,则可能会出现这种推论。 我们可能会猜想,第一个系统和另一个系统之间有类比的事实(fact of analogy)。 这个推测的事实就是我们从中得出类比推理的事实。 这个推测的事实的确定性决定了我们得出的类比推理的确定性。因此,类比的事实必须能够支持这一推断。
类比推理的过程涉及到两个或两个以上事物的共享属性,并从这个基础推断出他们也有一些进一步的共享属性。 其结构或形式可以如此概括:
- P和Q在性质a,b和c方面是相似的。
- P被观察到具有更多的属性x。
- 因此,Q大概也有属性x。
有几个因素影响类比论证的强度/确定性:
- 已知相似性与结论中推断的相似性的相关性(正向或负向)
- 两个对象之间的相关性(或相异性)程度。
- 构成类比基础的实例的数量和种类。
[描述来源:Norton, J. D. (2011). Analogy. ]
[描述来源:维基百科 URL:https://en.wikipedia.org/wiki/Argument_from_analogy ]
发展历史
描述
类比推理对于人工智能领域的影响,实际上可能远远超过许多人的预期。机器学习中五大流派之一即是根据相似性判断作出推理的类推学派。它使用支持向量作为表达模型时的正式语言,用间隔(margin)评估模型表现并用约束优化作为搜索并返回最高分模型的运算法则。其他常用的算法——最近邻、K近邻——也使用了类比推理的思想。在20世纪90年代以前,应用范围最广的类比学习算法就是最近邻算法。
1982年,加州理工学院物理学家约翰·霍普菲尔德(John Hopfield)注意到大脑和旋转玻璃之间的类比,这使其开发了解决信用分配问题的第一个算法。此后,机器学习取代了知识工程。其思想是定义一种随时间进化的神经网络,其存储器是最小的能量状态。最重要的是其在模式识别(Pattern Recognition)中的应用:它可以将通过将一些失真的图像融合为理想的图像从而达到识别的目的。
在商业应用中,类推方法最常见的示例应当是推荐系统,如亚马逊提出的项目到项目协同过滤,能够根据用户的购买/浏览记录,推测用户的喜好,并给出相似推荐。
2017年,Jing Liao和Sing Bing Kang等人提出了一种在图片中进行视觉风格转移的新技术,可以让图片进行外观上的转换,但保留感知上相似的纹理结构。他们的技术可以在两个输入图像之间找到有意义的对应关系。为了实现这点,它使用「图像类比」方式用深度卷积神经网络进行对比;这一新技术称为 Deep Image Analogy。它使用粗化-精细的策略来计算生成结果的邻域纹理。他们还在在各种任务中验证了新方法的有效性,包含风格/纹理转换、颜色/风格对换、素描/绘画到照片的转换和不同时间的光照条件转换。
类比这一手段也可以帮助我们更好的理解人工智能算法,2017年,耶路撒冷希伯来大学的几位研究者的一篇论文《Deep Learning and Quantum Physics : A Fundamental Bridge》介绍了他们的发现:深度卷积算术电路(ConvAC)所实现的函数和量子多体波函数之间存在某种等价性,并将他们的类比进行公式化。他们建立了量子物理学领域和深度学习领域的一种基本(fundamental)联系,并使用这种联系断言了全新的理论观察,该观察是关于卷积网络每一层的通道(channel)的数量在整体的归纳偏置中的作用。
主要事件
年份 | 事件 | 相关论文/Reference |
1967 | Cover 和 Hart 在论文《Nearest neighbor pattern classification》中正式介绍了 KNN,这是类比学习算法的代表之一 | Cover, T., & Hart, P. (1967). Nearest neighbor pattern classification. IEEE transactions on information theory, 13(1), 21-27. |
1982 | 加州理工学院物理学家约翰·霍普菲尔德(John Hopfield)提出了Hopfield network | Hopfield, J. (1982). Neural networks and physical systems with emergent collective computational abilities, Proceedings of the National Academy of Sciences of the USA. 79(8): 2554–2558. |
1992 | SVM是类推学派的代表算法 | Boser, B. E.; Guyon, I. M.; Vapnik, V. N. (1992). A training algorithm for optimal margin classifiers. Proceedings of the fifth annual workshop on Computational learning theory. pp 144-152. |
2003 | 亚马逊提出项目到项目协同过滤(item-to-item collaborative filtering) | Linden, G.; Smith, B. and York, J.(2003). Amazon.com recommendations: item-to-item collaborative filtering. IEEE Internet Computing. 7(1): 76-80. |
2017 | Jing Liao和Sing Bing Kang等人提出Deep Image Analogy | Levine, Y. et al. (2017). Deep Learning and Quantum Physics: A Fundamental Bridge. arXiv:1704.01552v1. |
发展分析
瓶颈
类推学派基于相似性进行分析,因此数据集所包含的属性很重要。然而多数属性是不相关的,在大量的属性中只有个别属性是关键的。而最近邻方法对非相关属性没有很强的分辨能力。此外,即便我们拥有的属性是相关的,拥有更多的属性可能也会有害。随着维数的上升,用于确定概念边界的训练样本的数量也会呈指数上升。最近邻方法在这时会无法使用,虽然SVM不受维度灾难的影响,但其很难处理大规模数据集。
未来发展方向
虽然在机器学习领域有不同的领域,解决不同的问题,提出了不同的解决方案。但要实现通用人工智能,我们必须设计一个算法,解决这些方法尝试要解决的所有不同的问题——单一的一个“终极算法”。
Contributor: Yuanyuan Li