再生核希尔伯特空间

对于再生核希尔伯特空间，需要分别阐述再生核和希尔伯特空间两个概念。

再生核：

设X 是非空集，H是定义在X上的希尔伯特空间。核 k 满足下面的两条性质就称为H的再生核：

1. 对于每个x0∈(X,k(y,x0))作为y的函数属于空间H
2. 任意x属于X和f(.)属于H，有f(x)=<f(.)，K(.,x)>H

希尔伯特空间：

希尔伯特空间是一个带有内积的完备向量空间。它是欧几里德空间的一个推广，并将向量代数和微积分的方法从二维欧氏平面和三维空间扩展到任何有限或无限维数的空间，使其不局限于实数的情形和有限的维数，但又不失完备性。当一个内积空间满足通过内积空间可推导出范数空间(赋范空间)，并且是完备的，那么这个内积空间就是希尔伯特空间。

简单来说，基本的线性空间只包括加法和数乘操作，在此基础上引入内积操作，即将空间升级为内积空间。根据内积，定义一个范数：||x||=<x, x>。于是得到了一个赋范向量空间。之后引入一个度量：d(x1, x2)=||x1−x2||用于计算向量x1与x2之间的距离。由此得到一个度量空间。如果这样的空间在这个度量下是完备的，那么这个空间叫做希尔伯特空间。

希尔伯特空间定义的流程即：

线性空间（向量空间）–> 内积空间 –> 赋范向量空间 –> 度量空间 –> 如果度量空间是完备的，即希尔伯特空间

此外，希尔伯特空间也是一个函数空间，即空间中每个元素都是一个函数。

再生核希尔伯特空间：

它是由核函数，即评估函数构成的希尔伯特空间。粗略地说，这意味着如果有两个函数f和g在RKHS中接近常态，即如果||f - g||很小，则f和g两个函数应该逐点接近。|f(x) - g(x)|对于所有x，应该接近于0。

再生核希尔伯特空间是支持监督学习（SVM）等监督学习模型的理论基础。

描述来源：

Aronszajn, N. (1950). Theory of reproducing kernels. Transactions of the American mathematical society, 68(3), 337-404.

Halmos, P. R., & Book, A. H. S. P. (1971). Graduate Texts in Mathematics. Springer Verlag.

Dym, H. (1989). J contractive matrix functions, reproducing kernel Hilbert spaces and interpolation (Vol. 71). American Mathematical Soc..

发展历史

1929年，John von Neumann 在1929年出版的著作中，最早使用了“希尔伯特空间”这个名词。

1950年，Nachman Aronszajn 和 Stefan Bergman 首次使用了“再生核”的理论并系统地开发。

1959年，Emanuel Parzen 第一次使用了‘再生核希尔伯特空间’的概念。

1961年，Valentine Bargmann 系统地描述了并扩充了再生核希尔伯特空间的含义，使这一概念更加清晰。

1989年，Harry Dym 扩充了再生核希尔伯特空间的含义。

2001年，Roman Rosipal 和 Leonardo Jose Trejo提出了最小二乘回归法在再生核希尔伯特空间中的应用。

2011年，Alain Berlinet 和 Christine Thomas-Agnan在著作Reproducing kernel Hilbert spaces in probability and statistics中提出了再生核希尔伯特空间在概率和统计方面的应用。

主要事件

发展分析

瓶颈

Fukumizu, K., Lanckriet, G. R., & Sriperumbudur, B. K. （2011）指出，相较于再生核基于其他空间的算法，比如Reproducing Kernel Banach Space（RKBS），RKHS的嵌入效率不够高。而通过一些例子的比较，在嵌入方面，RKBS则拥有更丰富的距离测量概率。

未来发展方向

希尔伯特空间依旧具有广泛的应用，包括复杂分析，谐波分析和量子力学。

再生核希尔伯特空间在统计学习理论领域中尤为重要，因为RKHS中最小化经验风险函数的每个函数都可以写成在训练点评估的核函数的线性组合，从而有效地简化了从无限维到有限维优化问题的经验风险最小化问题。

Contributor: Tiange Wang