2024/10/08 18:37

刚刚，2024诺贝尔物理学奖授予Geoffrey Hinton、John Hopfield

两位获奖者将平分 1100 万瑞典克朗（约合 745 万元人民币）奖金。

北京时间 10 月 8 日下午，瑞典皇家科学院宣布将 2024 年诺贝尔物理学奖授予 John J. Hopfield 和 Geoffrey E. Hinton，「以表彰他们在使用人工神经网络实现机器学习方面奠基性发现和发明」。

诺贝尔奖评奖委员会表示：「今年的物理学奖得主的突破建立在物理科学的基础上。他们为我们展示了一种全新的方式，让我们能够利用计算机来帮助和指导我们，应对社会面临的许多挑战。」

委员会在宣布获奖时同时指出，机器学习「长期以来一直对科学研究至关重要，包括对大量数据的分类和分析……John Hopfield 和 Geoffrey Hinton 利用物理学工具，构建了有助于为当今强大的机器学习奠定基础的方法。基于人工神经网络的机器学习目前正在彻底改变科学、工程和日常生活。」

Geoffrey Hinton

Geoffrey Hinton 出生于 1947 年，二战后的英国温布尔登。他是逻辑学家 George Boole 的曾曾孙，George Boole 的工作布尔代数（Boolean algebra）是现代计算机科学的基础之一。Geoffrey Hinton 的父亲是英国昆虫学家 Howard Hinton，叔叔是著名经济学家 Colin Clark，国民生产总值（GDP）这个术语的提出者。

1978 年，Geoffrey Hinton 在爱丁堡获得人工智能博士学位。在卡内基梅隆大学任教五年后，他成为加拿大高等研究院的研究员，并进入多伦多大学计算机科学系任教，现为该系名誉教授。他于 2013 年 3 月加入谷歌，Vector 研究所的首席科学顾问。

Geoffrey Hinton 是英国皇家学会会士，也是美国国家工程学院和美国艺术与科学学院的外籍会员。他一生获得过诸多奖项，包括大卫・鲁梅尔哈特奖、 IJCAI 卓越研究奖、基廉工程奖（有「加拿大诺贝尔奖」之称的国家最高科学奖）、 IEEE Frank Rosenblatt 奖、 NSERC Herzberg 金奖、 IEEE 詹姆斯・克拉克・麦克斯韦金奖、 NEC C&C 奖、本田奖和图灵奖。

研究贡献

1986 年，Geoffrey Hinton 与 David Rumelhart、Ronald J. Williams 一起发表的论文介绍了用于训练多层神经网络的反向传播算法。实验表明，这样的网络可以学习有用的数据内部表征。

论文链接：https://www.nature.com/articles/323533a0

不过，Hinton 认为自己不可担当「反向传播之父」这个称号。在 2018 年的一次采访中，Hinton 表示「 David E. Rumelhart 提出了反向传播的基本思想，所以这是他的发明。」

追溯起来，学界普遍认可现代反向传播算法在 1970 年由芬兰硕士生 Seppo Linnainmaa 首次发表， Paul Werbos 在 1974 年提出用它来训练神经网络。尽管 Geoffrey Hinton 并不是第一个提出这种方法的人，但他对推广反向传播起到了很重要的作用，也是第一个使用反向传播学习词嵌入的人。他对神经网络研究的其他贡献包括玻尔兹曼机器、分布式表示、时滞神经网络、专家混合、变分学习和深度学习。

2012 年，Geoffrey Hinton 在多伦多带领的研究小组实现了深度学习的重大突破，彻底改变了语音识别和目标分类。他与学生 Alex Krizhevsk、Ilya Sutskever 合作设计的卷积神经网络「Alexnet」以远超第二名的成绩在 ImageNet 2012 挑战赛夺冠，将 ImageNet 数据集上的视觉识别错误率降到了 15.3%，仅有此前的一半。这成为了计算机视觉领域的里程碑事件。

2015 年，为了纪念人工智能 60 周年，深度学习三巨头 Yann LeCun、Yoshua Bengio、Geoffrey Hinton 在 Nature 上发表了综述论文《Deep learning》：

论文链接：https://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf

卷积神经网络获得了巨大的成功，但也并不适合所有的任务。2017 年 10 月和 11 月，Hinton 发表了两篇关于胶囊神经网络主题的研究论文，提出了胶囊网络 (CapsNet) 作为 CNN 模型的替代。胶囊是深度学习的新概念，与 CNN 和传统的网络神经网络相比，它产生了不错的效果。CNN 分类器在对抗干扰数据时并不稳健，而胶囊网络被证明对不良数据的适应力更强，而且还能适应输入数据的仿射变换。

2018 年，Hinton 与 Yann LeCun 和 Yoshua Bengio 一起获得了 2018 年图灵奖，以表彰他们使深度神经网络成为计算的关键组成部分的概念和工程突破。

在几十年的研究生涯中，Hinton 称得上「桃李满天下」。他曾培养的知名学者包括：Peter Dayan、Sam Roweis、Richard Zemel、Brendan Frey、Radford M. Neal、Ruslan Salakhutdinov、Ilya Sutskever、Yann LeCun 和 Zoubin Ghahramani。

John Joseph Hopfield

约翰・约瑟夫・霍普菲尔德（John Joseph Hopfield）是一位美国物理学家，活跃于生物物理学和统计物理学领域。他于 1982 年提出的 Hopfield 网络是神经网络领域的经典模型。霍普菲尔德为该模型引入了精确的二值神经元和能量函数的概念，这是一种特别自关联网络，能够存储和搜索记忆。Hopfield 网络被广泛用于解决组合优化问题、图像识别等任务，特别是在自联想存储和优化问题。

霍普菲尔德的神经网络模型开启了人们对大脑计算过程的研究，推动了计算神经科学的发展。他的神经理论解释了大规模处理如何在存储网络中实现稳定的记忆，启发了后来的深度学习研究。

霍普菲尔德 1933 年 7 月 15 日出生。在成长过程中，他表现出了对科学的兴趣，尤其是物理和数学。他获得了斯沃斯莫尔学院的学士学位，并于 1958 年在康奈尔大学获得物理学博士学位。在求学过程中，他对物理学的多个领域产生了浓厚的兴趣，这为他后来的跨学科研究奠定了坚实的基础。

霍普菲尔德的职业生涯足迹，涵盖了多个物理学、生物物理学和神经科学领域。他曾在多个顶尖学府任教和研究，包括普林斯顿大学、加州理工学院以及斯坦福大学。

霍普菲尔德早年主要研究固体物理，特别是光学性质和半导体材料。在 20 世纪 70 年代，霍普菲尔德转向生物物理学，提出了许多有助于理解生物分子的理论。最主要的是与雅克・尼尼奥同时引入了分子生物学校对的概念。

产业John HopfieldGeoffrey Hinton2024诺贝尔物理学

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

词嵌入技术

词嵌入是自然语言处理（NLP）中语言模型与表征学习技术的统称。概念上而言，它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数域上的向量。

来源：维基百科

神经科学技术

神经科学，又称神经生物学，是专门研究神经系统的结构、功能、发育、演化、遗传学、生物化学、生理学、药理学及病理学的一门科学。对行为及学习的研究都是神经科学的分支。对人脑研究是个跨领域的范畴，当中涉及分子层面、细胞层面、神经小组、大型神经系统，如视觉神经系统、脑干、脑皮层。

来源：维基百科

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

反向传播算法技术

反向传播（英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法计算对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。在神经网络上执行梯度下降法的主要算法。该算法会先按前向传播方式计算（并缓存）每个节点的输出值，然后再按反向传播遍历图的方式计算损失函数值相对于每个参数的偏导数。

来源：维基百科 Google ML glossary

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

逻辑技术

人工智能领域用逻辑来理解智能推理问题；它可以提供用于分析编程语言的技术，也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑（Propositional Logic ）以及一阶逻辑（FOL）等谓词逻辑。

来源：机器之心

玻尔兹曼机器技术

Helmholtz机是一种人工神经网络，可以通过训练创建原始数据集的生成模型来解释一组数据的隐藏结构。其目的是通过学习数据的经济表达，生成模型的底层结构应合理地近似数据集的隐藏结构。 Helmholtz机包含两个网络，一个自下而上的识别网络，将数据作为输入并产生隐藏变量的分布；一个自顶向下的“生成”网络，可生成隐藏变量和数据本身的值。

来源：Wikipedia

玻尔兹曼机技术

玻尔兹曼机（Boltzmann machine）是随机神经网络和递归神经网络的一种，由杰弗里·辛顿(Geoffrey Hinton)和特里·谢泽诺斯基(Terry Sejnowski)在1985年发明。玻尔兹曼机可被视作随机过程的，可生成的相应的Hopfield神经网络。它是最早能够学习内部表达，并能表达和（给定充足的时间）解决复杂的组合优化问题的神经网络。但是，没有特定限制连接方式的玻尔兹曼机目前为止并未被证明对机器学习的实际问题有什么用。所以它目前只在理论上显得有趣。然而，由于局部性和训练算法的赫布性质(Hebbian nature)，以及它们和简单物理过程相似的并行性，如果连接方式是受约束的（即受限玻尔兹曼机），学习方式在解决实际问题上将会足够高效。它由玻尔兹曼分布得名。该分布用于玻尔兹曼机的抽样函数。

来源：维基百科

神经元技术

（人工）神经元是一个类比于生物神经元的数学计算模型，是神经网络的基本组成单元。对于生物神经网络，每个神经元与其他神经元相连，当它“兴奋”时会向相连的神经元发送化学物质，从而改变这些神经元的电位；神经元的“兴奋”由其电位决定，当它的电位超过一个“阈值”（threshold）便会被激活，亦即“兴奋”。目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。在这个模型中，神经元通过带权重的连接接处理来自n个其他神经元的输入信号，其总输入值将与神经元的阈值进行比较，最后通过“激活函数”（activation function）产生神经元的输出。

来源：Overview of Artificial Neural Networks and its Applications. (2018). medium.com.

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域，它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性，目前的语音识别系统只能在一定的限制条件下获得满意的性能，或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

来源：What is Automatic Speech Recognition?

CapsNet技术

Hinton 等人实现了一个简单的 CapsNet 架构，该架构由两个卷积层和一个全连接层组成，其中第一个为一般的卷积层，第二个卷积相当于为 Capsule 层做准备，并且该层的输出为向量，所以它的维度要比一般的卷积层再高一个维度。最后就是通过向量的输入与 Routing 过程等构建出 10 个 v_j 向量，每一个向量的长度都直接表示某个类别的概率。

来源：机器之心

深度神经网络技术

深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

来源：机器之心 Techopedia

仿射变换技术

仿射变换，又称仿射映射，是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。一个对向量平移，与旋转放大缩小的仿射映射为上式在齐次坐标上，等价于下面的式子在分形的研究里，收缩平移仿射映射可以制造制具有自相似性的分形

来源：维基百科

胶囊网络技术

简而言之，一个胶囊网络是由胶囊而不是由神经元构成。一个胶囊是一小群神经元，它们可以学习在一个图片的一定区域内检查一个特定的对象（比如，一个矩形）。它的输出是一个向量（例如，一个8维的向量）。每个向量的长度代表了物体是否存在的估计概率[1]，它的方向（例如在8维空间里）记录了物体的姿态参数（比如，精确的位置、旋转等）。如果物体有稍微的变化（比如，移动、旋转、尺寸变化等），胶囊将也会输出一个长度相同但是方向稍微变化的向量。因此胶囊是等变的。

来源：oreilly