2024/05/09 18:36

10年前VAE经典论文获奖，ICLR 2024首个时间检验奖公布

ICLR 2024 评选出的时间检验奖，在各自领域可谓是开山之作。

由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 在 2013 年牵头举办的 ICLR 会议，在走过第一个十年后，终于迎来了首届时间检验奖。

为了评选出获奖论文，项目主席审查了 2013 年和 2014 年 ICLR 论文，并寻找具有长期影响力的论文。

今年，由 Diederik P. Kingma、Max Welling 合作撰写的论文获得了该奖项，获奖论文为《 Auto-Encoding Variational Bayes 》；论文《 Intriguing properties of neural networks 》获得了亚军。

ICLR 2024 时间检验奖

论文《 Auto-Encoding Variational Bayes 》作者共有两位，他们当时均来自于阿姆斯特丹大学。

论文地址：https://arxiv.org/pdf/1312.6114
论文标题：Auto-Encoding Variational Bayes
作者：Diederik P. Kingma 、 Max Welling

获奖理由：概率建模是对世界进行推理的最基本方式之一。这篇论文率先将深度学习与可扩展概率推理（通过所谓的重新参数化技巧摊销均值场变分推理）相结合，从而催生了变分自动编码器 (VAE)。这项工作的持久价值源于其优雅性。用于开发 VAE 的原理加深了我们对深度学习和概率建模之间相互作用的理解，并引发了许多后续有趣的概率模型和编码方法的开发。这篇论文对于深度学习和生成模型领域产生了重大影响。

作者介绍

Diederik P. Kingma 现在是谷歌的一名研究科学家。根据领英介绍，Kingma 曾经是 OpenAI 初创团队的一员，在 OpenAI 工作期间领导了一个算法团队，专注于基础研究。2018 年，Kingma 跳槽到谷歌，加入 Google Brain（现在合并为 Google DeepMind），专注于生成式模型研究，包括扩散模型和大型语言模型。

Kingma 主要研究方向是可扩展的机器学习方法，重点是生成模型。他是变分自编码器 (VAE，即本次获奖研究)、Adam 优化器、Glow 和变分扩散模型等研究的主要作者。根据 Google Scholar 显示，Kingma 的论文引用量达到 24 万多次。

论文另一位作者 Max Welling 现在为阿姆斯特丹大学机器学习教授。和一般机器学习研究者不同，Max Welling 并不是计算机专业科班出身，而是在世界顶尖公立研究型大学 —— 荷兰乌得勒支大学学了 11 年的物理，而且导师是荷兰理论物理学家、1999 年诺贝尔物理学奖得主 Gerard 't Hooft。在 Hooft 的指导下，Max Welling 于 1998 年拿到了量子物理学博士学位。

之后，Max Welling 曾先后在加州理工学院（1998-2000）、伦敦大学学院（2000-2001）和多伦多大学（2001-2003）担任博士后研究员。2003-2013 年，他历任加州大学欧文分校的助理教授、副教授和教授。2012 年，他开始担任阿姆斯特丹大学的教授和机器学习研究主席。

Max Welling 在 2011 年参与的一篇论文《 Bayesian Learning via Stochastic Gradient Langevin Dynamics 》还获得了 ICML 2021 时间检验奖，主题是「基于随机梯度 Langevin 动力学的贝叶斯学习」。在学术成就方面，Max Welling 的论文被引量达到了 13 万多次。

在得知获奖的消息后，Kingma、Max Welling 师徒俩人还进行了互动：

时间检验奖亚军论文

ICLR 2024 亚军论文颁给了《 Intriguing properties of neural networks 》。论文作者共有七位，他们当时分别来自谷歌、纽约大学、蒙特利尔大学。

在过去的十年中，他们中的大多数已经离开了原来的公司和机构。

Christian Szegedy 现在为 xAI 联合创始人；Wojciech Zaremba 为 OpenAI 联合创始人；Ilya Sutskever 是 OpenAI 联合创始人（不过自从 OpenAI 发生宫斗后，暂无消息）；Joan Bruna 现在为纽约大学副教授（Associate Professor）；Dumitru Erhan 为谷歌 DeepMind 研究总监；Ian Goodfellow 加入谷歌DeepMind；Rob Fergus 现在为谷歌 DeepMind 的研究科学家。

论文地址：https://arxiv.org/pdf/1312.6199
论文标题：Intriguing properties of neural networks
作者：Christian Szegedy、Wojciech Zaremba、Ilya Sutskever、Joan Bruna、Dumitru Erhan、Ian Goodfellow 、 Rob Fergus

获奖理由：随着深度神经网络在实际应用中越来越受欢迎，了解神经网络何时以及如何出现不良行为非常重要。本文强调了神经网络可能容易受到输入中几乎察觉不到的微小变化的影响。这一想法催生了对抗性攻击（试图欺骗神经网络）以及对抗性防御（训练神经网络不被欺骗）的研究。

这篇论文发表于 2014 年，可以说是对抗样本（Adversarial Examples）的开山之作。论文发现神经网络对数据的理解跟人类的理解方式并不相同，在此基础上，研究者又发现给输入数据添加扰动（也就是噪声），神经网络的输出会产生变化，他们将这种扰动后的图像称为对抗样本。

^{参考链接：https://blog.iclr.cc/2024/05/07/iclr-2024-test-of-time-award/}

产业时间检验奖ICLR 2024

来源：Goodfellow, I.个人页面

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

变分自编码器技术

变分自编码器可用于对先验数据分布进行建模。从名字上就可以看出，它包括两部分：编码器和解码器。编码器将数据分布的高级特征映射到数据的低级表征，低级表征叫作本征向量（latent vector）。解码器吸收数据的低级表征，然后输出同样数据的高级表征。变分编码器是自动编码器的升级版本，其结构跟自动编码器是类似的，也由编码器和解码器构成。在自动编码器中，需要输入一张图片，然后将一张图片编码之后得到一个隐含向量，这比原始方法的随机取一个随机噪声更好，因为这包含着原图片的信息，然后隐含向量解码得到与原图片对应的照片。但是这样其实并不能任意生成图片，因为没有办法自己去构造隐藏向量，所以它需要通过一张图片输入编码才知道得到的隐含向量是什么，这时就可以通过变分自动编码器来解决这个问题。解决办法就是在编码过程给它增加一些限制，迫使其生成的隐含向量能够粗略的遵循一个标准正态分布，这就是其与一般的自动编码器最大的不同。这样生成一张新图片就比较容易，只需要给它一个标准正态分布的随机隐含向量，这样通过解码器就能够生成想要的图片，而不需要给它一张原始图片先编码。

来源：机器之心 Tutorial on Variational Autoencoders

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

对抗样本技术

对抗样本是一类被设计来混淆机器学习器的样本，它们看上去与真实样本的几乎相同（无法用肉眼分辨），但其中噪声的加入却会导致机器学习模型做出错误的分类判断。

来源：Goodfellow, I. J., Shlens, J., & Szegedy, C. (2014). Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572.

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。

来源：维基百科

贝叶斯学习技术

基于贝叶斯概率定理的学习方法

来源：artint.info

深度神经网络技术

深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

来源：机器之心 Techopedia

优化器技术

优化器基类提供了计算梯度loss的方法，并可以将梯度应用于变量。优化器里包含了实现了经典的优化算法，如梯度下降和Adagrad。优化器是提供了一个可以使用各种优化算法的接口，可以让用户直接调用一些经典的优化算法，如梯度下降法等等。优化器（optimizers）类的基类。这个类定义了在训练模型的时候添加一个操作的API。用户基本上不会直接使用这个类，但是你会用到他的子类比如GradientDescentOptimizer, AdagradOptimizer, MomentumOptimizer（tensorflow下的优化器包）等等这些算法。

来源：维基百科

语言模型技术

统计式的语言模型是借由一个几率分布，而指派几率给字词所组成的字串。语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。

来源：维基百科