机器之心原创

2021/07/07 13:03

蛋酱编辑

谁是「反向传播之父」？Hinton曾亲口否认，真正的提出者或许是这个刚获 IEEE 认证的大佬

但真正的荣耀应该归于思想本身，不一定是某个人。

问大家一个问题：谁是反向传播之父？

恐怕 AI 社区的众多人都会想到 Geoffrey Hinton。

即使谷歌关键词「father of backpropagation」，得到的答案也是 Geoffrey Hinton。

但事实并非如此。

近日，美国学者 Paul J. Werbos 获得了 IEEE Frank Rosenblatt Award，理由是「因对反向传播发展及强化学习和时间序列分析的基本贡献」。

Paul J. Werbos 出生于 1947 年，是机器学习领域的先驱，也是自适应智能系统领域的国际知名专家。在维基百科的词条中，Paul J. Werbos 因在 1974 年的哈佛大学博士论文中首次提出通过反向传播算法来训练人工神经网络而闻名，被称为「反向传播之父」。

同时，他也是循环神经网络（RNN）的先驱。1995 年，Werbos 因提出反向传播和自适应动态规划等基本神经网络学习框架而获得 IEEE 神经网络先驱奖（IEEE Neural Network Pioneer Award）。

人们更为熟知的反向传播领域先驱是 Geoffrey Hinton。1986 年，Hinton 和 David Rumelhart、Ronald Williams 发表了一篇论文，详细介绍了名为「反向传播」的技术。一直以来，反向传播被认为是深度学习的根基，也是第三次人工智能浪潮的重要推动因素。

但谁才是真正的「反向传播之父」？他们陆续出场，又分别做出了哪些贡献？

Jürgen Schmidhuber：反向传播非 Hinton 原创

2019 年，Geoffrey Hinton 曾获得本田奖，该奖项旨在表彰「为引领生态技术领域的下一代新知识而做出贡献的个人或团体」。当时，本田奖在公告中称：Hinton 发明了很多方法并由此推动了人工智能的更广泛应用，其中就包括奠定了人工智能深度学习方法基础的反向传播算法。

后来，同为计算机科学领域的先驱 Jürgen Schmidhuber 发文质疑了 Hinton 的获奖资格，并且列举了六大理由，其中第一条就是「反向传播并非 Hinton 原创」。

在他看来，现代反向传播是由 Linnainmaa 在 1970 年首先提出来的，之后 Rumelhart、Hinton 和 Williams 才在 1985 年提出，并且 Hinton 只是第二作者。此外，Ivakhnenko 的深度前馈网络（1965）早在 Hinton（1980 年代）之前就能够学习内部表征了，而且 Hinton 提出的网络深度不如前者。

对此，Hinton 也给出了正式回应：

我从未说过反向传播是我发明的。David Rumelhart 独立提出了反向传播，在那之前已经有很多其他领域的人提出了它。我们第一次公开发表相关研究时的确不知道反向传播的历史，因此没有引用之前提出者的工作。

但 Hinton 表示，是自己明确提出了反向传播可以学习有趣的内部表征，并让这一想法推广开来：「我通过让神经网络学习词向量表征，使之基于之前词的向量表征预测序列中的下一个词实现了这一点。」

这个案例就是 Nature 1986 年发表的那篇论文《Learning representations by back-propagating errors》。

论文链接：https://www.nature.com/articles/323533a0

在 Martin Ford 2018 年出版的《Architects of Intelligence》一书中，Hinton 曾经说过：

「在 David Rumelhart 之前，很多人提出了不同版本的反向传播。其中大部分是独立提出的，我觉得我承受了过多的赞誉。我看到媒体说我提出了反向传播，这是完全错误的。科研人员认为他因为某事获得了过多赞誉，这样的情况不常见，但这就是其中之一！我的主要贡献是展示如何使用 BP 算法学习分布式表征，因此我要做出澄清。」

反向传播，该是谁的原创？

反向传播的基础知识是由多位研究者 1960 年代在控制理论和链式规则的背景下提出的。不过这一术语的确定，以及被人们广泛所知的确要等到 1986 年《自然》杂志上 David Rumelhart、Hinton 与 Ronald Williams 合著的论文发表之后。

据 Jürgen Schmidhuber 的考证，反向传播算法的前身是 Henry J. Kelley 于 1960 年发表的，迄今已有半个多世纪。

现代反向传播算法在 1970 年由芬兰硕士生 Seppo Linnainmaa 首次发表。在这篇硕士论文中，Linnainmaa 首次描述了在任意、离散的稀疏连接情况下的类神经网络的高效误差反向传播，尽管其中没有提及神经网络。这种反向传播也被称为自动微分的反向模式。到 2020 年，所有用于神经网络的现代软件包（例如 Google 的 Tensorflow）都是基于 Linnainmaa 1970 年的方法。

Seppo Linnainmaa。

直到 1974 年以后，反向传播才开始在神经网络的背景下应用。Jürgen 认为，Paul J. Werbos 是在 1982 年明确提出了上述反向传播算法的首个面向神经网络的应用（但在他 1974 年的论文中还没有）。到了 1986 年，计算成本几乎仅有 1970 年的千分之一，于是 Hinton、Rumelhart 等人的计算实验证明了反向传播可以在神经网络的隐藏层中产生有用的内部表征。这本质上是对已知方法的实验分析。

显然，反向传播算法的故事本身是相对复杂的，而关于「反向传播之父」的争议也还没有定论。正如 DeepMind 科学家 Oriol Vinyals 所建议的：「我们应当把荣耀归于思想本身，而不是人。」

参考链接：

https://people.idsia.ch/~juergen/who-invented-backpropagation.html

产业Geoffrey Hinton反向传播算法

相关数据

DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年，最初名称是DeepMind科技（DeepMind Technologies Limited），在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯，谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后，Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏，例如即时战略游戏《星际争霸II》（StarCraft II）。深度AI如果能直接使用在其他各种不同领域，除了未来能玩不同的游戏外，例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作，基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

控制理论技术

控制理论是工程学与数学的跨领域分支，主要处理在有输入信号的动力系统的行为。系统的外部输入称为“参考值”，系统中的一个或多个变数需随着参考值变化，控制器处理系统的输入，使系统输出得到预期的效果。控制理论一般的目的是借由控制器的动作让系统稳定，也就是系统维持在设定值，而且不会在设定值附近晃动。

来源：维基百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

反向传播算法技术

反向传播（英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法计算对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。在神经网络上执行梯度下降法的主要算法。该算法会先按前向传播方式计算（并缓存）每个节点的输出值，然后再按反向传播遍历图的方式计算损失函数值相对于每个参数的偏导数。

来源：维基百科 Google ML glossary

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心