2021/07/07 13:00

Yann LeCun：我是卷积神经网络之父，但也被它的专利卡过脖子

学术研究的专利归属对于学者而言很重要，是对自己所做工作的保护和肯定。但如果因公司变故而将自己参与研究的专利分了出去，后续研究还怎么搞？深度学习三巨头之一、卷积神经网络之父 Yann LeCun 就曾遇到过这种「烦心事」。

提起美国贝尔实验室，喜欢研究科技史的同学想必都不陌生。它是晶体管、激光器、太阳能电池、发光二极管、数字交换机、通信卫星、电子数字计算机、C 语言、UNIX 操作系统、蜂窝移动通信设备、长途电视传送、仿真语言、有声电影、立体声录音以及通信网等许多重大发明的诞生地，拥有数万项专利。但很多人不知道的是，卷积神经网络也曾是这数万分之一。

最近，约克大学 EECS 副教授 Kosta Derpanis 就挖出了这么一个冷知识。

他发现，早在 1989 和 1990 年，AT&T 贝尔实验室就提交了两份关于卷积神经网络的专利申请。专利的名称是「HIERARCHICAL CONSTRAINED AUTOMATIC LEARNING NEURAL NETWORK FOR CHARACTER RECOGNITION 」，即用于字符识别的分层约束自动学习神经网络。

为什么 AT&T 贝尔实验室那么早就申请了卷积神经网络的专利呢？这还要从卷积神经网络之父——Yann LeCun 的早期职业生涯说起。

20 世纪 80 年代后期，LeCun 就职于贝尔实验室。1989 年，他发表了「将反向传播用于手写邮政编码识别」的相关研究，而且已经在美国的邮政系统中成功应用。随后，这一系统的应用范围扩展至银行支票。90 年代末期，该系统已经处理了美国 10%~20% 的支票识别。

关于卷积神经网络的专利，LeCun 是这么回复的：

卷积神经网络（ConvNet/CNN）有两项专利：一个是具有 strided convolution 的 ConvNet，另一是具有独立池化层的 ConvNet。它们分别于 1989 和 1990 年提交，并于 1990 和 1991 年获准。

官方认证：卷积神经网络的专利确实是贝尔实验室90年前后申请的。但 LeCun 之前还提到过一个细节，在 1996 年之后，该专利就跑到了 NCR 的手里。

这又是怎么回事呢？我们接着看 LeCun 的回忆：

我们最开始与一个构建基于 ConvNet 的 OCR 系统的开发团队合作。此后不久，AT&T 收购了 NCR 公司，后者正为银行构建支票成像器和分类机，然后支票图像被发送给人类操作员进行转录。显然，NCR 想要实现这些业务的自动化。

我们最终构建了一个完整的支票读取系统，该系统足够可靠，可以进行部署。银行从 1995 年起开始商业部署。该系统可以读取大约一半的支票（机器打印或手写），并将另一半发送给人类操作员。

实际上，首次部署是在 ATM 机上实现金额验证（由法国 CMB 银行率先部署）之前一年进行的。接着 1996 年出现了重大变故：AT&T 拆分成了 AT&T（服务）、Lucent（朗讯，电信设备公司）和 NCR。

我们的研究（research）团队留在了 AT&T（包括 AT&T Labs-Research），工程（engineering ）团队则去了 Lucent，产品（product ）团队去了 NCR。在律师们的努力下，ConvNet 的专利最终分配给了 NCR，因为他们销售的正是基于 ConvNet 的产品。

所以，我停止了 ML 的研究工作。当时，神经网络正变得不再受欢迎，我开始与 Léon Bottou（法国学者，因机器学习与数据压缩的工作而闻名）致力于一个名为 DjVu 的互联网图像压缩项目。我们在 20 世纪 90 年代早期写了一系列关于这方面工作的论文。（注：LeCun、Léon Bottou 以及另一位学者 Patrick Haffner 都是 DjVu 图像压缩技术的主要创建者）

直到 2002 年离开 AT&T，我才重新开始 ConvNet 的研究工作。我希望 NCR 没人意识到他们拥有我所做研究的专利。事实上确实没有。2007 年该专利到期时，我开了香槟庆祝。

所以我们从这个故事中得到的启发是：当专利与最适合构建他们的人分开时，专利系统可能会起到反作用。对于实体的东西来说，专利是合理的，但对于软件这种东西来说，它几乎从来都不适用。

明明是自己参与发明的东西，但却因为公司的变故被迫与专利分离，甚至在后续的研究中被卡脖子，LeCun 的遭遇恐怕不是个例。

最近两年，谷歌为 Dropout 等算法申请专利的新闻也在社区引发了激烈讨论。尽管 Jeff Dean 后来亲自解释说：「这些有关算法的专利是防御性质的，主要是为了防止谷歌研究人员的成果被其他机构申请专利后进行讹诈，进而引发经济损失。」但很多人依然非常反感这种做法，认为「这是一种野蛮且自私的举动，科学和数学的专利阻碍了人类文明的发展。」从 LeCun 的遭遇来看，反对者的看法似乎是有依据的。

参考链接：https://twitter.com/ylecun/status/1412544692219269121

产业专利卷积神经网络Yann LeCun

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

图像压缩技术

图像压缩是数据压缩技术在数字图像上的应用，目的是减少图像数据中的冗余信息，从而用更加高效的格式存储和传输数据。图像压缩可以是有损数据压缩也可以是无损数据压缩。

来源：维基百科

池化技术

池化（Pooling）是卷积神经网络中的一个重要的概念，它实际上是一种形式的降采样。有多种不同形式的非线性池化函数，而其中“最大池化（Max pooling）”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。直觉上，这种机制能够有效的原因在于，在发现一个特征之后，它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。通常来说，CNN的卷积层之间都会周期性地插入池化层。

来源：cs231n

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

Dropout技术

神经网络训练中防止过拟合的一种技术

来源：ImageNet Classification with Deep Convolutional

数据压缩技术

数据压缩是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间的一种技术方法。数据压缩包括有损压缩和无损压缩。在计算机科学和信息论中，数据压缩或者源编码是按照特定的编码机制用比未经编码少的数据位元（或者其它信息相关的单位）表示信息的过程。

来源：百度百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

操作系统技术

操作系统（英语：operating system，缩写作 OS）是管理计算机硬件与软件资源的计算机程序，同时也是计算机系统的内核与基石。操作系统需要处理如管理与配置内存、决定系统资源供需的优先次序、控制输入与输出设备、操作网络与管理文件系统等基本事务。操作系统也提供一个让用户与系统交互的操作界面。

来源：百度百科