谷歌大脑近日发表了一篇新论文引起热议：任意深度的宽神经网络在梯度下降下演化为线性模型。以下为论文摘要：深度学习研究的一个长期目标是精确地描述训练和概括。然而，神经网络经常复杂的损失景观使学习动力学理论变得难以捉摸。在这项工作中，我们表明，对于宽神经网络，学习动力学大大简化，并且在无限宽度限制中，它们由从围绕其初始参数的网络的一阶泰勒展开获得的线性模型控制。此外，镜像宽贝叶斯神经网络和高斯过程之间的对应关系，具有平方损失的宽神经网络的基于梯度的训练产生从具有特定组成核的高斯过程得出的测试集预测。虽然这些理论结果仅在无限宽度限制中是精确的，但我们仍然发现原始网络的预测与线性化版本的预测之间存在极好的经验一致性，即使对于有限的实际大小的网络也是如此。该协议适用于不同的体系结构，优化方法和损失函数。