Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

ICLR 2022为博客单独设置Track,Andrej Karpathy复现LeCun论文入选

挤破脑袋投顶会论文?换个思路,写篇博客也能中。


当前,机器学习社区正面临可复现危机和审稿危机,ML 会议竞争激烈、审稿复杂:一方面,研究人员往往过度推销他们的论文,反而阻碍了学术的进步,影响了领域的完整性;另一方面,随着在 ML 会议上发表和提交的论文越来越多,跟踪领域最新进展也变得更加困难。

近来,社区内逐渐兴起一种简单高效的交流方式:用博客文章讨论领域进展。

图片
博客文章通过提供一个灵活的平台,促进了关于科学出版物的见解交流,让学术讨论更加人性化和透明,从而为科学界提供了巨大的价值。博客不像标准科学出版物那样被广泛认可,往往只有少数研究人员维护个人博客账号,但其中不乏成熟研究人员撰写的博客,质量颇高。

如果能够像论文一样被各类学术会议关注和接收,博客在领域内的认可度将大幅提升。现在,ICLR 2022 率先做出改变,为博客单独设置了一个 Track,旨在激励研究人员回顾过去的工作并总结成果,为 ML 社区提供一种总结科学知识的新方法。

为了建立更标准的接收机制,ICLR 2022 限制了本次接收博客的主题为提炼和讨论已发表论文的内容,并且要求所述工作不能与作者存在利益冲突。这意味着博客作者不能以自己或其所在机构的论文为主题。ICLR 组委会希望博客 Track 能够引起富有成效的讨论,避免出现故意帮助或伤害个人或机构的博客文章。

最终,ICLR 2022 共接收博客 21 篇:

图片
部分接收列表,完整接收列表:https://iclr-blog-track.github.io/blog/

值得注意的是,被接收的 21 篇博客中有一篇是 ICLR 2022 官方特邀特斯拉人工智能和自动驾驶视觉总监 Andrej Karpathy 撰写的反向传播 33 年进展综述。其中,Andrej Karpathy 复现了 Yann LeCun 等人 1989 年的一篇论文《Backpropagation Applied to Handwritten Zip Code Recognition》,并探究了当年 LeCun 遇到的难点。有趣的是,Karpathy 还展望了下一个 33 年,即 2055 年的人将如何看待今天的深度学习研究。这种跨越时空的对话蕴含着机器学习社区多年来的努力和对未来的美好期望。
图片
博客地址:https://iclr-blog-track.github.io/2022/03/26/lecun1989/

此外,还有多篇博客以 ICLR 2021 接收的论文为主题,这些博客很好地概述了机器学习某个子领域的进展,起到很好的学术归纳交流的作用。未来,博客文章在机器学习社区将拥有一席之地。

相关阅读:


参考链接:https://iclr-blog-track.github.io/
理论ICLR 2022
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

旅行推销员问题技术

旅行推销员问题是这样一个问题:给定一系列城市和每对城市之间的距离,求解访问每一座城市一次并回到起始城市的最短回路。它是组合优化中的一个NP困难问题,在运筹学和理论计算机科学中非常重要。 TSP是旅行购买者问题与车辆路径问题的一种特殊情况。 在计算复杂性理论中,TSP的做决定版本属于NP完全问题。

暂无评论
暂无评论~