2018 年，AAAI、IJCAI、NeurIPS 等学术会议愈加火热。本文中，机器之心将概述 2018 年十大学术会议，包括论文提交与接收情况、备受关注的论文评审制度，以及论文主题分布等。我们希望读者能通过这篇文章遍历机器学习在一年中的起伏与风雨，同时也希望追随学术会议开辟的道路继续向前。
年度学术会议配合年度研究进展服用效果更佳：
2018 顶会概览
顶会论文提交与接收情况
2018 年顶会论文提交与接收情况一览。紫色为论文提交数量，蓝色为论文接收数量。其中 AAAI 2018 论文提交数量为 3808 篇，较去年的 2571 提升了 47%；ICML 2018 共收到 2473 篇提交论文，比去年的 1676 篇提高 47.6%；EMNLP 2018 收到论文 2100 多篇（数量比去年多出 46%）；NeurIPS 2018 共收到 4856 篇投稿，创历史最高记录。
接下来我们简要介绍这些会议及其今年接收论文的情况。
1. 综合性会议
ICML 是计算机科学领域的顶会之一。据统计，ICML 2018 共评审了 2473 篇论文（比去年的 1676 篇提高 47.6%，增幅显著），接收论文 621 篇，接收率为 25.1%，与去年的 26% 基本持平。
NeurIPS 2018 共收到 4856 篇论文投稿，创历史最高记录，最终录取了 1011 篇论文，其中 Spotlight 168 篇 (3.5%)，oral 论文 30 篇 (0.6%)。接收率为 20.8%，与去年的 20.9% 基本持平。
AAAI 是人工智能领域一年一度的顶级盛会，围绕人工智能的研究与发展，吸引了全球的人工智能精英。AAAI 2018 收到的投递论文有 3808 篇（比去年的 2571 提升了 47%），其中 938 篇论文被大会接收，接收率 24.6%，与去年持平。
IJCAI（人工智能国际联合大会）是人工智能领域的顶级综合会议，被中国计算机学会推荐国际学术会议列表认定为 A 类会议。今年 IJCAI 共收到 3470 篇论文投稿（比去年增加了 37%），最终录取了 710 篇，接收率约为 20.5%（相比之下，去年的论文接收率为 26%，今年 IJCAI 论文录取率与去年有所下降）。
2. 计算机视觉领域会议
根据谷歌发布的 2018 版学术指标，在计算机视觉与模式识别领域，CVPR 是影响力最大的论文发布平台。CVPR 全称为「IEEE Conference on Computer Vision and Pattern Recognition」（计算机视觉与模式识别会议），是近年来计算机视觉领域全球最影响力、内容最全面的顶级学术会议。今年的 CVPR 收到超过 3300 篇大会论文投稿，接收 979 篇（接收率约为 29%，其中包括 70 篇 Oral 和 224 篇 Spotlight 论文）。
欧洲计算机视觉大会（European Conference on Computer Vision，ECCV），与计算机视觉模式识别会议（CVPR）和国际计算机视觉会议（ICCV）并称计算机视觉方向的三大顶级会议。据统计，本届 ECCV 共收到 2439 篇论文的投稿，接收 776 篇，接收率 31.8%（去年的论文接收率为 29%），包括 59 篇 oral 论文，717 篇 Poster 论文。今年大会参会人数近 3200 人，是上届（2016）的两倍。
3. 自然语言处理领域会议
国际计算语言学协会 (ACL，The Association for Computational Linguistics) 是世界上影响力最大、最具活力的国际学术组织之一。今年 ACL 收到 1544 篇提交论文，其中 1018 份长论文接收了 258 篇，526 份短论文接收了 126 篇，总体接收率为 24.9%，与去年的论文接收率 24% 基本持平。
EMNLP 是自然语言处理领域的顶级会议。今年 EMNLP 共收到论文 2100 多篇（数量比去年多出 46%），收录 549 篇，接收率为 24.6%（去年的论文接收率为 22%）。
4. 深度学习领域会议
ICLR 是深度学习领域的盛会，每年举办一次。2013 年，深度学习巨头 Yoshua Bengio、Yann LeCun 主持举办了第一届 ICLR 大会。经过几年的发展，在深度学习火热的今天，ICLR 已经成为人工智能领域不可错过的盛会之一。
ICLR 2018 共收到超 900 篇提交论文（去年为 507 篇），接收论文 337 篇，其中 23 篇为 oral 论文、314 篇为 Poster 论文。
5. 数据挖掘领域会议
KDD 是国际数据挖掘领域的顶级会议。据统计，KDD 2018 共收到 1480 篇论文投递，收录 293 篇，录用率 19.8%。
顶会中的华人力量
在综合性顶会和深度学习顶会中，今年获奖的华人很多。尤其是 IJCAI 2018，来自中国的研究人员为本届 IJCAI 贡献了主要力量，在七篇杰出论文中，华人学者的研究占据四席；陈天琦获得 NeurIPS 2018 最佳论文的研究《Neural Ordinary Differential Equations》也引发了社区的热议。
ICML 2018：获得 Best Paper Runner Up Awards 奖的三篇论文中有两篇有华人学者的参与：复旦大学副教授黄增峰一人署名的论文《Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices》；斯坦福大学的论文《Fairness Without Demographics in Repeated Loss Minimization》，作者之一 Percy Liang 是著名华人学者、斯坦福大学计算机系助理教授、斯坦福人工智能实验室成员。
NeurIPS 2018：本届 NeurIPS 大会共有 4 篇最佳论文，其中《Neural Ordinary Differential Equations》的作者之一是来自多伦多大学向量研究所的陈天琦；《Optimal Algorithms for Non-Smooth Distributed Optimization in Networks》的作者来自华为诺亚方舟实验室、PSL 研究大学和微软研究院，其中 Yin Tat Lee 本科毕业于香港中文大学，现任华盛顿大学助理教授。
AAAI 2018：杰出论文《Memory-Augmented Monte Carlo Tree Search》作者分别为 Chenjun Xiao、梅劲骋与 Martin Müller。其中，Chenjun Xiao 和梅劲骋均为华人。梅劲骋本科毕业于华南理工大学，研究生赴上海交通大学，师从计算机系吕宝粮教授。2015 年起，他来到阿尔伯塔大学攻读博士，师从 Dale Schuurmans 教授。Chenjun Xiao 研究生与博士阶段均师从于 Martin Müller 教授。
IJCAI 2018：据大会官方统计，今年的接收论文中，46％的论文包含来自中国的通讯作者，57％的论文来自亚洲。而在七篇杰出论文中，华人学者的研究占据四席，来自北京大学、武汉大学、清华大学、北京理工大学的研究榜上有名。
SentiGAN: Generating Sentimental Texts via Mixture Adversarial Networks
作者：Ke Wang、万小军
研究机构：北京大学
R-SVM+: Robust Learning with Privileged Information
作者：Xue Li、Bo Du、Chang Xu、Yipeng Zhang、 Lefei Zhang、陶大程
研究机构：武汉大学、悉尼大学
What Game are We Playing? End-to-end Learning in Normal and Extensive from Games
作者：C. K. Ling、J. Z. Kolter、方飞
研究机构：卡内基梅隆大学（CMU）
Commonsense Knowledge Aware Conversation Generation with Graph Attention
作者：Hao Zhou、Tom Young、Minlie Huang、Haizhou Zhao、Jingfang Xu、朱小燕
研究机构：清华大学、北京信息科学与技术国家研究中心、北京理工大学
论文地址：http://coai.cs.tsinghua.edu.cn/hml/media/files/2018_commonsense_ZhouHao_3_TYVQ7Iq.pdf
计算机视觉是华人广泛研究的领域，在此类顶会上常会看到华人的身影。例如，何恺明曾获得 CVPR 2009、2016 的最佳论文奖，而他也获得了本届 CVPR 的 PAMI 青年研究员奖。今年，华人在计算机视觉顶会上的获奖情况如下：
CVPR 2018：最佳论文《Taskonomy: Disentangling Task Transfer Learning》作者是来自斯坦福大学加州大学伯克利分校的研究者。该论文的共同二作 William Shen（沈博魁）为华人，研究兴趣为计算机视觉和机器人学习（robotics learning）。
此外，FAIR 研究科学家何恺明获得本届 CVPR 的 PAMI 青年研究员奖，该奖项颁发给 7 年内获得博士学位且早期研究极为有潜力的研究人员。
论文《SPLATNet: Sparse Lattice Networks for Point Cloud Processing》获得 CVPR 2018 最佳论文荣誉提名奖。其中 Hang Su、Deqing Sun、Ming-Hsuan Yang 均为华人。
ECCV 2018：FAIR 研究工程师吴育昕与研究科学家何恺明合作的《Group Normalization》获得了最佳论文荣誉提名奖。
华人在自然语言处理顶会上的获奖情况如下：
ACL 2018：最佳长论文之一《Let』s do it「again」: A First Computational Approach to Detecting Adverbial Presupposition Triggers》共同一作 Yulan Feng 本科毕业于麦吉尔大学，研究领域为自然语言理解。最佳短论文之一《Know What You Don't Know: Unanswerable Questions for SQuAD》作者之一是著名华人学者 Percy Liang。
EMNLP 2018：最佳资源论文《MultiWOZ - A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling》的作者 Tsung-Hsien Wen、Bo-Hsiang Tseng 为华人。
而在数据挖掘领域会议 KDD 中，由中国科学技术大学、微软和苏州大学的研究者合著的《XiaoIce Band: A Melody and Arrangement Generation Framework for Pop Music》获得最佳学生论文奖。
顶会论文主题分析
这部分将介绍部分学术会议的论文主题分布情况，包括 ICML 2018、NeurIPS 2018、AAAI 2018、IJCAI 2018 和 ACL 2018。
ICML
下图展示了 ICML 2018 论文子领域统计情况。可以看出神经网络架构和强化学习两个子领域的投稿数量最多，强化学习领域的论文接收数量最多，其它热门方向还有深度学习理论、最优化方法、监督学习、在线学习、统计学习理论等等。
图源：https://www.msra.cn/zh-cn/news/features/icml-2018
NeurIPS
NeurIPS 2018 接收了 1011 篇论文，其中 Spotlight 168 篇 (3.5%)，oral 论文 30 篇 (0.6%)。如下图所示，算法、深度学习和应用领域的投稿数量最多。
机器之心在梳理论文接收列表时重点关注了 30 篇 Oral 论文，从中可以看到总体上有几个比较突出的方面：首先对神经网络、模块及损失函数的理论分析比较多，此外对反向传播及最优化过程的研究也比较多，最后从策略到结构对强化学习的整体研究就更多了。
AAAI
AAAI 2018 收到的投递论文有 3808 篇，接收论文 938 篇。其中机器学习方法的论文在论文提交和接收量上都居首位，而视觉领域的论文稳居第二，且相比 2017 年该领域论文提交量增长了 257%、接收数量增长了 285%，实现了飞跃。紧随其后的是 NLP 与机器学习、AI 与网络、机器学习应用等。
图源：https://youtu.be/JbUuB72pA-c?list=PL_9a5ic6GUim0HB71cILHmQwfdKiwZ-MG
IJCAI
IJCAI 2018 共收到 3470 篇论文投稿，最终录取 710 篇。其中机器学习论文在论文提交和接收量上都是第一，分别是 1808 篇和 356 篇。紧随其后的子领域有：计算机视觉、机器学习应用、多智能体系统、自然语言处理、知识表征等。
ACL
ACL 2018 收到 1544 篇提交论文，其中 1018 份长论文接收了 258 篇，526 份短论文接收了 126 篇，总体接受率为 24.9%。
接收论文标题关键词（左：ACL 2017 独有，中：ACL 2017 和 ACL 2018 共有，右：ACL 2018 独有）（图源：https://www.msra.cn/zh-cn/news/features/acl-2018）
从上图对接收论文标题的词云分析中可以看出，在 ACL 2017 和 2018 上持续热门的关键词有深度（deep）、解析（parsing）、语言（language）、知识（knowledge）、注意力机制（attention）、提取（extraction）、序列（sequence）等。而 ACL 2018 独有的关键词包括嵌入（embedding）、情感（sentiment）、建模（modeling）、图（graph）等。
从顶会大事件中看趋势
大家都关心也都「吐槽」的评审制度
1. 同行评审制度
近年来，机器学习和深度学习研究火热，相关顶会的投稿数量激增，很多人开始担忧论文评审的质量。常见的评审制度有单盲评审（single-blind）、双盲评审（double-blind）和开放式评审（open review）等。单盲评审即评审人员对文章进行匿名评审，评审人员知道文章作者的信息。双盲评审即评审人和文章作者互相都不知道对方的信息，完全匿名。而在开放式评审中，所有提交的论文都会公开姓名等信息，并且接受所有同行的评价及提问（open peer review），任何学者都可匿名或实名评价论文。而在公开评审结束后，论文作者也能够对论文进行调整和修改。
我们比较熟悉的学术会议大多采用双盲评审制度，其中 ICLR 经历了从 open review 到双盲评审的转变。ICLR 2017 多篇论文引发争议，比如 2016 年火爆的 DeepMind LipNet 论文遭拒（然而今年 DeepMind 的新唇读系统论文又被 ICLR 拒了）、最佳论文《UNDERSTANDING DEEP LEARNING REQUIRES RETHINKING GENERALIZATION》遭受质疑。自 2018 年开始，ICLR 采取采取双盲评审，但该会议不禁止作者在 arXiv 或其他公共论坛上发表文章，大会将只进行一轮论文评审，初步评审结束后，作者和审稿人之间仍将有一个讨论期，作者可以继续对论文进行修改。
双盲评审可以有效减少评审人因知道作者信息而产生的刻板印象，但 ICLR 采用双盲评审后依然引起了争议。前不久，ICLR 2019 结束论文投稿，所有论文被放在开放平台 Openreview 上，以匿名方式供所有人审阅。但是，一篇 9 月 28 号提交到 Openreview 上参与 ICLR 2019 双盲评审的论文引起了评论区的非正面交锋：评论区疑似出现匿名或非匿名的刷屏式好评。
针对这种情况，有网友指出：在真正的评审结果面世之前发布可见的评论是一个可怕的想法，有很多方式可以对评审员造成影响。
论文的好评（如果是真的，一定会有影响，如关于热门论文 BigGAN 的评论）
在对手论文下发布刻薄、详细的评论（如果别人的论文和你的类似，你必须发现甚至连评审者都没发现的缺陷，这样他们就不会忽视你的评论）
在对手论文下发布看起来过于浮夸的评论使之看起来像在作弊
也就是说过早的反馈可能会使评审过程变得不公平。评审人员由于自身经验关系，不可能做到完美的公正。而无论是虚假的吹捧或真实的指摘，作为先入之见，最后都会让评审人员留下对论文的负面印象。而论文的热度、好评也可能会影响评审结果。
ICLR 2018 评论和讨论阶段对论文分数的影响。（图源：https://news.cnblogs.com/n/595597/）
如前所述，自 2018 年 ICLR 开始实行双盲评审制度之后，争议仍然存在，比如 LipNet 论文作者再投 ICLR 再次失败、ICLR 2019 评审阶段评论区疑似有水军出没等，且允许作者在 arXiv 等平台发布论文的做法使*双盲*形同虚设。而同样实行双盲评审制度的 ACL 大会规定投递论文在一定期限内不得上传到开放平台。
此外，关于投稿论文是否应该开源代码、评审人员是否应该复现论文结果也引发了大量争论。
那么，在当前人工智能领域各大顶会投稿量飞速增长的情况下，如何从制度层面上确保原本旨在促进开放研究的同行评审制度发挥其本来作用，减少在执行过程中出现的问题，不断优化其执行过程和效果，同时在机器学习大发展的当下，同行评审不会限制新研究的创新性，这值得我们思考和讨论。
2. 论文数量增多与合格论文评审人员数量不足之间的矛盾
从本文第一部分，我们可以看到这些学术顶会的论文提交数量不断增长，有些增幅甚至超 40%。那么一年过去了，合格的论文评审人员的增幅是否赶得上论文的增幅呢？
答案显而易见。今年 5 月，本科毕业生成为 NeurIPS 2018 论文同行评审的事情引发争议；7 月份，NeurIPS 2018 论文评审结果出来后，很多人吐槽评审意见不专业。几天后，GAN 之父 Ian Goodfellow 发推质疑同行评审机制的作用，他认为同行评审导致 AI 顶会论文质量下降，而主要原因正在于评审人员水平不一。此前发表过「机器学习之怪现状」的 Zachary Lipton 同意 Goodfellow 的看法，认为同行评审机制的退化是机器学习怪现状的原因之一。
除了 Ian Goodfellow、Zachy Lipton 以外，Geoff Hinton 前不久接受采访时称，现在的评审制度和既定路径不利于创新性想法的提出和传播，junior 论文评审者可能压根无法理解创新性论文。关于此，国内学者也有类似看法，著名自然语言处理专家刘群教授说过：「审稿的时候……通常比较 junior 的审稿人会更严厉一些，发现一些小问题就会倾向于给低分，而 senior 的审稿人反倒宽松一些，如果觉得论文确有可取之处，通常不会太计较一些小问题。」此前，南京大学周志华教授称：「senior 知道论文价值就是那点新火花，有毛病没关系。前沿研究要有长处，系统开发要无短处。」
AAAI 2019 程序主席、南京大学周志华教授在谈到 AAAI 2019 7700 多篇论文提交量的时候，评论道：
当前主要矛盾是够水平的审稿人数远不足以应付快速增长的巨量投稿数。随便什么高水平会议，几千个投稿涌过去足以冲垮防线。除非不公开征文，否则似乎无解。这是会议机制本身的问题。CS 重视会议的传统形成于 CS 还是小学科的时候，从业者多了之后问题就显现出来了，相对较大的子领域先遭殃。
那么如何改善评审质量参差不齐这一现象呢？
之前，CVPR 2019 程序委员会发布了一个关于如何写好 CVPR 论文评审的教程：《How to Write Good Reviews for CVPR》，对论文评审的工作或许具备普遍意义。该教程从评审人工作的重要性、论文决策流程、如何写好论文评审意见等方面展开。
此外，ICML 2019 程序主席之一 Ruslan Salakhutdinov 教授在 Twitter 上表示为了鼓励可复现性和高质量的论文提交，今年 ICML 的程序委员会在论文提交上作出了三项改变：
设置了论文摘要的提交 deadline，2019 年 1 月 18 日。只有提交了合适摘要的论文才能被允许提交 full paper，并且占坑性质的摘要将会被移除，重点提一下，标题和摘要都不能有 test、xyz 这样的占位符。提交的摘要不合格的话就不能提交 full paper 了。full paper 的提交 deadline 是 2019 年 1 月 23 日。
今年，在 full paper 提交的 deadline 之后，不会再有修改的机会了。
最后，为了促进可复现性，委员会鼓励提交的论文附带代码。他们设置的提交形式包含了两种可选的补充文件：常规的附录和代码。结果的可复现性和代码的易用性将作为论文接收和进一步决策的考虑因素。
目前来看，社区对学术会议评审问题的关注起到了一定好的影响，学术会议程序委员会也在想办法从多个层面改进同行评审的质量。我们期待学术研究越来越好。
性别平权
根据斯坦福 AI Index 2018 年度报告，针对美国 AI 课程的注册情况调查显示，斯坦福大学 2017 年的 AI 课程注册学生中男性占 74.45%，ML 课程注册学生中男性占比 75.91%；伯克利 2017 年的 AI 课程注册学生中男性占 73.37%，ML 课程注册学生中男性占比 78.67%。顶级计算机科学学校的 AI 教授中男女比例是：4:1——来自 UC 伯克利、斯坦福、UIUC、CMU、UC London、牛津、苏黎世联邦理工学院的教授中 80% 为男性。
图源：斯坦福 AI Index 2018 年度报告（http://cdn.aiindex.org/2018/AI%20Index%202018%20Annual%20Report.pdf）
而在对 2017 年美国 AI 职位的调查中，高达 71% 的职位申请者是男性。
图源：斯坦福 AI Index 2018 年度报告（http://cdn.aiindex.org/2018/AI%20Index%202018%20Annual%20Report.pdf）
过去这一年，学术界并不平静。尤其是随着全球 #metoo 运动的不断发展，学术界爆出大量内部性别歧视、性骚扰的案例。NIPS 大会的名字由于带有情色意味，引起了众多社区成员的反对。在经历了官方调研、社区抗议等事件后，NIPS 大会终改名为 NeurIPS。NIPS 大会事件持续了好几个月，引起了 AI 社区的大量讨论和关注。这件事不仅改变了让人不舒服的名字，也提醒社区成员注意自己在学术会议上的行为，学术会议应该是友好开放的，而不应因为某些人的不当行为导致另一些人的痛苦。此外，NeurIPS 2018 也开始在基础设施方面做出改变，如提供托儿服务等便利措施。这些举措无疑在学术界男女平权问题上是有所助益的。
AI 教育、相关职位方面的性别多样化现状或许需要很长时间、多方面的努力才能改变，但学术顶会的这些改变及其所引发的积极影响将会对前者大有裨益。斯坦福大学李飞飞教授创立非营利性公益组织 AI4All，致力于提高人工智能领域的多样性和包容性，让少数群体（包括女性、亚裔、非裔等）都能参与到 AI 的研发过程中。斯坦福以人为中心的 AI 计划（HAI）表示：「AI 的最终目的应该是增强我们的人文性（humanity），而不是削弱或取代它。」
技术与人文未来会怎样，我们不知道。但在重视技术的同时，追求人文性、追求人与人（不只是特定部分的人）之间更融洽地相处与合作依然必不可少。
参考文章：
