自然语言处理领域顶级会议 ACL 将于 7 月 28 日至 8 月 2 日在意大利佛罗伦萨举行。日前,ACL 2019 已经向论文作者发放通知,希望投稿 ACL 2019 的读者们的论文能够上榜。
最大规模NLP会议
3月份时,ACL 官方公布了今年大会收到的投稿数量 ——2906 篇,相比于去年的 1544 篇出现了大幅增长。ACL 2019 也毫无争议地成为了目前规模最大的一场 NLP 学术会议。
下图展示了近 20 年来 ACL 大会论文投递数量、评审人员数量和(高级)领域主席数量变化趋势图。
图源:http://acl2019pcblog.fileli.unipi.it/?p=156
除去撤回论文等,ACL 2019 共收到有效论文 2694 篇,包括 1609 篇长论文和 1085 篇短论文。下表展示了各领域的提交论文情况:
其中提交论文数量位列前三的领域与ACL 2018一致:
信息提取与文本挖掘(占 ACL 2019 有效提交论文总数的9.2%,去年该领域论文所占比例为11.5%);
机器学习(8.2% ACL 2019 vs. 7.4% ACL 2018);
机器翻译(7.7% ACL 2019 vs. 8.3% ACL 2018)。
「对话和交互系统」在两届 ACL 会议上都在前五之内。但是,去年提交论文数量排第四的「文档分析」今年掉到了16位,去年以59篇论文排名14位的「生成」领域今年以156篇提交论文数量一跃而至第5名(该领域提交论文数量增长率甚至超过了大会总的增长率)。此外,「语言学理论、认知建模和心理语言学」(Linguistic Theories, Cognitive Modeling and Psycholinguistics)领域也有很大增长,从去年 24 篇提交论文发展到今年的 60 篇提交论文。
总体而言,各个分支领域的提交论文分布较为平均,如下图所示:
图源:http://acl2019pcblog.fileli.unipi.it/?p=152
惯例:被吐槽的评审
学术会议接收到的论文越来越多,论文评审不可避免地成为了一大难题。事实也证明,每个AI学术大会,都会被或多或少吐槽「评审不专业」、「混乱」等。
如前文所述,ACL 已经成为自然语言领域学术会议的龙头,投稿过量的情况下论文评审难免被诟病。
先不说评审质量,今年的 ACL 论文结果的通知就比既定时间晚了数个小时,让一直侯在电脑前等结果的作者们「心慌慌」,ACL 2019 官方 Twitter 下就有网友表示「8 个小时的等待快把我逼疯了」。
最后,官方也给出了推迟的原因,「通知延后是因为 START 系统技术问题。我们不确定通过这个系统邮件联系作者是否有用。我们正在处理,请作者们耐心等候。」
当然,这只是一个「小意外」,最重要的还是论文评审质量的反馈。emmm,小编今天一早打开 Twitter,首先映入眼帘的就是 ACL 2019 的信息,有的作者在庆祝自己的论文被接收,有的就在吐槽了,也有部分作者考虑改投 EMNLP 了。
其实,面对今年如此巨大的提交论文涨幅,ACL 2019程序委员会也采取了一系列措施,以更好地执行论文评审过程。
据官方介绍,ACL 2019 在项目委员会(Program Committee)之上开设高级项目委员会(Senior Program Committee),并为高级项目委员会招募大量高级领域主席(SAC,共 46 位,每个领域 2-4 名)和领域主席(AC,184 名,每个领域 3-15 名)。
其中,SAC 向 AC 和评审人员分配论文,并给出自己领域内的推荐;AC 则各自管理自己领域内的一小部分论文,领导评审人员之间的讨论,写 meta-review,并给出最初的论文推荐结果。这一结构对缺乏有经验的评审者这一问题提供了一些作用。AC 集中看一小部分论文,因此可以更加关注评审流程。而 ACL 2019 共招募了 2281 名评审人员,相比于去年的 1610 名增长了42%。
此外,ACL 2019 还做了一些流程上的改变:
放弃了 paper bidding 阶段。这个阶段会占用数天时间,鉴于今年的论文数量,这一过程会更加耗时。此外,大会还担心评审人员倾向于选择自己喜欢的论文,而不是选择自己有资格评审的论文。大会计划使用 Toronto Paper Matching System (TPMS) 为评审者分配论文,但这个系统的效果不如预期。SAC 在这一过程中做了杰出的工作,不过这个任务显然需要更好的自动化支持。
和 NAACL 2019 一样,ACL 2019 取消了作者回应阶段。作者回应最初旨在改进评审流程,但非常耗时(不仅是作者的时间,还有评审者和领域主席的时间)。
ACL 2019 采用了更加简单的评审形式,既鼓励严谨的评审,又减轻了评审人员的工作负担,更加强调决策过程中的关键点。
目前,ACL 2019 的完整论文列表还未公布,因为尚不知道接收率等数据,机器之心会持续关注最新消息。截止到大会结束的这段时间,我们也会为大家推送优质的 ACL 论文。如果有读者的论文被此大会接收,也可以留言给我们,我们会选择一些论文推荐给广大读者。