编者按：随着人工智能的飞速发展，相关领域学术会议和期刊的投稿量剧增。面对大量良莠不齐的学术论文，研究人员又该秉承什么理念来撰写、评审相关领域的学术论文？以及在“破四唯”、工业界研究异军突起等新形势下如何调整自己的科研工作呢？为此，VALSE Webinar 2020-18期邀请了李宏东 (澳大利亚国立大学)、梅涛 (京东)、山世光 (中科院计算所)、杨明玄Ming-Hsuan Yang (美国加州大学Merced分校)、张磊 (微软公司美国)等五位领域专家，在欧阳万里 (悉尼大学)的主持下，围绕6个议题开展了深入探讨。本文是该次Panel讨论的文字实录。
一万个人心里有一万个哈姆雷特，对于写论文每个老师都会有一些自己的观点，各位嘉宾是否有要补充的内容？
梅涛：第一个观点是养成一个良好的论文写作习惯是非常重要的。很多时候论文不是“写”出来的，论文的写作应该贯穿于日常的生活和工作当中，要养成一个有深度、有系统性思考的习惯，并且可以随时把论文的想法和试验结果记录下来，同时这些也是证明原创的证据，所以对一个问题的思考的深度决定了论文接收的概率。有些同学养成一个不太好的习惯，临到deadline之前最后几个礼拜才开始写作，从实验结果来倒推思考工作的起因和定位，来思考工作的意义和价值，这种工作方式我是不太认可的，我觉得某种程度上这是一种“机会主义者”，这样的研究态度也是不容易走远的。所以每个人都要有自己的research agenda，养成良好的工作和论文习惯，不要因为一两次论文被拒就改变你的长期计划。
最后一个观点是论文要极致精炼，要有准确的定位，阐述要尽量简洁，要有一个比较深度的洞见。写论文的话，一篇论文只要有一个中心就可以了，超过一个中心的话就要写成两篇论文。如果一句话不能够总结出自己的工作，那就回去再好好想想，包括我自己的很多学生也存在这个问题：老师问这个工作到底是什么，他描述了十几分钟都不能够表达的很清晰。所以如果不能够用简单的一句话来表达你的中心思想，不能够非常精炼地去讲述你的内容，那只能说明你的思考深度还不够，凝练的精度还不够。
李宏东：我很少总结过写作心得，但我感受最深的一点是：作为作者，同时也是审稿人，同时也是community的成员，我们有多重身份，当然更多的是读者，因为要读其他人的文章。写一篇文章不包括research的时间可能只花两三个月、三四个月，但是你要意识到这篇文章在杂志、会议要存在10年、20年，很多人都要去读，从这个意义上来说，写的时候要非常用心。怎样让文章变得更容易被理解，能够让读者受益，在写的时候应该时刻站在读者的角度。当然，首先可能考虑的是审稿人会不会喜欢，会不会挑缺点，但是长远来看，更应该为这个论文着想，想一想这个文章是否真的有启发性，是否有影响力。只有每个人都这样去想，整个学科才会比较健康地发展。这算不上什么心得，也许这就是一种秘诀，一种如何把文章写的更有意义的秘诀。
张磊：写论文是科研工作里很重要的一部分，不要把它完全割裂开，但是也不要把它本末倒置，研究工作还是更重要的。我认为每个人心里应该有一个长时间、持续最想解决的问题，所有的工作应该是由这个信念去驱动的，只是在做的过程中需要把你的工作做一个完结，做到一定程度把它打一个包呈现给大家，这实际上是反映研究工作进展的一个非常好的方式，我认为大家写论文的目的应该从这种角度出发。
02
中国学生写论文最容易犯的毛病有哪些？
杨明玄：有些学生对单词的真正意思不是很清楚，还有比如说 culture也不是很清楚，所以有些人认为一定要讲excellent的词才会让别人印象深刻，其实不见得需要这样，用很多不需要的形容词反而会让大家觉得很反感。只要你研究的结果、数字摆在那边，大家就会去看了。写的时候要小心，不要讲别人不好，哪个方法fail或doesn’t work都是很刺耳的，可以用不同的表达方式比较圆滑一些，不要讲outperform别人的方法a large margin之类，不要讲很夸张，只要很朴实地去写论文就可以了。有些字的真正意思要了解，用词要小心一点，不要用错字，基本上那些equation没什么问题了。另外有些人不注重论文中图的美感，他觉得functional够就可以，但其实不见得，跟写文字一样，每件事情都要很小心，甚至文章中的图，旁边的边white space不要太大，这都是一些问题。只要你能把它做得更好就做得更好，不要着急，那种很死板的写出来的文章是很失败的，我觉得这个很重要。
如果讲常见错误的话，我觉得还是有好些常见的错误的，在slides的FAQ中，因为我每次改完以后就发现怎么大家都一样，怎么出类似的错误呢？还是说大家的想法都是很类似的？所以后来我觉得要整理一下，每个学生我要改同样的错误我受不了。不过我基本上觉得学生写的还好，只是说常见的问题就是比较冗长，不是很简洁，读起来就很无聊，还有用错字，基本就是这样的。
李宏东：这个问题是中国学生写论文最容易犯的毛病，我手下的博士生有中国学生也有本地学生，可能大家都有一个误区觉得中国学生由于语言习惯的问题，英语不是母语，在写作上会吃一些亏。凭我自己的观察，这个断言在十几年前、二十几年前刚刚来的那些中国学生是有这样的特点，但是我相信大家也都观察到最近CVPR的中国第一作者的比例应该已经超过了50%，这是一个大致的估计。从录取的文章上看，已经不太容易区分是中国作者还是国外作者写的。而真正是非英语为母语的国家比如说西班牙、意大利的作者，并不见得有英语的优势，这可能是我们以前的一个误解。我想表达的是现在大家的英语写作水平都提高了，反而要真正关心的是在文章内容的逻辑连续性上。有的时候尤其是一年级的中国的PHD学生刚刚开始，我发现要花比较大的精力手把手地教学生，当你前面确认你要做这个，后面要有验证，要做一个总结。这种逻辑思维的习惯、逻辑推理的习惯是要重点训练的。当然同样的情况，通过半年、一年的训练，第二年基本是要学生放手去写的，因为他有这样一个长进。也许国内的培养训练的过程，尤其在硕士或者高年级的本科生的阶段，这些严谨性、逻辑性要加强一些。当然，一般来说我不认为中国学生有什么要特殊注意的地方，人人都有这个缺点。
03
做科研和写论文的关系是什么？为什么要写论文？
张磊：我认为写论文是科研工作的一个组成部分，需要通过写论文的过程对自己的工作有一个提炼和总结，没有论文的话，科研工作很难是非常完整的。我不知道大家有没有意识到很多教科书里面大家看到的非常简单的定理和证明，背后都是由论文一个一个串起来的。在人类历史中，尤其是近二三百年的历史中，整个科研的过程是靠论文的发表和促进交流，一点点把研究结果累积起来的，所以论文是非常重要的一个过程。
另外我想强调的一点是写作实际上是在输出知识，做实验也是一种知识往外的输出，你只是在脑子里面想有时候不见得能想清楚。如果说我们理解一个方法或者一个问题，最好的方式就是给别人讲一遍，这是能检验你是不是对这个问题真正理解的方法。论文写出来也是对研究工作的一个考验，你认为的这个创新点能不能把它写下来，然后有足够强的证据来支撑它，包括实验，包括逻辑上是不是有足够强的能够让人比较信服的点，我觉得这是非常重要的训练过程。
梅涛：我非常同意张磊老师的观点，写论文只是科研中的一个环节，但是是很重要的一个环节。通常我们讲到科研是一个很长的链条，就像在我们做供应链一样，包括你的idea是怎么产生的；idea产生之后要做一系列的调研，要清楚的知道自己的位置，同时要做很多的实验去验证你的想法；然后实验如果好的话，你要把它完整的、有逻辑的写出来；写完论文之后，如果论文得到发表，你要去会议上跟同行交流，吸收更多的观点，认识朋友形成自己的朋友圈，回来之后再去形成一个新的idea。这就是一个闭环，这是一个很长的训练过程，而论文的写作作为其中的一个环节是不可或缺的。论文是我们学者的一个产品，当然现在我们还有很多其他的产品，比如可以写成technique report，可以arXiv，也可以把自己的code在github上面去publish让别人在community里面去使用。但不管怎样，论文是一个非常好的能够证明你自己的领域、能够有自己的identity和标签的作品，通过论文还可以跟世界上很多顶尖的学者进行交流，也能够促进自己有一个比较好的影响力，所以写论文是科研非常重要的一个环节。
另外，论文的写作是思想高度凝练的过程，是培养我们自己系统性思维的过程，也是深度思考的过程，所以我认为写论文是一个非常重要的训练过程。而且，我觉得很少有人，特别是年轻的学者和在读的学生们，心理上能够承受一年、两年甚至好几年都没有成果、都没有论文发表的过程，所以论文的写作和发表也是逐渐积累信心的很有必要的东西。
04
李宏东：的确，工业界越来越成为人工智能和计算机视觉研究的主力，并且凭借计算资源，数据和人力的优势，“碾压”大学等学术机构。对于这种现象，从学校方面来说，首先应该是要承认、接受并且拥抱这种变化，实际上是好事，如果有谷歌和微软加入，对整个学科的发展绝对是一件非常正面健康的事情，事实也的确这样，谷歌有更多的TPU、GPU，有更多的数据，FaceBook有数据。学校一方面要跟企业合作，一方面要意识到直接的竞争是不可能的，就像打仗一样，你不可能拿你的弱点跟对方的长处去比。但是学校有学校的长处，学校有更多选择课题的自由，更多的灵活性。我知道现在大家尤其是学生发论文有压力，但是至少在学校里如果你两年不发文章，你的老板不会把你怎样，毕竟博士要读四五年，通常也没有具体明确的文章的数目，所以在这个意义上可以充分利用这个优势做一些更加长远的计划，做一个2年、3年才能完成的研究。按照我的理解，虽然我没有工业界的经历，但是在工业界总会有一个KPI的压力，6个月发文章，我的学生在腾讯都有这样一个KPI，那有可能是个缺点。
杨明玄：在工业界里面除了一些小团队以外，基本上不是以publication为主的，因为就算在谷歌、FaceBook和贝尔实验室里面，大家都知道只有一小部分focus在publication上面。谷歌里基本上不会说以publication为主，它还是以product为主。当然，你做research它不会反对你，因为你的resource相对来讲不会那么多，它们还是希望做product比较多，当然谷歌有很多部门，而且研究人员很多，所以整体来看论文很多。但以个人角度来看，不是那么多，所以不同的人做不同的事情。在工业界很少会同一个问题做很久，所以没有连续性，这是很直接的东西，大家应该都蛮清楚这一点的。当然，在学校里面可以一直做一些问题，只要你老板同意的话基本就没什么问题，但是在工业界就不太一样，他们会集中精力在一些problem上面，不是说你要做什么就可以做什么。当然，有些题目最好在工业界做，因为需要大量的TPU和GPU，所以那些问题你在学校就很难做，比如NAS，不过在学校还是有人做，如果你想做的话还是可以想出一些方法来解决，只是说会比较辛苦一点。我只能看的出来连续性，工业界基本上会把一个东西做的很精，它要做到product，所以它有很多detail focus在那边，publication的话只要有idea，之后很多人会觉得说engineering work，然后就可以去做，然后就可以move on to next paper，在工业界的话就很难了。每个人喜欢做的事情不一样，所以各有好处。
梅涛：不管我们在哪里做研究，追求的都是同一个东西，就是impact，这个impact有很多维度来衡量。以前在微软，或是在京东，我们衡量impact同时有很多角度，通常主要会看两个角度：一个角度就是你的技术的长期领先性，就是说如果你claim做基础研究的话，那么你的研究是不是领先的，是不是在探索一个非常新的方向，给学术界很多的insight，有很多人follow你的工作（也就是pioneering或seminar的工作）；第二个角度是你的研究是否可以在某个阶段能够成为一个产品，这个产品被很多客户或消费者来使用，进而产生了巨大的商业价值。我觉得这两个维度是今天特别是在工业界的一个研究员是不是做的很好的重要标志。当然，很多时候我们也看到一些人可能在两个维度上都做的很好，可能走的是中间45度的一个夹角，这些人是非常幸运的。
在工业界，我们做的研究通常是场景驱动或产品牵引，所以在工业界我们更关注的是12个月、18个月以后的产出，特别是我们现在做computer vision实际上是比较偏应用的一个领域。在高校和科研院所，我建议可以更多关注一些非常基础的、本质的研究，在高校通常有很多不同的学科，因此如果可以做一些跨学科的、交叉学科的研究，往往是可以带来很大的技术突破的；而这种研究在公司里是很难去完成的。如果高校里面过多地去关注一些应用型的研究，就是用自己的短板去跟别人的长处来竞争了。
另外，通常很多人认为在工业界里面有很多的大型的GPU集群或者计算资源，其实我看到的情况反倒不是这样的，因为在公司里面用的每一台机器都是有成本核算的。我反而看到很多学校在做一些超级计算中心，这些中心里面有很多非常powerful的机器和海量存储，这个反而是在工业界也非常稀缺的资源。所以我建议研究机构可以多建一些这样的super computing的中心，并且请专业的人来管理运营，这样老师和学生们都有很多资源，也是可以在某种程度上“碾压”工业界的。
山世光：我认为现在学术界确实到了一个需要反思自己该如何去和工业界进行区分性研究的时候了，因为在现在这样一个阶段，工业界也做了非常多的应用性甚至是基础性的研究，但是我认为工业界和学术界的导向还是有差异的，工业界更多的应该是应用和产品导向的，而学术界更多的应该是产生新知识为目标的一些工作。所以，对学术界来说，不应该再去做那种已经被证明了的工作，比如堆大数据、用大的算力等等，这些可能直觉去想就会work，就能够带来效果，这样一些工作也许就不太适合学术界去做，学术界应该更多地去考虑比如是不是所有的training，包括NAS，都必须要有大规模的集群才能够去做？有没有更elegant、更加高效的做法？包括我们需要去反思数据驱动的方法，这类靠钱、靠资源、靠算力来解决的问题，也许比较适合在工业界，而对学术界可能需要更多地去类比人、去借鉴人脑的一些特征，去寻求能够媲美大数据、大算力的新方法。简单总结一下，我认为学术界更多的要去做探索新可能、产生新知识的工作，一方面是利用已有人类知识，另一方面是要产生新的insight、新的知识，这样的一些工作才是学术界应该更多关注的。
05
期刊的分区、影响因子、行业内的口碑认可度这三者该如何权衡利弊呢？比如IJCV今年分区降到了二区，影响因子也降到了6以内，但尽管如此，它仍然是CV领域公认的期刊，投稿录用难度也大于其他一些一区期刊。再比如CVIU，业界认可度也比较高，但是三区影响因子较低，录用难度也高于其他三区期刊甚至一些二区期刊。像这样的期刊，和其他的一些期刊相比，是不是投稿的性价比较低呢？
张磊：这些会议或者期刊来说影响力因子在做计算机视觉的同行里面基本上都是顶级的会议或者期刊，但是这几年大家倾向于往会议上发表，因为所有的工作，希望快速得到反馈，甚至于大家还没有发表，就先把它放到arXiv上，这个都已经成为一个趋势了，大家都在追求快速的迭代。某种情况下来说对整个领域的进展速度有促进作用，应该是一个好的趋势。期刊的好处是可以把你的工作更好地去总结，能够扩展，做得更完善。因为在论文评审中有评审的限制，没有办法要求你做major revision，在期刊的过程中实际上有这样一个机会，可以有一个完善的过程，这两个有互相补充的作用。但是我认为总体能看到这个趋势，会议在超过期刊的影响力的，尤其是在计算机视觉这个领域，或者AI有关的会议领域，其他领域期刊还是起了很重要的作用。
另一方面这个会议之所以变得影响力越来越大，也是一种研究模式的转变，大家在往deadline driven的这种研究模式发展的一个过程，因为会议总是有一个确定的截止日期。很多同学或者一些实验室，基本上被一个会议周期一个会议周期去驱动着做，其实不需要你的导师或者其他的人来强迫你一定要完成，因为他有自己足够大的动力要把这些工作完成的，所以希望第一时间发在大家最关注的会议上面。
山世光：首先我的感觉还挺奇怪的，为什么IJCV的影响因子和PAMI的影响因子之间差距会变得这么大，PAMI的影响因子好像变成了17，IJCV不升反而降到了7以下，我非常怀疑是不是影响因子的计算方法本身有问题，也就是评价本身出了问题。当然，我不完全了解这个影响因子的计算方式是什么，好像与期刊过去一年文章的被引用数和文章数等等相关。如果我没记错的话IJCV应该是双月刊，它的文章数相比PAMI是要少很多的，不知道影响因子是否与这个有某种隐秘的关系。从我个人的感觉来说，IJCV和PAMI没有那么大的差距，绝对不是说几倍的影响力的差距，而应该是差不多平起平坐的。现在出现了这样的问题，我们作为业内人士，应该去怀疑或者去质疑这个影响因子的计算方法本身是不是有问题，而不应该让我们的同学、老师觉得好像IJCV不行了，我不这么认为。
06
在当前倡导破四唯的导向下，写论文不重要了吗？清理“唯论文、唯职称、唯学历、唯奖项”俗称“破四唯”。
张磊：写论文本身还是非常重要的一个过程，是研究的一个重要组成部分。破四唯的问题比较复杂，这是一个评价体系的问题，怎么去衡量一个评价体系的智慧，这是能不能对研究人员提供足够大的空间、提供足够大的信任情况下，允许大家比较自由地做研究。如果这个评价体系不能改变的话，大家还是要被驱动着发更多的论文，因为论文是最容易被数出来的，而论文的质量是在同行每年的peer review，即使是评oral或poster，你也很难在当时评价出来，这更需要同行的智慧去集体的评价标准，这个更重要。不是论文不重要，而是这个评价体系，因为大家都是在一个学术团体里面，需要一起来努力做一些改变。
山世光：这确实是一个比较复杂也比较敏感的话题，但是我的基本观点是论文还是非常重要的。从评价体系的角度来讲，关键在于我们不能拿同一套标准去评价所有类型的科研人员，因为确实科研人员是有不同属性的，有些属性的科研人员可能更多的会去解决工程技术问题，有些则是从事非常非常偏基础的研究。不同属性的科研人员的评价标准应该是不一样的，我们应该鼓励多元化的评价方法。有些科研人员能把一个新的系统创造出来，新的设备做出来，这对科学社区来说同样非常重要，也许他的评价体系就不应该是论文。但是如果是偏基础研究的话，论文的重要性是显而易见的。例如，如果没有Yann LeCun在80年代末期发表的convolutional network的工作，没有在这之前Fukushima在1980年发表的Neocognitron，没有他们这样的一些论文的发表的话，包括没有AlexNet在2012年非常清晰的发表的话，我想我们也不会有今天这么火热的AI的第三次热潮，所以论文肯定是非常非常重要的一个角度，重要的是我们怎么去用它来作为一个评价的标准。
当然，破四唯对大家的一个警示我认为是确实不能简单地拿数量来作为一个评价的方法，而更多的要去考虑这个论文的实质影响力。这种影响力可能体现在它被同行关注的程度，比如被引用的情况；也包括它对于学科的完备性所做的贡献，比如它是不是被写到了教科书里作为一个基础的知识来被广泛地采纳了；以及它是不是能够给别的研究者带来一些启示，有更深刻的insight，启迪了更多的工作，比如说Fukushima的Neocognitron和Yann LeCun的convolutional neural network，可能关注Fukushima的人没有那么多，但是他的论文确实启发了Yann LeCun的CNN的提出，本身价值也是不可估量的。
所以，特别是对青年学者和研究生来说，可能需要逐渐地去过渡到一个代表作文化，从过去数多少篇文章到大家去看业内的同行提起来你会想起你的什么工作，就像一杆旗一样插在你的后背上，看你的旗子上写了什么工作，看到你就能想起来你的这个工作。我认为这样一个代表作文化会越来越重要。包括像计算机视觉专委会现在评新锐奖，评奖委员会也已经在贯彻这种文化和评价理念，我们希望申请人就讲一个自己的代表作是什么，这个代表作怎么影响了相应的community，如何对这个学科的发展做出了贡献等等，从这些维度来看可能会变得越来越重要。
简单总结就是“破四唯”有对的地方，但是我们要去看它在现实的评价体系里面如何应用，包括如何体现多元化，包括我们希望说不是唯论文，但是唯优秀论文恐怕没有错。
