Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

机器之心
机器之心原创
杜伟、陈萍机器之心报道

现有同行评审太慢！PeerXiv新平台：5位审稿人1个月出结果，网友：早该有了

PeerXiv！一种全新的学术论文评审方式。

众所周知，等待同行评审的过程是很煎熬的。

自己辛辛苦苦写的论文，又是做实验，又是写报告，精益求精地润色每一句话…… 写完论文已然是一个耗费精力的活，但提交的论文同行评审结果迟迟没有消息，有时自己都会怀疑编辑是不是忘了我的稿件。你唯一能做的就是：等。

到底多长时间才能收到同行评审人和期刊编辑的反馈？据了解至多约为 3 个月（研究表明，同行评审通常平均需要 7 到 12 周），但很多变量会对时长造成影响。

假如现在重新设计同行评审会是什么样子？同行评审是研究社区的基石之一，然而，在社区不断进步和发展的同时，评审过程几乎没有变化。

现在，是时候尝试重新审视同行评审了。

一群研究人员利用业余时间设计和开发了 PeerXiv 平台，通过该平台审稿过程只需一个月。我们先来看下 PeerXiv 审稿结果，一篇论文有 5 个评价指标，评审结果会综合这 5 个指标给出平均分数。我们还能看到 5 位审稿人的打分情况。

图片

地址：https://peerxiv.web.app/dashboard/papers

该平台的研究者包括计算机视觉研究者和爱好者 Elad Richardson、计算机视觉和 ML 研究员 Kfir Goldberg、特拉维夫大学计算机科学专业硕士学生 Yuval Alaluf，以及 Nofar Menashe。

图片

这一平台的推出，收到众多好评，网友不禁感叹：太需要这种平台了，这种利好广大研究者的东西早就该有了，目前的同行评审体制完全是一团糟。

图片

不过也有人提出担忧：这个平台看起来很整洁，同时我也非常担心，我怀疑这个平台的评审结果会不会偏向比较出名的研究者。此外，一旦人们开始花时间审查 PeerXiv 提交的内容，这会不会完全破坏其他出版机构的审查流程？换句话说，具有盲审流程的机构是否允许人们将他们的论文提交给 PeerXiv？

图片

也有网友表示：该平台如何保证提交的论文质量，以及如何让高 H 指数的人利用他们的空闲时间来审查？同行评审低效的部分原因是提交的内容太多，而具有资格进行评审的人太少。
图片
对于大家的疑问，PeerXiv 网站整理了几个大家比较关心的问题，大家可以前往查看。

PeerXiv 评审：快速、透明和奖励

PeerXiv 是一个现代化的同行预印本评审平台。论文作者可以提交他们的预印本，并直接从一组匿名的 PeerXiv 审稿人那里获得反馈。同时，审稿人会根据他们的工作获得声誉分（reputation point）。
图片
PeerXiv 的设计遵循以下三个原则。

首先是快速（Fast）。当前的同行评审过程往往让论文作者苦等数月才能收到反馈。PeerXiv 在论文提交后的一个月时间内就可以为作者提供有用、详细的反馈。
图片
其次是透明（transparent）。创建者认为，论文作者和审稿人理应得到一个可访问、透明的审稿流程视图。PeerXiv 对每篇提交论文的状态以及作者、审稿人和整个系统的统计数据都会提供详细的信息。
图片
与此同时，PeerXiv 不提供接收 / 拒绝分数，而是在多个评价指标的基础上对论文进行清晰的评估。具体地，5 位审稿人被要求按照 5 分制、5 指标的评价系统对每篇论文进行打分，这 5 个评价指标分别如下：

  • 新颖性（Novelty），论文主要贡献的原创和新颖性；

  • 重要性（Significance），论文对研究社区及其他的影响度；

  • 复现性（Reproducibility），复现所提方法和评估的难易度；

  • 验证性（Validation），论文中所提评估和比较的彻底性；

  • 展现性（Presentation），论文动机和思路的展现和组织度。

图片
最后是奖励（Rewarding）。审稿人是每篇论文评审过程的核心，他们的工作理应得到奖励。声誉系统（Reputation System）是 PeerXiv 对审稿人工作给予认可的方式。
图片
PeerXiv 的审稿过程

PeerXiv 审稿过程仅需要一个月，对于论文作者和审稿人都很直观。

论文提交（Paper Submission）

作者可以在 PeerXiv 提交现有预印本以供评审。论文可以随时提交，并将立即被添加到评审池（reviewing pool）中。

论文投标（Paper Bidding）

审稿人标记自己觉得有趣的论文。PeerXiv 还将提供匹配分数（match score），帮助审稿人找到与自己专业知识匹配的论文。在投标之前，审稿人还可以看到自己评审论文所获得的声誉。

论文 Assignment

每周的周二和周三，PeerXiv 平台将尝试将论文与审稿人匹配，并根据他们的专业知识和经验来创建一个多元化委员会。评审通常由 5 位审稿人完成，提供更值得信赖的流程。并且，审稿人整个过程中将匿名进行。

初评审（Initial Reviews）

PeerXiv 的目的不是提供一个简单的接收 / 拒绝分数，而是提供一个基于 5 个评价指标的清晰评估，上文中已经提到，它们分别是新颖性、重要性、复现性、验证性和展现性。

审稿人讨论（Discussion）

在得出初评审之后，审稿人之间将展开讨论，互相听取意见并完善最终评审。初始和最终分数都将呈现给论文作者和公众。

作者回应（Author Response）

审稿人提交最终评分之后，论文作者有机会根据需要对评审意见进行回应。作者回应将与评审意见一块呈现。需要注意，PeerXiv 中没有设置 rebuttals/camera-ready 步骤。PeerXiv 根据提交的预印本进行评审，论文作者可以再次提交新版本。

发表（Publication）

至此，评审过程结束。论文和相应的评审意见将出现在 PeerXiv 的首页上，并显示最终评分。高分论文将由 @peerxiv 自动发表，以提供进一步曝光。

详细流程图如下。
图片
创建者表示，PeerXiv 目前只是一个模拟（mock），展示了他们对同行评审系统的全新愿景。

参考链接：
https://peerxiv.web.app/about
https://www.reddit.com/r/MachineLearning/comments/uuhy4e/n_introducing_peerxiv_a_modern_platform_for/
工程PeerXiv 平台同行评审
相关数据
计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心
推荐文章
登录后评论
暂无评论
暂无评论~
返回顶部