众所周知，等待同业评审的流程是很煎熬的。自己辛辛苦苦写的论文，又是做实验，又是写报告，精益求精地润色每一句话…… 写完论文已然是一个耗费精力的活，但提交的论文同业评审结果迟迟没有消息，有时自己都会怀疑编辑是不是忘了我的稿件。你唯一能做的就是：等。到底多长时间才能收到同业评审人和期刊编辑的反应？据了解至多约为 3 个月（研究表明，同业评审通常平均须要 7 到 12 周），但很多变量会对时长造成影响。假如现在重新设计同业评审会是什么样子？同业评审是研究社区的基石之一，然而，在社区不断进步和发展的同时，评审流程几乎没有变化。现在，是时候尝试重新审视同业评审了。一群研究人员利用业余时间设计和开发了 PeerXiv 平台，通过该平台审稿流程只需一个月。我们先来看下 PeerXiv 审稿结果，一篇论文有 5 个评介目标，评审结果会综合这 5 个目标给出平均分数。我们还能看到 5 位审稿人的打分情况。
地址：https://peerxiv.web.app/dashboard/papers该平台的研究者包括计算机视觉研究者和爱好者 Elad Richardson、计算机视觉和 ML 研究员 Kfir Goldberg、特拉维夫大学计算机科学专业硕士学生 Yuval Alaluf，以及 Nofar Menashe。
这一平台的推出，收到众多好评，网友不禁感叹：太须要这种平台了，这种利好广大研究者的东西早就该有了，目前的同业评审体制完全是一团糟。
不过也有人提出担忧：这个平台看起来很整洁，同时我也非常担心，我怀疑这个平台的评审结果会不会偏向比较出名的研究者。此外，一旦人们开始花时间检察 PeerXiv 提交的内容，这会不会完全破坏其他出版机构的检察流程？换句话说，具有盲审流程的机构是否允许人们将他们的论文提交给 PeerXiv？
也有网友表示：该平台如何保证提交的论文质量，以及如何让高 H 指数的人利用他们的空闲时间来检察？同业评审低效的部分原因是提交的内容太多，而具有资格从事评审的人太少。
对于大家的疑问，PeerXiv 网站整理了几个大家比较关心的问题，大家可以前往查看。PeerXiv 评审：快速、浑浊和惩罚PeerXiv 是一个现代化的同业预印本评审平台。论文作家可以提交他们的预印本，并直接从一组匿名的 PeerXiv 审稿人那里获得反应。同时，审稿人会根据他们的工作获得荣誉分（reputation point）。
PeerXiv 的设计遵循以下三个原则。首先是快速（Fast）。当前的同业评审流程往往让论文作家苦等数月才能收到反应。PeerXiv 在论文提交后的一个月时间内就可以为作家供给有用、详细的反应。
其次是浑浊（transparent）。创建者认为，论文作家和审稿人理应得到一个可访问、浑浊的审稿流程视图。PeerXiv 对每篇提交论文的状态以及作家、审稿人和整个系统的统计数据都会供给详细的信息。
与此同时，PeerXiv 不供给接收 / 拒绝分数，而是在多个评介目标的基础上对论文从事清晰的评介。具体地，5 位审稿人被要求按照 5 分制、5 目标的评介系统对每篇论文从事打分，这 5 个评介目标分别如下：
新颖性（Novelty），论文主要贡献的原创和新颖性；
重要性（Significance），论文对研究社区及其他的影响度；
复现性（Reproducibility），复现所提方法和评介的难易度；
验证性（Validation），论文中所提评介和比较的彻底性；
涌现性（Presentation），论文动机和思路的涌现和组织度。
最后是惩罚（Rewarding）。审稿人是每篇论文评审流程的核心，他们的工作理应得到惩罚。荣誉系统（Reputation System）是 PeerXiv 对审稿人工作给予认可的方式。
PeerXiv 的审稿流程PeerXiv 审稿流程仅须要一个月，对于论文作家和审稿人都很直观。论文提交（Paper Submission）作家可以在 PeerXiv 提交现有预印本以供评审。论文可以随时提交，并将立即被添加到评审池（reviewing pool）中。论文投标（Paper Bidding）审稿人标记自己觉得有趣的论文。PeerXiv 还将供给婚配分数（match score），帮助审稿人找到与自己专业知识婚配的论文。在投标之前，审稿人还可以看到自己评审论文所获得的荣誉。论文 Assignment每周的周二和周三，PeerXiv 平台将尝试将论文与审稿人婚配，并根据他们的专业知识和经验来创建一个多元化委员会。评审通常由 5 位审稿人完成，供给更值得信赖的流程。并且，审稿人整个流程中将匿名从事。初评审（Initial Reviews）PeerXiv 的目的不是供给一个简单的接收 / 拒绝分数，而是供给一个基于 5 个评介目标的清晰评介，上文中已经提到，它们分别是新颖性、重要性、复现性、验证性和涌现性。审稿人讨论（Discussion）在得出初评审之后，审稿人之间将展开讨论，互相听取意见并完善最后评审。初始和最后分数都将呈现给论文作家和公众。作家回应（Author Response）审稿人提交最后评分之后，论文作家有机会根据须要对评审意见从事回应。作家回应将与评审意见一块呈现。须要注意，PeerXiv 中没有设置 rebuttals/camera-ready 步骤。PeerXiv 根据提交的预印本从事评审，论文作家可以再次提交新版本。发表（Publication）至此，评审流程结束。论文和相应的评审意见将出现在 PeerXiv 的首页上，并显示最后评分。高分论文将由 @peerxiv 自动发表，以供给进一步曝光。详细流程图如下。
创建者表示，PeerXiv 目前只是一个模拟（mock），展示了他们对同业评审系统的全新愿景。参考链接：https://peerxiv.web.app/abouthttps://www.reddit.com/r/MachineLearning/comments/uuhy4e/n_introducing_peerxiv_a_modern_platform_for/
原创文章，作者：机器之心，如若转载，请注明出处：https://www.iaiol.com/news/33471
