地下处刑：研讨者自建Papers Without Code网站，张贴复现不了的论文

在 Papers 「Without」 Code 网站上，复现不了的论文可是要被地下处刑的，作家也大概面临「社会性死亡」。

「无奈复现的论文都是耍流氓。」二十几天前，Reddit 用户「ContributionSecure14」在呆板进修社区疯狂吐槽：「我花了一个星期测验考试复现一篇论文，结果失败了。上网搜了一下才发现，也有其他人说这篇论文的结果无奈复现。」「有没有那种专门列出无奈复现论文的清单？这样可以让研讨者们节省大量时间和精力。」

有人回复道：有一说一，从实际出发的话，列出「可复现论文清单」会更容易一些……

另一位 Reddit 用户写道：「所有论文中大概有 50％-75％是不可复现的，可悲啊，但这却是事实。」现在，越来越多的呆板进修研讨者选择在论文揭晓时同步地下自己的代码，像 arXiv 这样的论文预印本平台也选择与呆板进修资源网站 Papers with Code 合作，支持研讨者在 arXiv 页面上添加代码链接。还有一些顶会（ICML、ICLR、NeurIPS）要求投稿人在提交论文的时候附上代码，以供审稿人测试，确保其研讨结果的可复现性。但这一切仍然不代表论文复现变得容易了。一气之下，ContributionSecure14 创建了一个名为「Papers Without Code」的呆板进修研讨反馈平台，专门挂出那些大家都无奈复现的论文研讨。网站地址：https://www.paperswithoutcode.com/Papers 「Without」 Code呆板进修领域研讨者大多熟悉 PapersWithCode，这个资源网站上托管着 4 万多个研讨的实现代码，但它没有进一步解决「有代码也复现不了」的问题。这个问题或许可以在「Papers Without Code」上找到答案。简单来说，在 Papers Without Code 上，研讨者可以提交无奈复现的呆板进修论文以及他们的工作细节，例如他们花费了多少时间来复现结果。如果提交内容有效，则 Papers Without Code 方面将与该论文原作家联系，并要求其澄清或公布实现细节。论文成功复现后，可以在 PapersWithCode 或 GitHub 上发布，供其他研讨职员参照。如果作家未及时答复，该论文将被添加到「不可复现的呆板进修论文列表」中，地下处刑。  ContributionSecure14 表示：「Papers Without Code 的目标与 PapersWithCode 及整个 ML 社区是一致的。」目前已有几篇论文上榜。

反馈者需要提交包括论文标题、论文链接、提交原因等基本信息。地址：https://papers.paperswithoutcode.com/「这样做的目的是为了节省研讨职员的时间和精力，以免花费成本去复现一篇无奈复现的论文结果，而无奈复现的原因大概是论文没有足够的细节或方法根本不 work。」如果某篇论文「光荣上榜」，论文作家会被第一时间告知，并有机会作出回应。这一机制的建立也是希望能够促进呆板进修社区之间的有效交流，并培养健康的研讨生态。复现一篇论文，有多难？事实上，迄今为止行业内仍有相当数量的优质研讨未能复现。从研讨角度来说，这为后来研讨者基于先驱工作测验考试新的探索带来了一定阻碍。也有一部分研讨无奈复现是因为研讨本身不合格，而不是因为复现者的技术太差。网站创建者 ContributionSecure14 表示：「如果其他人不能以该论文为基础或 baseline，那么地下揭晓的有实证结果的论文毫无意义。」  但他同时也承认，有时候出于某些正当理由，呆板进修研讨者不会地下代码，比如一些作家大概是在内部基础架构上训练他们的模型，或者使用大型内部数据集进行预训练。在这种情况下，受到企业政策的限制，研讨职员无权随论文发布代码或数据。在某些情况下，即使作家将源代码和数据都发布在论文中，其他呆板进修研讨职员仍然很难复现结果。造成这种情况的原因也有很多，比如论文作家大概会从多个实验中挑选出最好的结果，以达到 SOTA 水平；或者使用一些技巧，针对数据集来调整呆板进修模型的参数，以提升实验结果。在这两种情形下，即使结果最终可复现，但因为呆板进修模型针对特定条件过拟合，所以在新的数据上效果往往并不好。可复现问题并不局限于少数的小规模呆板进修研讨团队，即使是那些挥金如土的大公司也常常无奈验证其论文的结果。去年，图灵奖得主 Yann LeCun 就地下质疑过谷歌大脑的论文无奈复现，很多 NLP 领域顶级研讨职员无奈复现谷歌大脑的语言模型 Transformer-XL 所得到的结果，一度引发社区热议。如果你的研讨是在其他论文的基础之上，测验考试复现其他研讨的呆板进修代码肯定是常规操作。「不要简单地根据论文主张就预设『见解』， 」ContributionSecure14 表示，「即使是那些大组的论文，抑或是被顶会接收的论文。」NeurIPS 组委会从 2019 年起就鼓励论文作家提交代码（非强制），目前成效显著。在 NeurIPS 2019 的最后提交阶段，有 75% 的被接收论文附带了代码。随后，NeuIPS 将代码提交从「鼓励」变成了「强烈建议」（仍不强制），还提供了提交代码的准则和模板。这些措施都有利于复现工作但代码地下问题也不能「一刀切」，毕竟可复现性并不是评价论文的唯一标准。除了 Papers Without Code，你也可以参照 Pineau 教授的「呆板进修可复现性调查表」（https://www.cs.mcgill.ca/~jpineau/ReproducibilityChecklist.pdf），这个清单为如何使其他研讨职员清楚并重现呆板进修论文的描述、代码和数据提供了明确的指导原则。人们一直抱怨 AI 论文难复现，但呆板进修社区在促进可复现方面可以发挥更加重要的作用。「很多时候论文作家都会在揭晓研讨时面临压力，因此牺牲了学术深度和可复现性，并没有太多制衡的方法来阻止这种行为，」ContributionSecure14 说道。「唯一能够改变这种趋势的大概性在于，引导呆板进修研讨者们在进行研讨时更加注重质量而非数量。」参照链接：https://thenextweb.com/neural/2021/03/06/list-non-reproducible-research-machine-learning-papers-syndication/