【新智元导读】人大与浙大学者发现，GPT-4 对于论文给出的撤稿猜测结果，竟然和人类审稿人有将近 95% 的相似性。看来大模型虽然有能够引发学术怪异，但也有办法维护科研真诚啊。
学术论文的撤稿事件时有发生，这不仅损害了科研真诚，也能够对公众信任和迷信进展产生负面影响。
传统上，学术界依赖同行评审和出版后的读者反馈来识别和纠正课题论文，但这些要领能够无法及时发现所有课题，尤其是在当前科研论文出版数量急剧增加的背景下。
在这种情况下，如何快速识别生存课题的论文，并促进它们的撤稿，成了学术界亟待解决的一个难题。
最近，来自中国人民大学和浙江大学等机构的钻研者把涉及数千篇 SCI / SSCI 的期刊论文的一万多条推文喂给了 GPT-4，让它根据推文回答这篇论文是否有能够被撤稿，然后和人类猜测的结果相比较。
论文地址：https://arxiv.org/abs/2403.16851
结果，GPT-4 几乎完美地胜任了这项工作，猜测结果有近 95% 和野生猜测结果一致！
论文作者 Er-Te Zheng 总结道：大模型虽然有能够引发学术怪异，但在另一方面也能够帮助识别课题论文并猜测其撤稿，维护科研真诚。因此，将 AI 工具应用于学术钻研课题的关键，在于 AI 工具如何为人类所使用。
推文能猜测论文撤稿吗？
作为 ChatGPT 猜测的基础，钻研首先探索了推文本身能否猜测撤稿。我们都知道，有许多课题论文首先在推特上被曝光，然后才被撤稿。比如用 AI 画小鼠插图的这篇「著名」论文。
为探索推文本身能否猜测撤稿，钻研搜集了一组包含 3505 篇撤稿论文的数据集，并采用粗略准确匹配要领获得的具有相似特征的 3505 篇未撤稿论文。
这些特征包括发表期刊、发表年份、作者数量和推文数量。通过推特 API 收集了上述 7010 篇论文的推文数据，包括推文发布日期和文本内容。
筛选出在论文撤稿前发布的推文后，钻研最终共搜集到 8367 条涉及撤稿论文的英文推文和 6180 条涉及未撤稿论文的英文推文。
钻研将推文分为训练集和测试集，在训练集上训练模型，并在测试集上验证关键词要领、机器学习模型和 ChatGPT 的猜测结果情况。钻研使用野生猜测结果（钻研者根据推文猜测论文撤稿情况）作为主要基准之一，用以衡量模型与野生要领的一致性情况。
作为钻研基准的野生猜测结果显示，人类若认为推文暗示论文生存课题，则推文涉及的这篇论文有高达约 93% 的几率会被撤稿（准确率≈93%），这说明部分推文的确能够猜测论文撤稿；不过，像这样能通过推文被野生猜测出撤稿的论文的总体占比不高，约占所有撤稿论文的 16%（召回率≈16%）。
因此，尽管只有一小部分撤稿论文的相关推文在论文撤稿前含有了可识别的课题信号，但这些信号确实生存。
钻研者观察到，能够有效猜测论文撤稿的批评性推文有两种类型：第一种直接突出论文中的错误或学术怪异行为；第二种使用批评或讽刺的方式来突出论文的质量存疑。
这些推文能够促使期刊对论文进行调查，如果调查证实了推文中提到的课题的生存和严重性，论文随后能够会被撤稿。在这种情况下，批评性推文可以作为撤稿论文的催化剂，强调了将其纳入钻研真诚的早期预警系统的价值。
ChatGPT 能猜测论文撤稿吗？
既然发现推文具有猜测论文撤稿的潜力，钻研进一步探索了关键词要领、机器学习模型和 ChatGPT 在根据推文来猜测论文撤稿方面的潜力，将各模型的猜测结果与野生猜测结果进行比较。
钻研表明，GPT-4 的总体猜测结果（包含撤稿猜测和非撤稿猜测）与野生猜测结果的一致性最高，高达约 95%！
其次是 GPT-3.5 和 SVM 模型，其一致性超过 80%。而关键词要领与其他机器学习模型的一致性则在 46%-64% 之间，猜测效果一般。
在准确率方面，同样是 GPT-4 的准确率最高：GPT-4 猜测会撤稿的论文中，近 70% 的在野生猜测中同样会撤稿。而其他模型的猜测准确率均远低于 GPT-4。
图中进一步显示了不同模型猜测结果与野生猜测结果的比较。关键词要领和三种机器学习模型（LR、RF 和 NB）将大量野生无法判定为撤稿的论文归为撤稿（过拟合率高）。
相比而言，GPT-4 的猜测结果最接近于野生猜测的结果：绝大部分 GPT-4 猜测为撤稿的论文，野生猜测也为撤稿，绝大部分 GPT-4 猜测为非撤稿的论文，野生猜测同样为非撤稿。
ChatGPT 猜测论文撤稿的实例
与其他要领相比，ChatGPT 还有一个重要的优势 —— 它能够为其猜测提供理由，而其他要领则无法详细解释其决策。
例如，从样本论文中可以看出，ChatGPT 对推文有深刻的理解，并能准确提取能够猜测论文撤稿的信息，为使用推文评估论文是否生存潜在课题提供了宝贵的帮助。
例如：
然而，也要注意到 ChatGPT 有时生存「幻觉」课题，能够会产生不恰当的输出，因此在使用时需要谨慎，并考虑到其能够的错误猜测。
例如：
样例论文 3 中，相关推文是对这篇论文的评价，暗示该论文指出诺奖得主的某篇论文生存课题。
然而，ChatGPT 将样例论文 3 误以为是被撤稿的诺奖得主的相关工作，因此这篇论文能够被撤稿。此处的分析结果表明，ChatGPT 生存一定的逻辑推理谬误与过度解读等课题。
因此，ChatGPT 虽然能够通过推文从一定程度上猜测论文撤稿，与野生猜测的一致性在各模型中表现最好。但其在当前并非完美，在未来仍有长足的改进空间。
钻研收到了著名学术怪异数据库撤稿观察的转发，网友们表示，ChatGPT 还能用来猜测论文撤稿？真是从未设想过的道路。「我还以为没有足够多的数据来支撑这一结论呢！」
「ChatGPT 可以根据推特提及来猜测论文撤稿吗？显然可以！请看这项钻研……」
总体而言，钻研揭示了社交媒体讨论作为论文撤稿早期预警的潜力，同时也展示了 ChatGPT 等生成式野生智能在促进科研真诚方面的潜在应用。
作者介绍
Er-Te Zheng（郑尔特）
Er-Te Zheng 是中国人民大学信息资源管理学院的硕士生，由 Zhichao Fang 助理教授指导；在浙江大学获得管理学学士学位，师从 Hui-Zhen Fu 副教授。未来将前往英国谢菲尔德大学信息学院攻博，师从信息计量学首席专家 Mike Thelwall 教授。他的钻研方向涉及计算社会迷信、迷信学和迷信计量。
Hui-Zhen Fu（付慧真）
Hui-Zhen Fu 是浙江大学公共管理学院信息资源管理系副教授，北京大学博士。担任信息资源管理钻研所副所长，荷兰莱顿大学迷信技术钻研中心（CWTS）访问学者。在国际权威刊物发表论文超过 40 篇（SCI / SSCI），连续四年（2020-2023）入选爱思唯尔中国高被引学者榜单。她的钻研方向为交叉迷信、迷信计量、科研真诚和科研管理。
Zhichao Fang（方志超）
Zhichao Fang 是中国人民大学信息资源管理学院助理教授，荷兰莱顿大学迷信与技术钻研中心（CWTS）博士，莱顿大学 CWTS 客座钻研员，伊朗波斯湾大学社交媒体数据钻研组成员。在迷信计量学与科技政策等领域发表 SCI / SSCI 论文 20 篇，多项钻研成果受到 Science 杂志等权威学术媒体采访报导。他的钻研方向为迷信学、迷信计量和社交媒体计量学。
参考资料：
https://arxiv.org/abs/2403.16851
本文来自微信公众号：新智元 （ID：AI_era）