AI在线 AI在线

当AI重新定义「科研影响力」:一场关于CSRankings的反思与重塑

在计算机科学领域, CSRankings 曾被视为一次划时代的改进。 它摒弃了早期诸如 USNews 那样依赖调查问卷的主观排名体系,转而以论文发表数量这一客观指标来评估各大学的科研实力。 然而,理想往往伴随着隐忧——当论文发表数量成为唯一的标准,学术评价异化为一场比拼篇数的竞赛。

在计算机科学领域, CSRankings 曾被视为一次划时代的改进。它摒弃了早期诸如 USNews 那样依赖调查问卷的主观排名体系,转而以论文发表数量这一客观指标来评估各大学的科研实力。

然而,理想往往伴随着隐忧——论文发表数量成为唯一的标准,学术评价异化为一场比拼篇数的竞赛。论文越多,排名越高;但数量的增长,真的代表质量的提升吗?近年来,有越来越多的个人和机构视论文为数字游戏,动辄一年发表数十篇论文并广为宣传。然而,发表的论文数量真的可以代表个人或者机构的学术影响力吗?

从「发得多」到「影响深」

科研领域多年以来一直希望评价学术影响力。因此,我们有了影响因子,有了 Google Scholar。然而,只数论文引用的数量带来了其它的问题,例如,论文中经常会有很多并非对当前工作很重要的引用。

同时,有些类型的论文会有较高的引用数量,但是并不一定代表其学术价值。比如,综述文章经常被引用,但并不总意味着此综述是本论文的必要基石。或许某个前置工作(算法,模型, codebase, etc)才是本论文能完成的前提。

一个关键问题是:如何抛开发表数量和引用数量,来真正衡量科研的「质量」?

我们认为答案可能来自两个方向:

  • 真正懂的人——同领域研究者的集体判断;

  • 足够聪明的算法——能够从海量论文中提取这些判断。

其实,真正在每一个领域中的研究者,写论文的时候已经在他们的论文里或明确或暗含地揭示了哪些论文是领域中真正重要的文献。

但这种「重要」往往是双重的:它既包含作者在写作时主观认可和强调的前置工作(比如综述帮助了信息获取),也包含那些在技术上或思想上奠定了客观基石的工作。前者蕴含在写作中,而后者更是要结合技术背景来捕捉。

然而,这些信息隐含在海量的论文中,光靠人力是无法读完所有文献,将这些信息提取出来的。

基于这一思路,俄勒冈州立大学 (Oregon State University) 和加州大学圣 CRUZ 分校 (University of California Santa Cruz) 的学者构建了一个全新的学术排名系统:让大语言模型读出学者们心中对论文影响力的评价。

网页:https://impactrank.org/

用 LLM 追踪「被引用的灵魂」

学者们选用了 DeepSeek-R1-Distill-Llama-8B 大语言模型,让它阅读来自 2020-2025 年顶级 AI 会议的论文,并提出一个简单的问题:

「这篇论文认为对它最重要的 5 篇参考文献是什么?」

换句话说,让 AI 来帮我们阅读参考文献,找出哪些研究是当今学术论文背后的灵魂

通过反复分析数万篇论文,我们就能描绘出整个 AI 研究版图中,哪些作者、哪些论文、哪些机构最常被视为创新的根基。

从论文到机构:影响力的链路

接下来,学者将所有论文找到其在 DBLP 中匹配的论文和作者,防止 AI 产生幻觉生成不存在的参考文献。然后再将这些「Top 5 关键参考文献」的作者映射回其所在的大学。

每当一篇论文被另一篇新论文选为「Top 5 关键参考文献」,该论文的作者及其机构便会获得相应的学术影响力积分。为了公平起见,积分会平均的分配给每个作者。

一种全新的科研排行榜

最终,学者们得到了一个不以数量取胜,而以影响力见长的排名体系。

它奖励那些激发新发现、奠定研究基石、推动学科前行的研究机构。

这种方式,让我们看到的不再是「谁发得最多」,而是——

「哪些论文真正的影响了领域的发展。」

检视 CSRanking 和 Research Impact Ranking,我们发现,他们有非常大的区别。如 Computer Vision 领域:

图片

AI Research Impact Rankings:

图片

自然语言处理领域:

图片

AI Research Impact Ranking:

图片

是否该让 AI 帮助我们,重新定义科研的「质量」?专业读者们觉得哪个排名更符合您心中的观点?

相关资讯

调查:超72% 的企业选择 AI 工具时最看重易用性

根据最近的一项 CIO 报告,企业在人工智能(AI)领域的投资高达2.5亿美元,尽管在证明投资回报率(ROI)方面面临挑战。 商业领袖们正努力提高生产力,但新技术的集成往往需要重构现有应用、更新流程并激励员工学习,以适应现代商业环境。 QuickBlox 首席执行官 Nate MacLeitch 对136位高管进行了调查,以揭示 AI 采用的现实情况,探讨领导者的首要任务、主要担忧以及他们在2025年寻找可信工具的信息来源。
3/18/2025 10:02:00 AM
AI在线

可保护作品免遭 AI 训练,Adobe 推出 Content Authenticity 应用

Adobe 推出全新应用 Content Authenticity,用于保护创意工作者的作品署名权,即使有人截屏并在网络二次传播也不受影响。这款网页应用于今日面向公众开放测试,用户上传需要保护的图像,应用就能嵌入隐形元数据和添加“禁止 AI 训练”标签,帮助确认作品归属和保护作品免遭 AI 训练。
4/24/2025 9:32:18 PM
准泽(实习)

城商行掀起大模型招标潮,百万级投入成行业新风口!

在人工智能技术快速发展的背景下,越来越多的城商行开始纷纷参与到大模型的招标中。 根据最新消息,超过10家中小银行近期启动了大模型相关项目的招标,标志着这一领域的竞争加剧。 这些银行希望通过大模型技术优化现有的金融服务流程,提高运营效率,进而为客户提供更优质的服务。
7/11/2025 11:11:51 AM
AI在线