AI在线 AI在线

大模型研究获最佳论文,WWW 2024奖项出炉

本次公布的获奖论文中,有多位华人作者。The Web Conference(前身为 International World Wide Web Conference,WWW)会议是万维网领域的顶会,由图灵奖得主 Tim 创办,被中国计算机协会将其认证为 CCF-A 类会议,每年举办一次。目前大会公布了最佳学生论文奖、最佳论文奖以及时间检验奖。最佳论文奖WWW 2024 最佳论文颁给了和大模型相关的研究。标题:Mechanism Design for Large Language Models论文地址::Paul Dü

本次公布的获奖论文中,有多位华人作者。

The Web Conference(前身为 International World Wide Web Conference,WWW)会议是万维网领域的顶会,由图灵奖得主 Tim 创办,被中国计算机协会将其认证为 CCF-A 类会议,每年举办一次。

目前大会公布了最佳学生论文奖、最佳论文奖以及时间检验奖。

图片

最佳论文奖

WWW 2024 最佳论文颁给了和大模型相关的研究。

图片

标题:Mechanism Design for Large Language Models

论文地址:https://arxiv.org/pdf/2310.10826

作者:Paul Dütting、Vahab Mirrokni、Renato Paes Leme、Haifeng Xu、Song Zuo

机构:Google Research、芝加哥大学

这篇论文作者共有 5 位,包括两位华人。

Haifeng Xu 是芝加哥大学助理教授,并领导了 Sigma 实验室。在此之前,Haifeng Xu 在哈佛大学做过博士后,导师是 Yiling Chen 和 David Parkes,在南加州大学(USC)获得了计算机科学博士学位,导师是 Shaddin Dughmi 和 Milind Tambe(现任哈佛大学教授)。

图片

                            图源:https://twitter.com/DSI_UChicago/status/1790839792906944650

Song Zuo 现在是谷歌研究科学家,此前,他在清华大学获得博士学位,本科毕业于清华姚班,主要研究方向为拍卖与机制设计,经济学与计算。

图片

本文研究了拍卖机制(auction mechanisms),以支持人工智能生成内容的新兴格式。他们特别研究了如何以激励相容的方式聚合多个大型语言模型(LLM)。在这个问题中,每个智能体对随机生成内容的偏好被描述 / 编码为一个 LLM。这项研究的一个关键动机是设计一种 AI 生成广告创意的拍卖格式,以结合不同广告商的输入。研究者认为,尽管这个问题总体上属于机制设计的范畴,但它具有几个独特的特征。

本文提出了一种通用形式 ——  token auction 模型来进行研究。该模型的一个关键特征是,它以 token 为单位进行操作,并允许 LLM 智能体通过单维度出价的方式来影响生成的内容。

本文首先探索了一种稳健的拍卖设计方法,在这种方法中,本文假设智能体偏好比结果分布更具有部分顺序。他们提出了两种自然的激励属性,并证明这些属性等同于分布聚合的单调性条件。本文还证明,对于这种聚合函数,即使在没有竞标者估值函数的情况下,也可以设计出第二价格拍卖(second-price auction)。接下来,本文通过聚焦于基于 KL 散度(LLM 中常用的损失函数)的具体估值形式,设计了具体的聚合函数。结果表明,福利最大化(welfare-maximizing)的聚合规则是所有参与者目标分布的加权(对数空间)凸组合。最后,本文通过实验结果支持了 token 拍卖的形式化。

图片

                           两个不同的聚合函数生成的文本

最佳学生论文奖

来自爱丁堡大学的研究者摘得了本届最佳学生论文奖。

图片

标题:Stable-Sketch: A Versatile Sketch for Accurate, Fast, Web-Scale Data Stream Processing

论文地址:https://homepages.inf.ed.ac.uk/ppatras/pub/webconf24.pdf

作者:Weihe Li、Paul Patras

机构:爱丁堡大学

论文摘要:数据流处理在各种与网络相关的应用中起着关键作用,包括点击欺诈检测、异常识别和推荐系统。然而,在数据流中准确快速地检测与这些任务相关的项目(如热门项目、重大变化项目和持久项目)并非易事。这是由于当前系统中不断增加的流速、有限的快速内存(L1 缓存)以及实际遇到的高度偏斜的项目分布。

本文引入了 bucket 稳定性的概念,它量化了记录项目变化的程度,并证明这是识别不同项目类型的强大指标。

在此基础上,本文提出了 Stable-Sketch,它利用了多维信息,包括项目统计和 bucket 稳定性,并采用随机方法来驱动替换决策。研究者对 Stable-Sketch 的误差范围进行了理论分析,并进行了大量实验,证明本文的解决方案在各种项目检测任务中,即使在内存紧张的情况下,也能实现更高的准确性和更快的处理速度。

首尔时间检验奖(Seoul Test of Time Award)

来自斯坦福大学的 Taher H Haveliwala 获得了时间检验奖。

图片

标题:Topic-Sensitive PageRank

论文地址:http://www-cs-students.stanford.edu/~taherh/papers/topic-sensitive-pagerank.pdf

作者:Taher H Haveliwala

机构:斯坦福大学

在原始的 PageRank 算法中,通过计算一个单一的 PageRank 向量,并利用网页的链接结构来捕捉网页的相对重要性,然而这一过程与任何特定的搜索查询无关。

为了产生更准确的搜索结果,本文建议计算一组 PageRank 向量,从而使用一组具有代表性主题的偏置向量,以更准确地捕获特定主题的重要概念。通过使用这些(预先计算的)偏置的 PageRank 向量,本文展示了这种方法可以比使用单一的通用 PageRank 向量生成更准确的排名。

参考链接:https://www2024.thewebconf.org/program/awards/

相关资讯

New BeanPod Video Generation Model to Be Released Tomorrow with Support for Seamlessly Multi-Camera Narration and Other Functions

Tomorrow, the 2025 FORCE Original Power Conference will be held in grand style. During the conference, the capability upgrade of the DouBao large model family will be unveiled. At the same time, the highly anticipated new DouBao · Video Generation Model will also be officially released.According to reports, the new DouBao · Video Generation Model has several outstanding features.
6/16/2025 9:49:01 AM
AI在线

技术破局?畅谈元宇宙大浪下的AI技术流实践机遇与挑战

「机器之心2021-2022年度AI趋势大咖说」聚焦「驱动未来的AI技术」与「重塑产业的AI科技」,推出线上分享,共邀请近40位AI领域知名学者、产业专家及企业高管通过主题分享及多人圆桌等形式,与行业精英、读者、观众共同回顾 2021年中的重要技术和学术热点,盘点AI产业的年度研究方向以及重大科技突破,展望2022年度AI技术发展方向、AI技术与产业科技融合趋势。
7/26/2022 3:45:00 PM
机器之心Pro发布

我用 四天时间开发了一款 AI 应用程序,希望给你一点点启发

技术让世界发展得更快。 我们今天在人工智能上再次看到了这一点。 使用 Cursor 等工具,开发人员可以比以前快 5-10 倍地构建项目。
2/19/2025 10:48:15 AM
佚名
  • 1