AI在线 AI在线

谢赛宁团队新作打破“多语言诅咒”!MetaCLIP 2支持300多种语言,英语性能反倒提升了

谢赛宁团队新作正在引起热议! 一直以来,作为文生图基石的CLIP模型主要基于英文数据训练,但实际上,全球互联网仍有超过50%的非英文数据。 为了将CLIP模型进一步扩展,研究人员需要搞定两大“拦路虎”:缺乏处理非英语数据的筛选方法;.

谢赛宁团队新作正在引起热议!

一直以来,作为文生图基石的CLIP模型主要基于英文数据训练,但实际上,全球互联网仍有超过50%的非英文数据。

为了将CLIP模型进一步扩展,研究人员需要搞定两大“拦路虎”:

  • 缺乏处理非英语数据的筛选方法;
  • 现有多语言CLIP的英语性能比纯英语版本差(即所谓的“多语言诅咒”)

而谢赛宁团队正是在这两方面取得突破。他们提出了首个基于全球数据从头训练的CLIP——MetaCLIP 2,通过扩展元数据、优化筛选和提升模型容量,斩获了以下成果:

  1. 搭建了能处理300多种语言的CLIP数据整理流程。
  2. 打破了“多语言诅咒”,不仅没有影响英语任务的表现,而且反倒还提升了。

论文一作Yung-Sung Chuang(MIT博士生、现Meta实习生)激动表示:

是时候告别语言过滤器了!

谢赛宁团队新作打破“多语言诅咒”!MetaCLIP 2支持300多种语言,英语性能反倒提升了

刚被小扎从OpenAI挖走的Lucas Beyer也出来对这一观点表示认同,顺带还感谢了论文中的引用:

很高兴看到我们提出并始终倡导的“NoFilter”理念能在MetaCLIP 2中得到应用。

这就是正确的道路!

谢赛宁团队新作打破“多语言诅咒”!MetaCLIP 2支持300多种语言,英语性能反倒提升了

这也引来了谢赛宁本人的回应:

早在MetaCLIP中,团队的目标也是NoFilter(与其搞复杂过滤,不如相信原始数据的价值)

我也认为NoFilter才是正道。

谢赛宁团队新作打破“多语言诅咒”!MetaCLIP 2支持300多种语言,英语性能反倒提升了

下面详细来看MetaCLIP 2所采用的方法。

概括而言,为了让CLIP模型能从全球数据中学习,MetaCLIP 2采用了三大关键创新:

  • 构建全球元数据
  • 实施全球筛选算法
  • 构建全球模型的训练框架
谢赛宁团队新作打破“多语言诅咒”!MetaCLIP 2支持300多种语言,英语性能反倒提升了

开始之前,论文先回顾了原始MetaCLIP所采用的思路。

简单说,其筛选逻辑主要分三步:

  1. 从英语WordNet、维基百科提取50万个 “视觉概念”,组成元数据列表M;
  2. 用这些概念匹配图像-文本对的描述文字(逐个检查文本里的内容,看能否匹配到M里的词条)
  3. 设定一个阈值t,通过 “平衡机制”(控制头部/尾部概念的比例)筛选数据,确保“猫”“狗”这类常见概念和“深海生物”“小众建筑”这类少见概念分布合理。

顺便一提,OpenAI CLIP将t设置为20k,而MetaCLIP为了适配十亿级英语数据,把t调高到170k ,让平衡策略更适合大规模数据。

而MetaCLIP 2,正是在英文MetaCLIP的基础上,进一步优化了架构和流程。

这第一步非常简单,无非是将之前的元数据扩展到300多种语言

具体而言,它现在包含了多语言的WordNet和各国维基百科的词汇,有点像给每种语言都编了一套 “视觉概念词典”。

然后用算法给每种语言“量身筛数据”。

先是识别文字是哪种语言,再用对应语言的“字典”去匹配图像-文字对。

同时给每种语言设立单独的筛选标准(比如控制“常见概念”和“少见概念”的比例),确保每种语言的数据分布合理,不会出现某类内容过多的情况。

下图为MetaCLIP 2筛选全球多语言图像-文本对的伪代码(用Python/NumPy风格编写)

谢赛宁团队新作打破“多语言诅咒”!MetaCLIP 2支持300多种语言,英语性能反倒提升了

最后再调整训练策略,避免“顾此失彼”。

一方面,鉴于全球数据变多了,所以团队按比例增加了训练时“见过的样本量”(比如扩大2.3倍),保证英语样本量不减少。

另一方面,团队发现模型大小很关键——小一点的模型(如ViT-L/14)还会受“多语言诅咒”,但大一点的ViT-H/14能打破诅咒,让英语和非英语能力一起提升。

谢赛宁团队新作打破“多语言诅咒”!MetaCLIP 2支持300多种语言,英语性能反倒提升了

p.s. 大语言模型中的“多语言诅咒”是指,当模型在多语言数据上进行训练时,出现某些特定语言(尤其是原本表现较好的语言,如英语 )性能下降的现象。

采用以上数据筛选方法,MetaCLIP 2与NoFilter理念形成了深度协同——筛选逻辑的本质从“语言过滤”(如直接排除非英语数据)转向“概念平衡”,从“排除数据”(如用单一标准排除数据)转向“优化分布”。

为了验证方法的有效性,团队基于全网公开数据(英语占44%,非英语占56%)进行了实验。

训练配置上,团队基本沿用OpenAI CLIP/MetaCLIP的参数,仅调整样本量(如ViT-H/14用290亿样本)和模型容量。

实验结果显示,MetaCLIP 2在多项测试中表现亮眼

首先,它打破了大语言模型领域存在的“多语言诅咒”,证明学了非英语数据后,英语能力不仅没有下降,甚至反而变强了。

例如,它在ImageNet识别日常物品上准确率达到81.3%,超过纯英语CLIP的80.5%

谢赛宁团队新作打破“多语言诅咒”!MetaCLIP 2支持300多种语言,英语性能反倒提升了

其次,它在多语言测试中(如用280种语言给图片分类、跨36种语言搜图),成绩远超之前的mSigLIP、SigLIP 2等模型。

还是上面这张图,它在Babel-ImageNet多语言图像分类任务里,取得了50.2%的准确率;在XM3600图像到文本检索任务中,检索匹配的准确率达到64.3%。

更有意思的是,MetaCLIP 2不仅更懂“文化多样性”,而且嵌入质量也更优。

一方面,它在文化多样性任务(如地理定位)上表现更优,如在Dollar Street、GLDv2等数据集上,全球数据训练的模型准确率显著高于纯英语或纯非英语模型。

谢赛宁团队新作打破“多语言诅咒”!MetaCLIP 2支持300多种语言,英语性能反倒提升了

另一方面,它在对齐性(图像-文本相关性)和均匀性(视觉嵌入分布)上的得分同样更优。

谢赛宁团队新作打破“多语言诅咒”!MetaCLIP 2支持300多种语言,英语性能反倒提升了

划重点,目前相关数据和代码均已开源了~

论文: https://arxiv.org/abs/2507.22062 代码地址: https://github.com/facebookresearch/MetaCLIP

相关资讯

Meta 发布 WebSSL 模型:无语言视觉学习的新探索

在人工智能领域,Meta 公司最近推出了 WebSSL 系列模型,这一系列模型的参数规模从3亿到70亿不等,基于纯图像数据进行训练,旨在探索无语言监督的视觉自监督学习(SSL)的巨大潜力。 这一新研究为未来的多模态任务带来了新的可能性,也为我们理解视觉表征的学习方式提供了新的视角。 过去,OpenAI 的 CLIP 模型因其在视觉问答(VQA)和文档理解等多模态任务中的优异表现而备受关注。
4/25/2025 2:00:48 PM
AI在线

深度监督网络作者谢赛宁被拒稿 11 年后翻盘获时间检验奖:拒稿≠学术死刑

谢赛宁十年前被 NeurIPS(当时还叫 NIPS)拒收的论文,刚在今年获得了 AISTATS 2025 年度时间检验奖。这篇论文就是《Deeply-Supervised Nets》(DSN,深度监督网络),2014 年 9 月挂上 arXiv。
5/6/2025 5:22:13 PM
汪淼

谢赛宁回应团队论文藏AI好评提示词:立正挨打,但是时候重新思考游戏规则了

大神也陷入学术不端质疑,偷偷在论文里藏提示词刷好评? 最新进展是,谢赛宁本人下场道歉了:这是发生了甚么? 事情是这么个事:.
7/8/2025 8:55:37 AM
鱼羊
  • 1