AI在线 AI在线

MetaCLIP 2

谢赛宁团队新作打破“多语言诅咒”!MetaCLIP 2支持300多种语言,英语性能反倒提升了

谢赛宁团队新作正在引起热议! 一直以来,作为文生图基石的CLIP模型主要基于英文数据训练,但实际上,全球互联网仍有超过50%的非英文数据。 为了将CLIP模型进一步扩展,研究人员需要搞定两大“拦路虎”:缺乏处理非英语数据的筛选方法;.
7/31/2025 2:54:28 PM
一水

OpenAI提出的CLIP,被Meta联合谢赛宁、刘壮,扩展到全球300+语言

在人工智能领域,对比语言 - 图像预训练(CLIP) 是一种流行的基础模型,由 OpenAI 提出,支持零样本分类、检索等下游任务,并可作为多模态大语言模型(MLLM)的视觉编码器。 尽管 CLIP 已经成功地在数十亿规模的英语图文对上进行了训练,但进一步扩展到全球范围内的数据仍面临以下两项挑战:目前缺少有效的方法来处理非英语世界的数据;现有的多语言版本 CLIP 在英语上的表现通常不如只使用英语训练的版本,这种现象在大语言模型中也很常见,被称为「多语言的诅咒」。 为了解决这些挑战,来自 Meta、MIT、普林斯顿大学、纽约大学的研究者提出了 MetaCLIP 2,这是首个从零开始在原生全球图文对上训练 CLIP 的方法,不依赖任何外部资源,包括私有数据、机器翻译或蒸馏。
7/31/2025 2:23:00 PM
机器之心
  • 1