AI在线 AI在线

智源发布原生多模态世界模型 Emu3,宣称实现图像、文本、视频大一统

感谢智源研究院今日发布原生多模态世界模型 Emu3。该模型只基于下一个 token 预测,无需扩散模型或组合方法,即可完成文本、图像、视频三种模态数据的理解和生成。官方宣称实现图像、文本、视频大一统。
感谢智源研究院今日发布原生多模态世界模型 Emu3。该模型只基于下一个 token 预测,无需扩散模型或组合方法,即可完成文本、图像、视频三种模态数据的理解和生成。官方宣称实现图像、文本、视频大一统

在图像生成任务中,基于人类偏好评测,Emu3 优于 SD-1.5 与 SDXL 模型。在视觉语言理解任务中,对于 12 项基准测试的平均得分,Emu3 优于 LlaVA-1.6。在视频生成任务中,对于 VBench 基准测试得分,Emu3 优于 OpenSora 1.2。

智源发布原生多模态世界模型 Emu3,宣称实现图像、文本、视频大一统

据介绍,Emu3 提供了一个强大的视觉 tokenizer,能够将视频和图像转换为离散 token。这些视觉离散 token 可以与文本 tokenizer 输出的离散 token 一起送入模型中。与此同时,该模型输出的离散 token 可以被转换为文本、图像和视频,为 Any-to-Any 的任务提供了更加统一的研究范式。

智源发布原生多模态世界模型 Emu3,宣称实现图像、文本、视频大一统

▲ Emu3 生成的图像

Emu3 研究结果证明,下一个 token 预测可以作为多模态模型的一个强大范式,实现超越语言本身的大规模多模态学习,并在多模态任务中实现先进的性能。通过将复杂的多模态设计收敛到 token 本身,能在大规模训练和推理中释放巨大的潜力。

目前 Emu3 已开源了关键技术和模型,AI在线附链接如下:

  • 代码:https://github.com/baaivision/Emu3

  • 项目页面:https://emu.baai.ac.cn/

  • 模型:https://huggingface.co/collections/BAAI/emu3-66f4e64f70850ff358a2e60f

相关资讯

参数量不到10亿的OctopusV3,如何媲美GPT-4V和GPT-4?

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected][email protected]
5/1/2024 4:26:00 PM
机器之心

ICASSP 2022 | 用于多模态情感识别的KS-Transformer

多模态情感识别是人机交互中的重要技术,也是人工智能走向类人智能时所需要攻克的关键难题。
12/20/2022 3:34:00 PM
优必选科技

又一届「AI春晚」拉开序幕!智源大模型集体爆发了

每一年的智源大会不仅是分享前沿 AI 科技成果的平台,更为国内外业内人士提供了一个交流的舞台。果然,2024 智源大会又为我们带来了诸多惊喜。一年一度的国内「AI 春晚」—— 智源大会又一次拉开了序幕。20 个不同主题的论坛、百场精彩报告让现场和线上的观众目不暇接,切实感受到了当下 AI 尤其是大模型对内容创作、生产办公、机器人、生物医疗等千行百业的深度赋能。在这场「AI 内行顶级盛会」上,不仅有 Llama、Sora 等大模型及 DiT 架构的作者参与交流,详解他们的研究成果;还有百度、零一万物、百川智能、智谱
6/16/2024 6:12:00 PM
机器之心
  • 1