AI在线 AI在线

世界模型有了开源基座Emu3.5!拿下多模态SOTA,性能超越Nano Banana

最新最强的开源原生多模态世界模型——北京智源人工智能研究院(BAAI)的悟界·Emu3.5来炸场了。 图、文、视频任务一网打尽,不仅能画图改图,还能生成图文教程,视频任务更是增加了物理真实性。 先感受一下它的高精度操作:一句话消除手写痕迹。

最新最强的开源原生多模态世界模型——

北京智源人工智能研究院(BAAI)的悟界·Emu3.5来炸场了。

图、文、视频任务一网打尽,不仅能画图改图,还能生成图文教程,视频任务更是增加了物理真实性。

先感受一下它的高精度操作:一句话消除手写痕迹。

世界模型有了开源基座Emu3.5!拿下多模态SOTA,性能超越Nano Banana

第一视角漫游动态3D世界:

世界模型有了开源基座Emu3.5!拿下多模态SOTA,性能超越Nano Banana

要知道,现在AI迭代的速度,正在刷新所有人的认知。

尤其是在文生视频这条赛道上,几乎每个月都有新技术出来“搞事情”。

肉眼可见,AI视频一个比一个真,一个比一个长。

but,先别急着鼓掌——

真正的赛点,早已不是“像不像”,而是“懂不懂”。

它知道桌子上的苹果被拿走后,那里应该变空吗?它明白你转身之后,背后的场景依然存在吗?如果答案是否定的,那再逼真的视频,也不过是“高级的GIF”。

现在,致力于攻克这一终极难题的玩家,终于带着悟界·Emu3.5来了。

从官方放出的demo来看,Emu3.5生成的作品展现出极强的连贯性、逻辑性,尤其让AI模拟动态物理世界的能力又双叒增强了。

它能让你以第一人称视角进入它所构建的虚拟世界。你的每一次移动、每一次转身,它都能动态构建出你下一步应该看到的场景,全程保持空间一致性。

除了上面展示的探索3D游戏世界,还能第一视角参观阳光下的客厅:

世界模型有了开源基座Emu3.5!拿下多模态SOTA,性能超越Nano Banana

在火星上开卡丁车也很丝滑:

世界模型有了开源基座Emu3.5!拿下多模态SOTA,性能超越Nano Banana

由于掌握了世界运行的内在规律,它不仅能像专业设计师一样,进行高精度、可控的图像编辑:

世界模型有了开源基座Emu3.5!拿下多模态SOTA,性能超越Nano Banana

还能像拍电影一样,生成图文并茂的视觉故事:

世界模型有了开源基座Emu3.5!拿下多模态SOTA,性能超越Nano Banana

从测评成绩来看,悟界·Emu3.5的表现也极其亮眼——在多项权威基准上,性能媲美甚至超越了Gemini-2.5-Flash-Image,没错,就是那个Nano Banana,在文本渲染和多模态交错生成任务上优势尤其显著。

世界模型有了开源基座Emu3.5!拿下多模态SOTA,性能超越Nano Banana

Emu3.5的命名,就揭示了它的定位:世界模型基座

顾名思义,它要做的是世界模型的基础模型,这等于是在AI领域开辟了一条全新的赛道。

那么,这样一个被寄予厚望的模型究竟有多强?来看更多案例。

像智能体一样理解长时序

核心能力:世界探索与具身操作

这是Emu3.5最核心、最能体现其“世界模型基座”本质的能力。它能像一个智能体(Agent)一样,理解长时序、空间一致的序列,模拟在虚拟世界中的探索和操作。

比如下面这个“整理桌面”的任务,就是通过以下指令一步步实现的:

  1. 先把桌上所有东西清空。
  2. 把所有线缆解开并分类。
  3. 用扎带把线缆捆好。
  4. 用理线槽把线缆隐藏在桌下。
  5. 最后把桌面物品摆放整齐。

世界模型有了开源基座Emu3.5!拿下多模态SOTA,性能超越Nano Banana

进阶能力:视觉指导与复杂图像编辑

正因为掌握了动态世界演变规律,Emu3.5尤为擅长提供具有连贯性和指导意义的视觉内容。

当给了Emu3.5一张狐狸的草图,并给出一系列指令“把它变成3D模型、3D打印出来、再上色”后,它直接一步步生成了从草图到最终手办形态的完整视觉流程。整个过程中,狐狸的核心特征和神态都得到了完美保留,扛住了长时程创作的挑战。

世界模型有了开源基座Emu3.5!拿下多模态SOTA,性能超越Nano Banana

这种能力让它还能生成分步教学指南,手把手教你做菜、画画、种菜:

世界模型有了开源基座Emu3.5!拿下多模态SOTA,性能超越Nano Banana

同时,它也支持多图、多轮指令的复杂图像编辑,主体一致性、风格保持能力达到业界顶尖水平。

敲黑板,由于Emu3.5本身就在海量的互联网视频上进行预训练,所以它天生就具备理解时空连续性的能力,能够生成长时序、逻辑一致的序列,而不会出现风格漂移或事实错乱。

为了构建Emu3.5,智源这次在技术方面也是进行了一系列创新和突破。

背后技术原理

Emu3.5参数量仅34B,整个模型以标准的Decoder-only Transformer为框架,单一模型能够同时完成视觉叙事、视觉引导、图像编辑、世界探索、具身操作等多种任务。

它将所有任务都统一为下一State预测(Next-State Prediction)任务,无论是文本还是图像,都被一个强大的多模态分词器(Tokenizer)转换成离散的Token序列。

  • 海量视频数据预训练模型在超过10万亿Token的多模态数据上进行训练,其中主力是来自互联网视频的连续帧和转录文本。这使得模型从一开始就沉浸式学习时空连续性和因果关系。
  • 强大的分词器视觉分词器(Tokenizer)基于IBQ框架,拥有13万的视觉词汇表,并集成了扩散解码器,能实现高达2K分辨率的高保真图像重建。
  • 多阶段对齐在预训练之后,模型经过了大规模的有监督微调(SFT)和大规模多模态强化学习(RL),使用一个包含通用指标(如美学、图文对齐)和任务特定指标(如故事连贯性、文本渲染准确率)的复杂奖励系统进行优化。
  • 推理加速黑科技为了解决自回归模型生成图像慢的问题,团队提出了离散扩散适配(DiDA)技术,它能将逐个Token的生成方式转变为并行的双向预测,在不牺牲性能的前提下,使每张图像的推理速度提升近20倍。

One More Thing

这么强的模型,智源选择——开源

全球的开发者、研究者,不用再从零开始,就能直接上手一个懂物理、有逻辑的世界模型。

从生成更逼真的视频,到构建更聪明的智能体,再到赋能千行百业的实际应用……想象空间拉满了。

对了,如果想要体验科研内测版,可戳下方链接申请~

体验链接:https://jwolpxeehx.feishu.cn/share/base/form/shrcn0dzwo2ZkN2Q0dveDBSfR3b

项目主页:https://zh.emu.world/pages/web/landingPage

技术报告:https://zh.emu.world/Emu35_tech_report.pdf

相关资讯

微软等开源AIOpsLab,可构建自主云AI Agent

微软等开源AIOpsLab,可构建自主云AI Agent

微软、加州大学伯克利分校、伊利诺伊大学等研究人员联合开源了,一个专用于云自动化运维的AI Agents——AIOpsLab。 AIOpsLab能模拟真实云服务环境中的复杂操作任务,实现故障的自动化检测、定位和解决问题。 还具备高度的可观测性,能够收集和分析关键的遥测数据,确保对系统状态和应用环境的深入洞察。
1/27/2025 9:51:24 AM AIGC开放社区
DeepSeek开源Janus-Pro-7B:多模态AI模型性能超越DALL-E 3 和 Stable Diffusion 3!

DeepSeek开源Janus-Pro-7B:多模态AI模型性能超越DALL-E 3 和 Stable Diffusion 3!

中国人工智能公司 DeepSeek 的 R1“推理”人工智能已经引起了广泛关注,位居应用商店排行榜首位并改变了股市。 随后DeepSeek又宣布开源新一代多模态模型Janus-Pro-7B,该模型在图像生成、视觉问答等任务中全面超越 OpenAI 的 DALL-E 3 和 Stable Diffusion 3,并以“理解-生成双路径”架构和极简部署方案引发AI社区轰动。 性能表现:小模型吊打行业巨头Janus-Pro-7B虽仅有70亿参数(约为GPT-4的1/25),却在关键测试中碾压对手:文生图质量:在GenEval测试中以80%准确率击败DALL-E 3(67%)和Stable Diffusion 3(74%)复杂指令理解:在DPG-Bench测试中达84.19%准确率,能精准生成如“山脚下有蓝色湖泊的雪山”等复杂场景多模态问答:视觉问答准确率超越GPT-4V,MMBench测试得分79.2分接近专业分析模型技术突破:像“双面神”分工协作传统模型让同一套视觉编码器既理解图片又生成图片,如同让厨师同时设计菜单和炒菜。
2/7/2025 11:00:00 AM AIGC Studio
李飞飞、DeepSeek为何偏爱这个国产模型?

李飞飞、DeepSeek为何偏爱这个国产模型?

斯坦福李飞飞团队的一篇论文,近来在AI圈子掀起了一场飓风。 他们仅用1000个样本,在16块H100上监督微调26分钟,训出的新模型s1-32B,竟取得了和OpenAI o1、DeepSeek R1等尖端推理模型相当的数学和编码能力! 团队也再次证明了测试时Scaling的威力。
2/8/2025 9:30:00 AM 新智元