AI在线 AI在线

腾讯开源 X-Omni:RL缝合混合架构,对标 GPT-4o,中文文本渲染登顶

近日,腾讯研究团队打造了一款新型图像生成模型X-Omni。 技术上,采用了强化学习重构混合模型架构;性能上,直接对标OpenAI的GPT-4o。 地址:,还在多个图像生成任务中击败了商用大模型。

近日,腾讯研究团队打造了一款新型图像生成模型X-Omni。技术上,采用了强化学习重构混合模型架构;性能上,直接对标OpenAI的GPT-4o。

图片

地址:https://arxiv.org/pdf/2507.22058

这款模型不仅在中英文文字渲染方面刷新了已有基准,还在多个图像生成任务中击败了商用大模型。 

它的核心技术来自不同开源社区,甚至包括直接竞争者,展现出一种“拼图式”AI构建思路。

混合架构的断层,被强化学习缝合

图片

图像生成AI领域,始终存在一个核心难题:如何在语义理解和图像还原之间找到平衡。

目前主流做法,是采用“混合模型”架构:一部分使用自回归模型来生成语义token,另一部分用扩散模型来还原图像。

这种架构的优势是互补,但也带来了新的问题:语义token与扩散解码器之间“语言不通”。

两部分常常各说各话,生成结果的质量不稳定,尤其在遇到复杂文本或高精度场景时,错误容易累积。

腾讯的X-Omni摒弃了传统混合架构“各自训练、强行拼接”的模式,引入统一的强化学习流程,通过RL对齐两部分、提升协同。

图片

首先,由自回归模型生成语义token;接着,扩散模型FLUX.1-dev负责根据token生成图像;再由一个综合评价系统给出反馈,指导自回归模型更精准地输出token。

这个评价系统由三部分组成:人工美学偏好评分、高分辨率图像质量评分模型,以及视觉-语言模型Qwen2.5-VL-32B。

同时,为验证图像中文字是否准确,系统还引入GOT-OCR-2.0与PaddleOCR做比对。

在约200步RL训练后,模型指标已超过SFT+Best-of-N的最佳结果。

结果显示,在相同训练轮数下,X-Omni的输出图像质量超过常规训练方式所得最佳结果。

文本是关键,中文才是战场

图片

在与GPT-4o的对比中,X-Omni在最难的环节,图像中的文字渲染场景中,获得了优势。

图像文字生成一直是大模型的痛点,越长的文本越容易错漏、变形,甚至无法识别。

为此,腾讯团队专门构建了名为“LongText-Bench”的测试基准,用以测评在长段文字下的图像渲染稳定性。

结果显示,X-Omni在英文文本准确率上达到了0.901,超越所有同类模型。

而在中文文本渲染方面,在OneIG中文任务上,X-Omni超过了GPT-4o,与Seedream 3.0表现相当;在中文长文本(LongText-Bench)评测中,X-Omni取得第一。

X-Omni采用的是一种叫SigLIP-VQ的tokenizer,不再以像素为单位构建图像,而是将图像编码为16,384个语义token。

这些token更贴近“概念”,而非图像细节,使模型更擅长理解语言并在图像中复现。

整个系统的语言能力依托于Qwen2.5-7B,这是由阿里巴巴开源的一款语言模型。

腾讯团队在其基础上增加了图像理解与生成模块,使X-Omni具备图文双向通感能力。

这意味着,无论是菜单、海报、UI界面,还是演讲稿、说明书,都可以被自然地转化为高质量图像。

对中国本土市场而言,这种能力至关重要。开源对垒商用,生态之战才刚开始

虽然X-Omni在多个关键维度上表现优异,但它并未宣称“碾压”GPT-4o。评测显示,改进幅度有限,非革命性跃迁。GPT-4o依然在综合性能上具备强大竞争力。

X-Omni的最大意义在于,它将来自多个组织、多个生态的开源技术融为一体,拼出了一个“模块化大模型”的可能形态。

它的扩散模型来自德国初创公司Black Forest Labs。语言模型来自阿里巴巴。评价系统与OCR系统则综合多个开源库构建而成。

这一切被整合进一个由腾讯发布的开源代码与模型,并已在Hugging Face与GitHub上全面开放。

这和OpenAI闭源的GPT-4o构成了鲜明对照。

后者虽然强大,但本质上仍是“黑箱”。当GPT-4o在ChatGPT上线图像生成功能,引发业界惊叹之时,

X-Omni则代表着另一条路径:开放、拼接、重构、调优。

这种路线或许无法一步登天,却为AI产业生态提供了另一种可持续发展模式。“后发者”可以通过策略、工程能力和生态协作缩小差距。

相关资讯

哥德尔90年前的「不完备性定理」,奠定了计算机与AI的理论基础

大神早已远去,而他的光芒仍在人间。
6/18/2021 2:19:00 PM
机器之心

美国最高法院最终裁定:维持TikTok禁令,特朗普发帖回应:意料之中应该尊重,但是否执行有待时间考虑,周受资或出席特朗普就职典礼

美最高法院最后裁定结果出来了:维持 TikTok 禁令。 美东时间,本周五,最高法院一致决定站在拜登政府一边,维持拜登总统今年 4 月 签署的《保护美国人免受外国对手控制应用法案》 。 最高法院的意见称:“毫无疑问,对于超过 1.7 亿美国人来说,TikTok 提供了一个独特而广阔的表达渠道、参与方式和社区来源。
1/18/2025 4:35:41 PM
51CTO技术栈

「完美的搜索引擎」是否存在?这家公司向谷歌发起挑战

你需要一群拒绝接受现状的人,并为之努力多年,直到一个抽象的愿景变为现实,即使其他人都不理解。 你每天都在用的搜索引擎,可能并不完美。 大型语言模型(LLMs)能够解决研究生水平的数学问题,但今天的搜索引擎却无法准确理解一个简单的三词短语。
1/18/2025 6:35:00 PM
机器之心
  • 1