AI在线 AI在线

从文本生成到指令编辑 OmniGen2重塑开源多模态模型应用场景

近日,VectorSpaceLab在Hugging Face平台正式开源全能多模态模型OmniGen2,以创新性双组件架构和强大的视觉处理能力,为研究者和开发者提供了高效的可控生成式AI基础工具。 这款模型由30亿参数的视觉语言模型(VLM)Qwen-VL-2.5与40亿参数的扩散模型组合而成,通过冻结的VLM解析视觉信号和用户指令,结合扩散模型实现高质量图像生成,在视觉理解、文本生成图像、指令引导图像编辑和上下文生成四大核心场景中展现出领先性能。   作为开源项目,OmniGen2的视觉理解能力继承自Qwen-VL-2.5的强大基础,可精准解析图像内容;其文本生成图像功能支持从文本提示生成高保真、符合美学标准的图像;在指令引导图像编辑领域,该模型以高精度完成复杂修改任务,性能达到开源模型中的前沿水平;而上下文生成能力更可灵活处理人物、物体、场景等多元输入,生成连贯新颖的视觉输出。

近日,VectorSpaceLab在Hugging Face平台正式开源全能多模态模型OmniGen2,以创新性双组件架构和强大的视觉处理能力,为研究者和开发者提供了高效的可控生成式AI基础工具。

这款模型由30亿参数的视觉语言模型(VLM)Qwen-VL-2.5与40亿参数的扩散模型组合而成,通过冻结的VLM解析视觉信号和用户指令,结合扩散模型实现高质量图像生成,在视觉理解、文本生成图像、指令引导图像编辑和上下文生成四大核心场景中展现出领先性能。  

QQ20250624-095825.png

作为开源项目,OmniGen2的视觉理解能力继承自Qwen-VL-2.5的强大基础,可精准解析图像内容;其文本生成图像功能支持从文本提示生成高保真、符合美学标准的图像;在指令引导图像编辑领域,该模型以高精度完成复杂修改任务,性能达到开源模型中的前沿水平;而上下文生成能力更可灵活处理人物、物体、场景等多元输入,生成连贯新颖的视觉输出。

例如,用户既能通过自然语言指令让熊猫手持茶杯的卡通场景变换风格,也能为奇幻精灵角色添加动态背景,甚至修正图像中物体数量或颜色冲突等细节。  

QQ20250624-095835.png

目前,OmniGen2已开放模型权重下载,并提供Gradio和Jupyter在线演示,支持用户通过调整采样步数、文本引导强度、图像参考权重等超参数优化生成效果。

项目团队计划后续开源训练代码、数据集及构建流程,并推出上下文生成基准测试OmniContext,进一步完善CPU负载优化和多框架集成。随着多模态AI应用场景的持续扩展,OmniGen2凭借其资源效率与功能全面性,正为个性化视觉创作、智能设计辅助等领域开辟新的技术路径。

地址:https://huggingface.co/OmniGen2/OmniGen2

相关资讯

超越LLama2,通义千问登顶HuggingFace开源大模型排行榜榜首

12月8日消息,全球最大的开源大模型社区HuggingFace日前公布了最新的开源大模型排行榜,阿里云通义千问力压Llama2等国内外开源大模型登顶榜首。HuggingFace的开源大模型排行榜(Open LLM Leaderboard)是目前大模型领域最具权威性的榜单,收录了全球上百个开源大模型,测试维度涵盖阅读理解、逻辑推理、数学计算、事实问答等六大评测。通义千问(Qwen-72B)表现抢眼,以73.6的综合得分在所有预训练模型中排名第一。通义千问-72B登顶HuggingFace的Open LLM Leade
12/8/2023 5:00:00 PM
新闻助手

原来,这些顶级大模型都是蒸馏的

「除了 Claude、豆包和 Gemini 之外,知名的闭源和开源 LLM 通常表现出很高的蒸馏度。 」这是中国科学院深圳先进技术研究院、北大、零一万物等机构的研究者在一篇新论文中得出的结论。 前段时间,一位海外技术分析师在一篇博客中提出了一个猜想:一些顶级的 AI 科技公司可能已经构建出了非常智能的模型,比如 OpenAI 可能构建出了 GPT-5,Claude 构建出了 Opus 3.5。
1/29/2025 6:40:00 PM
机器之心

300倍体积缩减!​Hugging Face推SmolVLM模型:小巧智能,手机也能跑AI

Hugging Face 推出了一款令人瞩目的 AI 模型 ——SmolVLM。 这款视觉语言模型的体积小到可以在手机等小型设备上运行,且性能超越了那些需要大型数据中心支持的前辈模型。 SmolVLM-256M 模型的 GPU 内存需求不足1GB,性能却超过了其前代 Idefics80B 模型,这一后者的规模是其300倍,标志着实用 AI 部署的一个重大进展。
1/24/2025 9:48:00 AM
AI在线
  • 1