AI在线 AI在线

腾讯混元发布52B参数多模态理解模型Large-Vision,支持任意分辨率全场景输入

腾讯混元团队近日发布了全新的多模态理解模型——混元Large-Vision,该模型采用腾讯混元擅长的MoE(专家混合)架构,激活参数达到52B规模,在性能与效率之间实现了良好平衡。 混元Large-Vision的核心亮点在于其强大的多模态输入支持能力。 该模型不仅支持任意分辨率的图像处理,还能处理视频和3D空间输入,为用户提供了全方位的视觉理解体验。

腾讯混元团队近日发布了全新的多模态理解模型——混元Large-Vision,该模型采用腾讯混元擅长的MoE(专家混合)架构,激活参数达到52B规模,在性能与效率之间实现了良好平衡。

混元Large-Vision的核心亮点在于其强大的多模态输入支持能力。该模型不仅支持任意分辨率的图像处理,还能处理视频和3D空间输入,为用户提供了全方位的视觉理解体验。这一技术突破意味着用户可以直接输入各种格式和尺寸的视觉内容,无需进行复杂的预处理操作。

MoE架构优势凸显,效率与性能并重

混元Large-Vision选择MoE架构并非偶然。这种架构通过动态激活部分专家网络来处理不同类型的输入,既保证了模型的强大性能,又避免了全参数激活带来的计算资源浪费。52B的激活参数规模在当前多模态模型中处于先进水平,能够处理复杂的视觉理解任务。

该模型还重点提升了多语言场景理解能力,这对于全球化应用具有重要意义。在处理包含多种语言文字的图像或视频时,混元Large-Vision能够准确识别和理解不同语言环境下的视觉内容,为跨语言的多模态应用提供了技术基础。

任意分辨率支持开启新应用可能

混元Large-Vision支持任意分辨率图像输入的特性尤其值得关注。传统的视觉模型往往需要将输入图像调整到固定尺寸,这可能导致信息丢失或画质下降。而混元Large-Vision能够直接处理原始分辨率的图像,保持了视觉信息的完整性,这对于需要精细视觉分析的应用场景具有重要价值。

3D空间输入支持则进一步扩展了模型的应用范围,为虚拟现实、增强现实、3D建模等领域的AI应用提供了强有力的技术支撑。结合视频处理能力,该模型有望在智能监控、视频分析、内容创作等多个行业发挥重要作用。

腾讯混元Large-Vision的发布进一步加剧了国内多模态AI模型的竞争格局。随着各大厂商在多模态理解领域持续投入,用户将能享受到更加智能、高效的AI视觉理解服务。

相关资讯

15 个 AI 模型只有 3 个得分超 50%,SIUO 跑分被提出:评估多模态 AI 模型的安全性

最新发表在 arXiv 的研究论文指出,包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型,处理用户的多模态输入(例如一起输入图片和文本内容)之后,输出结果并不安全。这项研究标题为《跨模态安全调整》(Cross-Modality Safety Alignment),提出了一个全新的“安全输入但不安全输出”(SIUO),涉及道德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等 9 个安全领域。研究人员说,大型视觉语言模型(LVL
6/25/2024 9:12:58 AM
故渊

vivo 新多模态模型登场,AI 理解GUI界面能力再升级!

近日,vivo AI Lab 发布了其最新的端侧多模态模型 ——BlueLM-2.5-3B。 这款模型不仅小巧高效,更具备了理解图形用户界面(GUI)的能力,标志着人工智能在处理文本和图像方面迈出了重要一步。 BlueLM-2.5-3B 的独特之处在于它可以灵活切换长短思考模式,并引入了思考预算控制机制,帮助 AI 更好地平衡思考的深度与效率。
7/11/2025 11:12:21 AM
AI在线

将多模态大模型稀疏化,3B模型MoE-LLaVA媲美LLaVA-1.5-7B

对于大型视觉语言模型(LVLM)而言,扩展模型可以有效提高模型性能。然而,扩大参数规模会显著增加训练和推理成本,因为计算中每个 token 都会激活所有模型参数。基于此,来自北京大学、中山大学等机构的研究者联合提出了一种新颖的 LVLM 训练策略 ——MoE-Tuning。MoE-Tuning 可以构建参数数量惊人但计算成本恒定的稀疏模型,并有效解决通常与多模态学习和模型稀疏性相关的性能下降问题。该研究还提出了一种基于 MoE 的新型稀疏 LVLM 架构 ——MoE-LLaVA 框架。该框架独特地在部署过程中通过路
1/31/2024 3:01:00 PM
机器之心
  • 1