AI在线 AI在线

开启多模态思考新时代:昆仑万维开源 R1V 视觉思维链推理模型

昆仑万维今日正式开源首款工业界多模态思维链推理模型 Skywork R1V,成为中国第一个开源「多模态推理模型」的企业,即日起开源模型权重和技术报告。

昆仑万维今日正式开源首款工业界多模态思维链推理模型 Skywork R1V,成为中国第一个开源「多模态推理模型」的企业,即日起开源模型权重和技术报告。

图片

模型权重下载

  • Hugging Face:https://huggingface.co/Skywork/Skywork-R1V-38B

  • GitHub:https://github.com/SkyworkAI/Skywork-R1V

详细技术报告

  • https://github.com/SkyworkAI/Skywork-R1V/blob/main/Skywork_R1V.pdf

据介绍,视觉推理模型是一类能够解决需要思维链(Chain-of-Thought)的视觉任务的模型,通过对视觉信息进行多步逻辑推理与分析,逐步推导出最终结果。这种模型关注图像内容的识别与理解,同时强调通过层层递进的推理路径,实现复杂视觉问题的精准求解,例如视觉逻辑推理、视觉数学问题、图像中的科学现象分析、医学影像的诊断推理等。

在 Reasoning 推理能力方面,Skywork R1V 实现了模型的顶尖逻辑推理与数学分析能力,在权威的 MATH500 和 AIME 基准测试中,Skywork R1V 分别取得 94.0 和 72.0 分;在 Vision 视觉理解能力方面,Skywork R1V 成功地将其文本推理与思维链推导能力迁移到视觉任务中,在 MMMU 与 MathVista 等视觉推理基准中分别取得了 69 和 67.5 分。

图片

昆仑万维称 Skywork R1V 模型拥有三项关键技术创新,AI在线附如下:

文本推理能力的多模态高效迁移

昆仑万维团队首次提出利用 Skywork-VL 的视觉投影器,无需重新训练语言模型和视觉编码器,即可实现文本推理能力的高效迁移到视觉任务,同时保留了优秀的原本推理文本能力(AIME 72.0,MATH500 94.0)。

多模态混合式训练(Iterative SFT+GRPO)

通过结合迭代监督微调(Iterative SFT)和 GRPO 强化学习,分阶段对齐视觉-文本表征,实现跨模态任务的高效融合,极大提升跨模态任务的表现。推动模型在 MMMU 基准达到 69 分的能力,同时在 MathVista 达到 67.5 分,与更大规模的闭源模型基本持平。通过反复迭代地利用高质量数据与高难度数据的组合,实现模型持续的知识巩固与错误纠正,显著提升了多模态推理的精度与泛化性能。

图片

▲ 多模态混合式训练(来源:Skywork R1V 技术报告)

自适应长度思维链蒸馏

团队提出了一种基于视觉-文本复杂度的自适应推理链长度控制机制,动态优化模型推理过程,避免模型“过度思考”,提升推理效率。结合多阶段自蒸馏策略,进一步提升了数据生成与推理过程的质量,促进了模型在复杂多模态任务中的表现。

图片

▲ 自适应长度思维链蒸馏(来源:Skywork R1V 技术报告)

相关资讯

昆仑万维发布并开源 Skywork-R1V 3.0,多模态推理能力逼近人类专家水平

AI在线 7 月 9 日消息,昆仑万维刚刚发布公告,宣布推出最新的 Skywork-R1V 3.0 版本并开源。 据昆仑万维介绍,Skywork-R1V 3.0 在后训练阶段通过强化学习策略深度激发模型的跨模态推理能力,在复杂逻辑建模与跨学科泛化方面实现双重飞跃。 Skywork-R1V 3.0 基于上一代推理模型 Skywork-R1V 2.0 蒸馏数据进行“冷启动”,通过拒绝采样构建高质量多模态推理训练集,指导开源视觉大模型 InternVL-38B(38B 参数)学会多模态推理的基本格式和方法。
7/9/2025 10:22:02 AM
问舟

昆仑万维「天工4.0」携超强o1/4o霸气上线!强推理+实时语音,免费无限体验

2024 年 12 月中旬,前 OpenAI 首席科学家 Ilya Sutskever 在 NeurIPS 大会上发表了一个惊人的观点:Scaling law 正在放缓,预训练时代即将结束,未来的研究方向将更加注重推理能力的提升。 如果 Ilya 的预测为真,那我们现在其实正在经历一场大模型发展路线的范式转移。 在国内,不少从业者也观察到了类似趋势。
1/6/2025 1:01:00 PM
机器之心

昆仑万维天工超级智能体今日上线,官方称用户使用量过大致卡塞将限流

昆仑万维今日面向全球市场,同步发布天工超级智能体(Skywork Super Agents)。这款产品采用了 AI agent 架构和 deep research 技术,能够一站式生成文档、PPT、表格(excel)、网页、播客和音视频多模态内容。 昆仑万维今日午间发布天工智能体限流通知:“5 月 22 日上午,昆仑万维天工超级智能体(Skywork Super Agents)上线后,由于用户使用量过大,导致卡塞,我们会采取限流措施,请大家理解,感谢支持。”
5/22/2025 1:51:41 PM
归泷
  • 1