MLLM

多模态LLM+RAG：突破生成瓶颈的下一代AI架构革命

译者 | 朱先忠审校 | 重楼通过整合文本、图像、音频等数据，多模态大型语言模型（MLLM）开始突破传统RAG的文本局限，赋予AI感知能力。其核心架构采用CLIP、Whisper等编码器实现跨模态语义统一，通过投影层对齐多模态信息。不过，多模态大型语言模型的评估需要综合检索质量、生成忠实度及跨模态一致性等一系列指标实现。

6/9/2025 8:42:23 AM

朱先忠

AI为何读不懂钟表？模拟时钟暴露的认知短板与AI进化隐忧

译者 | 朱先忠审校 | 重楼中国和西班牙研究人员发表的一篇新论文发现，即使是像GPT-4.1这样的先进多模态人工智能模型，也难以从模拟时钟图像中识别时间。时钟中细微的视觉变化都可能导致严重的解读错误，而微调也只对熟悉的示例有效。这一结果引发了人们对这些模型在现实世界任务中处理不熟悉图像时的可靠性的担忧。

5/28/2025 10:31:13 AM

朱先忠

4月11日，OpenGVLab开源发布了InternVL3系列模型，这标志着多模态大型语言模型（MLLM）领域迎来了新的里程碑。 InternVL3系列包含从1B到78B共7个尺寸的模型，能够同时处理文字、图片、视频等多种信息，展现出卓越的整体性能。与前代产品InternVL2.5相比，InternVL3在多模态感知和推理能力上有了显著提升，其多模态能力进一步扩展至工具使用、GUI代理、工业图像分析、3D视觉感知等多个领域。

4/14/2025 9:01:07 AM

AI在线

科学家构建多模态LLM框架，进行3D脑CT放射学报告生成

编辑 | 烂菜叶多模态大型语言模型 (MLLM) 已经改变了现代医疗保健的格局，其中自动放射学报告生成 (RRG) 正在成为一种尖端应用。虽然基于 2D MLLM 的 RRG 已经得到充分认可，但其在 3D 医学图像中的实用性仍未得到充分开发。在这方面，台北荣民总医院（Taipei Veterans General Hospital）、台湾阳明交通大学（National Yang Ming Chiao Tung University）以及美国加州大学的研究人员整理了 3D-BrainCT 数据集（18,885 个文本扫描对）并开发了 BrainGPT，这是一种专为 3D CT RRG 设计的临床视觉指令调整 (CVIT) 模型。

3/13/2025 2:23:00 PM

ScienceAI

DeepSeek-R1的方法迁移到多模态大模型-开源Vision-R1实现方法思路

刚开始琢磨使用DeepSeek-R1风格训练多模态R1模型，就看到这个工作，本文一起看看，供参考。先提出问题，仅靠 RL 是否足以激励 MLLM 的推理能力？结论：不能，因为如果 RL 能有效激励推理能力，Vision-R1-Zero 应该表现出生成复杂 CoT 的能力，并在基准测试中提升准确率。

3/13/2025 8:13:47 AM

余俊晖

登Nature，超越GPT-4V，MIT、哈佛开发人类病理学多模态AI「副驾驶」

编辑 | KX多年来，计算病理学领域在基于图像、基因组学数据开发越来越准确、针对特定任务的预测模型方面取得了显著进步。然而，尽管生成式人工智能 (AI) 呈爆炸式增长，但在构建针对病理学的通用、多模态 AI 助手和「副驾驶」（Copilot）方面的研究却有限。近日，哈佛大学和 MIT 的研究团队提出了一种用于人类病理学的视觉语言通才 AI 助手：PathChat。研究人员将 PathChat 与几种多模态视觉语言 AI 助手和 GPT-4V 进行了比较。PathChat 在来自不同组织来源和疾病模型的病例的多项选择

6/20/2024 3:56:00 PM

ScienceAI

一句指令自动玩手机，网上冲浪神器Mobile-Agent来了

一直以来，让 AI 成为手机操作助手都是一项颇具挑战性的任务。在该场景下，AI 需要根据用户的要求自动操作手机，逐步完成任务。随着多模态大语言模型（Multimodal Large Language Model，MLLM）的快速发展，以 MLLM 为基础的多模态 agent 逐渐应用于各种实际应用场景中，这使得借助多模态 agent 实现手机操作助手成为了可能。本文将介绍一篇最新的利用多模态 agent 实现 AI 操作手机的研究《Mobile-Agent: Autonomous Multi-Modal Mobil

2/4/2024 3:25:00 PM

机器之心

资讯热榜

智谱AI全新企业级超级助手Agent CoCo正式上线苹果发布全新Xcode 26开发者工具：内置ChatGPT先进AI功能豆包App“一句话P图”功能全新升级基于SeedEdit 3.0实现全面优化 DeepSeek前高管秘密创业，新AI Agent项目已获顶级VC押注那个男人回来了！Ilya现身多伦多大学毕业典礼：AI 像是用数字方式复制出来的大脑！不管你愿不愿意，AI都将深刻影响你的一生！ ChatGPT 语音功能升级，实时翻译对话更自然流畅支持MCP！开源智能体开发框架 Rowboat：打造你的智能助手只需几分钟苹果向开发者开放本地AI能力，推出全新Foundation Models框架

标签云

人工智能 AI OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画数据谷歌机器人大模型 Midjourney 用户智能开源微软 GPT 学习 Meta 图像技术 AI创作 Gemini 论文马斯克 Stable Diffusion 算法代码英伟达 Anthropic 芯片生成式开发者蛋白质腾讯神经网络研究 3D 生成训练苹果计算智能体 Sora 机器学习 AI设计 AI for Science Claude GPU AI视频人形机器人华为搜索场景百度大语言模型 xAI 预测伟达深度学习 Transformer 字节跳动 Agent 模态具身智能神器推荐 LLaMA 文本视觉 Copilot 算力工具 LLM 驾驶 API 大型语言模型应用 RAG 亚马逊