AI在线 AI在线

多模态

阿里开源多模态模型Qwen2.5-Omni：显存大幅降低暴降 50%

阿里开源多模态模型Qwen2.5-Omni：显存大幅降低暴降 50%
在开源大模型的竞争中，阿里巴巴推出了其最新的多模态模型 Qwen2.5-Omni-3B。 这款模型的显著特点是显存使用减少了50%，在同等处理能力下，更加适合普通消费者的 GPU 设备。 这一创新标志着阿里在多模态人工智能领域的进一步突破。
5/1/2025 10:00:51 AM
AI在线
图像编辑开源新SOTA，来自多模态卷王阶跃！大模型行业正步入「多模态时间」

图像编辑开源新SOTA，来自多模态卷王阶跃！大模型行业正步入「多模态时间」
全球AI大模型智能涌现，现在正在进入“多模态时间”。 一方面，全球业内各式各样的技术进展，都围绕多模态如火如荼展开。 另一方面，AI应用和落地的需求中，多模态也是最重要的能力。
4/28/2025 2:13:43 PM
Encoder-free无编码器多模态大模型EVEv2模型架构、训练方法浅尝

Encoder-free无编码器多模态大模型EVEv2模型架构、训练方法浅尝
基于视觉编码器的MLLM的基本构成：MLLM通常由预训练的模态编码器、预训练的LLM和一个连接它们的模态接口三个模块组成。 模态编码器(如：CLIP-ViT视觉编码器、Whisper音频编码器等)将原始信息（如图像或音频）压缩成更紧凑的表示。 预训练的LLM则负责理解和推理处理过的信号。
4/28/2025 2:03:00 AM
余俊晖
机械臂+大模型+多模态：打造人机协作具身智能体

机械臂+大模型+多模态：打造人机协作具身智能体
在人工智能快速发展的浪潮中，多模态大模型已成为技术前沿，使AI能够同时理解文本、图像、音频等多种信息。 这一突破为具身智能体开辟了新天地。 最近我在github中就找到了一个这样好玩的项目vlm_arm，其将机械臂与多模态大模型结合，打造一个能听人话、看图像、执行精准操作的人机协作智能体系统。
4/25/2025 2:30:00 AM
贝塔街的万事屋
MinerU部署实践：从零开始搭建你的专属PDF解析服务

MinerU部署实践：从零开始搭建你的专属PDF解析服务
在多模态RAG（Retrieval-Augmented Generation）系统中，PDF文件的高效、安全解析与处理是实现高质量知识检索和生成的关键环节。 PDF文件通常包含丰富的文本、图像和表格信息，这些多模态数据的有效提取和整合对于提升RAG系统的性能至关重要。 然而，传统的PDF解析工具往往存在解析精度不足、无法处理复杂格式（如图像和表格）等问题，尤其是在涉及私密文档时，数据安全和隐私保护也是一大挑战。
4/23/2025 3:00:00 AM
Goldma
万字拆解！最新多模态 RAG 技术全景解析！

万字拆解！最新多模态 RAG 技术全景解析！
来自华为云的最新多模态RAG综述，非常全面，对多模态RAG感兴趣的朋友强烈推荐！ 复制1、引言传统的RAG系统主要依赖于文本数据，通过检索与查询语义相似的相关文档片段，并将其与查询结合，形成增强的输入，供LLMs生成回答。 这种方法使得LLMs能够在推理阶段动态整合最新信息，从而提高回答的准确性和可靠性。
4/22/2025 7:00:00 AM
Goldma
视觉自回归生成理解编辑大一统！北大团队多模态新突破，训练数据代码全面开源

视觉自回归生成理解编辑大一统！北大团队多模态新突破，训练数据代码全面开源
最近Google的Gemini Flash和OpenAI的GPT-4o等先进模型又一次推动了AI浪潮。 这些模型通过整合文本、图像、音频等多种数据形式，实现了更为自然和高效的生成和交互。 北京大学团队继VARGPT实现视觉理解与生成任务统一之后，再度推出了VARGPT-v1.1版本。
4/16/2025 2:55:00 AM
地表最强，全面第一！可灵2.0多模态编辑震撼全场！开辟视频模型的“新语言”，Prompt的门槛被砍没了！

地表最强，全面第一！可灵2.0多模态编辑震撼全场！开辟视频模型的“新语言”，Prompt的门槛被砍没了！
出品 | 51CTO技术栈（微信号：blog51cto）今天，可灵全系正式进入2.0时代了！ 先来看看2.0动态质量、语义响应、画面美学等维度做了升级，直接看视频是最直观的： 要知道，可灵1.6表现已经相当能打，做到了文生图行业第一，文生视频行业第二的水平。 图片根据发布会介绍，可灵AI全球用户规模突破2200万，过去的10个月里，其月活用户量增长25倍，累计生成超过1.68亿个视频及3.44亿张图片。
4/15/2025 6:07:32 PM
MiniMax MCP Server 上线 文本输入即可调用

MiniMax MCP Server 上线 文本输入即可调用
今日，MiniMax稀宇科技宣布其MiniMax MCP Server正式上线。 这一创新平台为用户带来了一站式的多模态解决方案，只需简单文本输入，即可调用视频生成、图像生成、语音生成和声音克隆等多项前沿能力，极大地拓展了人工智能在创意内容生成领域的应用边界。 平台亮点强大的多模态功能:MiniMax MCP Server支持多种模态的生成能力，包括但不限于视频、图像、语音以及声音克隆。
4/14/2025 10:01:07 PM
AI在线
阿里全模态Qwen2.5-Omni技术报告万字解读！

阿里全模态Qwen2.5-Omni技术报告万字解读！
Qwen 团队最近发布了一款统一多模态大模型 Qwen2.5-Omni，开放了 7B 版本的权重。 能够同时处理文本、图像、音频和视频输入，并以流式方式生成文本和语音响应。 下面来详细看下：开源地址：论文地址：： 地址： Face：：：官方体验：：：在日常生活中，人类能够同时感知视觉和听觉信息，并通过大脑处理这些信息后，以书写、说话或使用工具等方式进行反馈，从而与世界上的各种生物进行信息交流并展现智能。
4/14/2025 12:20:00 AM
Goldma
谷歌DeepMind计划整合Gemini与Veo，打造智能全能助手

谷歌DeepMind计划整合Gemini与Veo，打造智能全能助手
在人工智能领域不断创新的谷歌，近日宣布了一项激动人心的计划。 谷歌 DeepMind 的首席执行官 Demis Hassabis 在播客节目 Possible 中透露，公司将把其 Gemini AI 模型与 Veo 视频生成模型进行整合。 这一举措旨在提升 Gemini 对物理世界的理解能力，助力开发出一个真正能够在现实生活中为用户提供帮助的通用数字助手。
4/13/2025 11:01:18 AM
AI在线
模态编码器 | CLIP改进之SigLIP，采用sigmoid损失的图文预训练

模态编码器 | CLIP改进之SigLIP，采用sigmoid损失的图文预训练
DeepMind对CLIP改进的一篇工作--SigLIP，发表在2023CVPR。 简单看下研究动机：传统的对比学习方法如CLIP等依赖于 softmax 归一化，这需要一个全局视角来计算成对相似度，从而限制了批处理大小的扩展能力，并且在小批处理大小下表现不佳。 因此本文提出了一个简单的成对 Sigmoid 损失函数用于语言-图像预训练（SigLIP）。
4/9/2025 2:10:00 AM
Goldma
模态编码器|CLIP详细解读

模态编码器|CLIP详细解读
下面来详细了解一下多模态大模型模态编码器部分。 今天首先来看下CLIP，OpenAI发表在2021年ICML上的一篇工作。 项目地址：：在自然语言处理（NLP）领域，通过大规模的文本数据预训练模型（如GPT-3）已经取得了显著的成果，但在计算机视觉领域，预训练模型仍然依赖于人工标注的图像数据集，严重影响了其在未见类别上的泛化性和可用性（需要用额外的有标注数据）。
4/7/2025 3:30:00 AM
Goldma
多模态模型结构与训练总结

多模态模型结构与训练总结
01、模型结构一般的多模态模型架构包含5个部分，分别是：模态编码器、输入映射器、大模型骨干、输出映射器以及模态生成器。 模态编码器（Modality Encoder, ME）将多种模态输入编码成特征表示，公式如下X表示模态，表示各种预训练好的编码器。 目前模态主要分为：视觉模态、语音模态、3D点云模态，其中视觉模态主要包括图像和视频，对于视频，视频通常被均匀采样成5帧图像，然后进行与图像相同的预处理。
4/7/2025 12:00:00 AM
Goldma
多模态AI核心技术：CLIP与SigLIP技术原理与应用进展

多模态AI核心技术：CLIP与SigLIP技术原理与应用进展
近年来，人工智能领域在多模态表示学习方面取得了显著进展，这类模型通过统一框架理解并整合不同数据类型间的语义信息，特别是图像与文本之间的关联性。 在此领域具有里程碑意义的模型包括OpenAI提出的CLIP（Contrastive Language-Image Pre-training，对比语言-图像预训练）和Google研发的SigLIP（Sigmoid Loss for Language-Image Pre-training，用于语言-图像预训练的Sigmoid损失）。 这些模型重新定义了计算机视觉与自然语言处理的交互范式，实现了从图像分类到零样本学习等多种高级应用能力。
4/3/2025 7:00:00 AM
AI “看图说话” 更懂细节！腾讯开源多模态理解技术HaploVL

AI “看图说话” 更懂细节！腾讯开源多模态理解技术HaploVL
3月27日，腾讯开源团队宣布推出了一项创新的多模态理解技术——HaploVL。 这一技术旨在通过单个Transformer架构实现高效的多模态融合，显著提升AI在视觉和语言交互中的表现，特别是在细粒度视觉理解任务上。 在人工智能领域，多模态大模型（LMMs）近年来迅速崛起，它们能够实现复杂的视觉-语言对话和交互。
3/27/2025 5:36:00 PM
AI在线
阿里通义千问开源发布新一代端到端多模态模型Qwen2.5-Omni

阿里通义千问开源发布新一代端到端多模态模型Qwen2.5-Omni
3月27日，阿里云通义千问Qwen团队宣布推出Qwen模型家族中的新一代端到端多模态旗舰模型——Qwen2.5-Omni。 这一全新模型专为全方位多模态感知而设计，能够无缝处理文本、图像、音频和视频等多种输入形式，并通过实时流式响应同时生成文本与自然语音合成输出。 Qwen2.5-Omni采用了创新的Thinker-Talker架构，这是一种端到端的多模态模型，旨在支持文本、图像、音频、视频的跨模态理解，并以流式方式生成文本和自然语音响应。
3/27/2025 8:21:00 AM
AI在线
一文看懂多模态思维链

一文看懂多模态思维链
多模态思维链（MCoT）系统综述来了！ 不仅阐释了与该领域相关的基本概念和定义，还包括详细的分类法、对不同应用中现有方法的分析、对当前挑战的洞察以及促进多模态推理发展的未来研究方向。 图片当下，传统思维链（CoT）已经让AI在文字推理上变得更聪明，比如一步步推导数学题的答案。
3/25/2025 9:06:11 AM
量子位