大型视觉模型

多模态大模型技术方向和应用场景

多模态大模型（Multimodal Large Language Models，MLLM）是一种结合了大型语言模型（LLM）和大型视觉模型（LVM）的深度学习模型，它们能够处理和理解多种类型的数据，如文本、图像和音频，从而在跨模态任务中展现出卓越的性能。核心特点对于多模态输入-文本输出的典型 MLLM，其架构一般包括编码器、连接器以及 LLM。如要支持更多模态的输出(如图片、音频、视频)，一般需要额外接入生成器，如下图所示:MLLM 架构图模态编码器负责将原始的信息(如图片)编码成特征，连接器则进一步将特征处理成LLM 易于理解的形式，即视觉 Token。

11/11/2024 3:11:23 PM

天涯咫尺TGH

资讯热榜

Cursor宣布免费向学生开放一年Pro会员，助力AI编程教育大BUG！非学生用户竟能白嫖谷歌顶级AI全家桶白嫖攻略速看保姆级教程：零代码基础也能微调Qwen3，并本地部署 Midjourney V7推出全新功能 “Omni-Reference”，让图像生成更灵活 GPT-4o生成的烂自拍，反而比我们更真实尤雨溪：让 AI 更好的理解 Vue、Vite 英伟达全新开源自动语音识别模型 Parakeet-TDT-0.6B-V2，语音转录能力再提升应对网络威胁利器！Cisco与Meta推出Foundation-sec-8B LLM

标签云

人工智能 OpenAI AI AIGC ChatGPT DeepSeek AI绘画模型数据机器人谷歌大模型 Midjourney 智能用户开源学习微软 GPT Meta 图像 AI创作技术 Gemini 论文马斯克 Stable Diffusion 算法芯片蛋白质生成式代码英伟达腾讯神经网络研究 Anthropic 计算 3D Sora AI设计开发者机器学习 AI for Science GPU AI视频场景苹果华为人形机器人预测百度伟达 Transformer 深度学习 Claude 搜索 xAI 大语言模型模态字节跳动驾驶具身智能神器推荐文本训练 LLaMA Copilot 视觉算力安全应用视频生成干货合集智能体大型语言模型亚马逊科技 AGI DeepMind