大型视觉模型

多模态大模型技术方向和应用场景

多模态大模型（Multimodal Large Language Models，MLLM）是一种结合了大型语言模型（LLM）和大型视觉模型（LVM）的深度学习模型，它们能够处理和理解多种类型的数据，如文本、图像和音频，从而在跨模态任务中展现出卓越的性能。核心特点对于多模态输入-文本输出的典型 MLLM，其架构一般包括编码器、连接器以及 LLM。如要支持更多模态的输出(如图片、音频、视频)，一般需要额外接入生成器，如下图所示:MLLM 架构图模态编码器负责将原始的信息(如图片)编码成特征，连接器则进一步将特征处理成LLM 易于理解的形式，即视觉 Token。

11/11/2024 3:11:23 PM

天涯咫尺TGH

资讯热榜

LangChain V1.0 深度解析：手把手带你跑通全新智能体架构 OpenAI 宣布印度用户可享受一年免费 ChatGPT Go 服务 DeepSeek-OCR：OCR 的新突破 Soul App开源播客语音合成模型，可流畅自然多轮语音对话，支持川粤豫等多方言与副语言风格红杉资本注资Rogo Technologies，AI 工具或将颠覆初级银行家角色地理学的AlphaEvolve？MIT斯坦福让AI自我生长、懂地理、懂世界深度伪造技术再现乱象，OpenAI 新工具 Sora 引发关注 Anthropic 推出新功能，Claude 为金融分析师提供强大工具

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek 谷歌 AI绘画机器人大模型数据 Midjourney 开源 Meta 智能微软 AI新词用户 GPT 学习技术智能体马斯克 Gemini 图像 Anthropic 英伟达 AI创作训练 LLM 论文代码算法 Agent AI for Science 芯片苹果腾讯 Claude Stable Diffusion 蛋白质开发者生成式神经网络 xAI 机器学习 3D RAG 人形机器人研究 AI视频大语言模型生成具身智能 Sora 工具 GPU 百度华为计算字节跳动 AI设计 AGI 大型语言模型搜索视频生成场景深度学习架构 DeepMind 生成式AI 编程视觉 Transformer 预测 MCP AI模型伟达特斯拉