Stream-Omni

Stream-Omni：同时支持各种模态组合交互的文本-视觉-语音多模态大模型

GPT-4o式的多模态大模型（LMMs）展现出在文本、视觉和语音模态上的全能能力，其在线语音服务还能在语音交互过程中同步提供中间文本结果（即用户输入和模型响应的转录内容），为用户提供“边看边听”的灵活交互体验。因此，如何构建支持文本、视觉和语音三种模态的多模态大模型成为近期研究热点。现有的多模态大模型通常利用多个编码器提取各个模态的表示，然后将各模态表示沿序列维度拼接并输入至大语言模型基座中以生成回复。

7/7/2025 12:58:00 PM

机器之心

资讯热榜

单张4090跑到30fps，范浩强团队让VLA实时跑起来了最具争议性研究：大模型中间层输出可 100% 反推原始输入奥特曼回应一切：重组后仍需微软支持，不相信OpenAI的欢迎做空 OpenAI 或将于明年上市，估值可达万亿！ OpenAI更新ChatGPT规则：10月29日起禁止医疗、法律与财务建议「套壳」的最高境界：OpenAI揭秘Atlas浏览器架构OWL 亚马逊股价暴涨 13%，人工智能推动云计算迎来多年最快增长 Bevel 获得 1000 万美元 A 轮融资，致力于 AI 健康助手创新

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek 谷歌 AI绘画大模型机器人数据 Midjourney 开源 Meta AI新词微软智能用户 GPT 学习技术智能体马斯克 Gemini 图像 Anthropic 英伟达 AI创作训练 LLM 论文代码算法 Agent AI for Science 芯片苹果 Claude 腾讯 Stable Diffusion 蛋白质开发者生成式神经网络 xAI 机器学习 3D RAG 人形机器人 AI视频研究大语言模型生成具身智能 Sora 工具 GPU 百度华为计算字节跳动 AI设计大型语言模型 AGI 搜索视频生成场景深度学习架构生成式AI DeepMind 编程视觉 Transformer AI模型预测亚马逊特斯拉 MCP