AI在线 AI在线

阿里通义发布端到端语音交互模型 Fun-Audio-Chat,能猜出你的心情

AI在线 12 月 23 日消息,阿里通义大模型今日发布了新一代端到端语音交互模型 Fun-Audio-Chat。 阿里通义本次开源了 Fun-Audio-Chat 8B,该模型在 OpenAudioBench、MMAU、Speech-ACEBench、VStyle 等多个榜单上“同尺寸模型排名第一”,综合性能超 GLM4-Voice、Kimi-Audio、Baichuan-Omni 等。 AI在线附 Fun-Audio-Chat 技术亮点如下:端到端 S2S 架构:从语音输入直接生成语音输出,无需 ASR LLM TTS 多模块拼接,效率更高、延迟更低。

AI在线 12 月 23 日消息,阿里通义大模型今日发布了新一代端到端语音交互模型 Fun-Audio-Chat

阿里通义发布端到端语音交互模型 Fun-Audio-Chat,能猜出你的心情

阿里通义本次开源了 Fun-Audio-Chat 8B,该模型在 OpenAudioBench、MMAU、Speech-ACEBench、VStyle 等多个榜单上“同尺寸模型排名第一”,综合性能超 GLM4-Voice、Kimi-Audio、Baichuan-Omni 等。

阿里通义发布端到端语音交互模型 Fun-Audio-Chat,能猜出你的心情

AI在线附 Fun-Audio-Chat 技术亮点如下:

  • 端到端 S2S 架构:从语音输入直接生成语音输出,无需 ASR + LLM + TTS 多模块拼接,效率更高、延迟更低。

  • 双分辨率设计:Shared LLM 层以 5Hz 帧率高效处理,SRH 以 25Hz 帧率生成高质量语音,GPU 计算开销降低近 50%。

  • 百万小时多任务数据训练:覆盖音频理解、语音问答、情感识别、工具调用等真实场景,让模型更“接地气”。

阿里通义发布端到端语音交互模型 Fun-Audio-Chat,能猜出你的心情

阿里通义发布端到端语音交互模型 Fun-Audio-Chat,能猜出你的心情

阿里通义表示,Fun-Audio-Chat 可以提供“像朋友一样的对话体验”,感知用户的情绪,哪怕用户没直接说情绪,它也能从语气、语速、停顿里猜出心情,然后给出回应。

此外,Fun-Audio-Chat 可完成复杂任务,用户只需用自然语音下达指令,它就能自动调用函数

AI在线附 Fun-Audio-Chat 8B 开源地址如下:

  • GitHub:https://github.com/FunAudioLLM/Fun-Audio-Chat

  • HuggingFace:https://huggingface.co/FunAudioLLM/Fun-Audio-Chat-8B

  • ModelScope:https://modelscope.cn/FunAudioLLM/Fun-Audio-Chat-8B

  • Demo Page:https://funaudiollm.github.io/funaudiochat

相关资讯

阿里通义新视频生成和编辑模型VACE 可控制运动轨迹、替换主体等

阿里通义新视频生成和编辑模型VACE 可控制运动轨迹、替换主体等

是否还在感叹视频制作门槛高,后期编辑太烧脑?别担心,阿里通义Wan团队再次出手,推出了他们最新的重量级模型All-in-One视频生成和编辑模型——VACE。 VACE最引人注目的能力之一,便是其强大的按条件生成视频功能。 这意味着,你只需要用文字描绘出心中的场景,VACE就能迅速将你的想象变为现实。
3/13/2025 10:30:00 AM AI在线
阿里巴巴推出AI旗舰应用“新夸克” 全面升级为“AI超级框”

阿里巴巴推出AI旗舰应用“新夸克” 全面升级为“AI超级框”

3月13日,阿里巴巴正式推出其AI旗舰应用——新夸克。 这款全新升级的夸克基于阿里通义领先的推理及多模态大模型,打造了一个无边界的“AI超级框”,为用户带来全新的AI体验。 新夸克的创新之处在于将AI对话、深度思考、深度搜索、深度研究和深度执行等功能整合到一个极简的“AI超级框”中,一站式满足用户多样化的需求。
3/13/2025 11:29:00 AM AI在线
LiblibAI接入阿里通义大模型 推出10秒AI视频生成功能

LiblibAI接入阿里通义大模型 推出10秒AI视频生成功能

近日,国内AI图像创作领域的领军平台LiblibAI宣布一项重大举措——接入阿里通义系列大模型,这一动作显著提升了其AI创作能力,为用户带来了更强大的创作工具。 此次接入后,基于万相最新开源模型,LiblibAI推出了文生视频和图生视频功能。 用户只需输入文本提示词,或者上传图片,就能快速生成10秒短视频。
3/24/2025 6:00:40 PM AI在线