AI在线 AI在线

巨人网络联手清华大学首创DiaMoE-TTS,开源多方言语音合成大模型框架

巨人网络AI Lab与清华大学电子工程系SATLab研究团队近日联合发布一项重大突破:首创多方言语音合成大模型框架DiaMoE-TTS,并宣布将数据、代码、方法全方位开源,旨在推动方言语音合成的公平与普惠。 在当前通用TTS(文本转语音)大模型能力惊人的时代,方言TTS(Dialect TTS)仍是业界难以触及的“灰色地带”。 现有的工业级方言模型过于依赖巨量的专有数据,导致方言从业者和研究者面临缺乏统一语料构建方法和端到端开源框架的困境。

巨人网络AI Lab与清华大学电子工程系SATLab研究团队近日联合发布一项重大突破:首创多方言语音合成大模型框架DiaMoE-TTS,并宣布将数据、代码、方法全方位开源,旨在推动方言语音合成的公平与普惠。

在当前通用TTS(文本转语音)大模型能力惊人的时代,方言TTS(Dialect TTS)仍是业界难以触及的“灰色地带”。现有的工业级方言模型过于依赖巨量的专有数据,导致方言从业者和研究者面临缺乏统一语料构建方法和端到端开源框架的困境。

音频 声波 智能语音

由双方联合首创的DiaMoE-TTS框架,为这一难题提供了一套开源的完整解决方案,其性能在一定程度上可媲美工业级方言TTS模型。该方案的关键创新在于:

  1. 统一的IPA表达体系: 基于语言学家的专业经验,构建了一个统一的国际音标(IPA)表达体系。

  2. 数据高效性: 该框架仅依赖开源方言ASR(自动语音识别)数据,解决了巨量专有数据依赖的痛点。

在推出广东话、四川话、上海话等中文方言版本之前,该研究团队已在英语、法语、德语、荷兰比尔茨语等多语种场景中进行过验证,证明该方法具备全球范围内的多语言可扩展性与稳健性。

巨人网络AI Lab与清华大学电子工程系SATLab表示,希望通过DiaMoE-TTS框架的开源,让任何研究者、开发者乃至语言文化保护工作者都能自由使用、改进与扩展这一框架,确保小众语言与方言的声音不再被通用大模型的洪流所淹没,而是能通过开源的力量被更广泛地听见与传承。

相关资讯

清华&巨人网络首创MoE多方言TTS框架,数据代码方法全开源

无论是中文的粤语、闽南话、吴语,还是欧洲的荷兰比尔茨语方言、法国奥克语,亦或是非洲和南美的地方语言,方言都承载着独特的音系与文化记忆,是人类语言多样性的重要组成部分。 然而,许多方言正在快速消失,语音技术如果不能覆盖这些语言,势必加剧数字鸿沟与文化失声。 在当今大模型引领的语音合成时代,通用 TTS 系统已展现出令人惊叹的能力,但方言 TTS 依然是相关从业者难以触及的「灰色地带」。
10/15/2025 1:20:00 PM
机器之心

支持 30 种方言混说,中国电信 AI 研究院发布“星辰”超多方言语音识别大模型

中国电信人工智能研究院(TeleAI)日前宣布发布业内首个支持 30 种方言自由混说的语音识别大模型 —— 星辰超多方言语音识别大模型。据介绍,该模型可打破单一模型只能识别特定单一方言的困境,支持同时识别理解粤语、上海话、四川话、温州话等 30 多种方言,是国内支持最多方言的语音识别大模型。应用场景方面,该模型有望极大解决老年人、老少边穷地区用户信息服务无法触达的问题。该大模型研发团队首创“蒸馏 膨胀”联合训练算法,解决超大规模多场景数据集和大规模参数条件下,预训练坍缩的问题,实现 1B 参数 80 层模型稳定
5/25/2024 3:47:03 PM
清源

支持中英双语及 40 种方言任意混说,中国电信 TeleAI 星辰语音大模型升级

中国电信人工智能研究院(TeleAI)在今年 5 月发布业内首个支持 30 种方言自由混说的语音识别大模型 —— 星辰超多方言语音识别大模型。 时隔不到半年,TeleAI 星辰语音大模型的多方言能力再次升级,攻克了湛江话、宜宾话、洛阳话、烟台话等方言,将方言种类从 30 种提升至 40 种,并引入对英文的识别。 与传统的有标注训练方法相比,TeleAI 通过预训练语音识别模型,利用海量无标注数据进行预训练,再通过少量有标注数据进行微调。
11/3/2024 9:37:53 AM
沛霖(实习)
  • 1