AI在线 AI在线

开源免费语音克隆模型ChatterBox AI,性能测试超ElevenLabs

人工智能语音技术领域迎来重大突破!加拿大初创公司Resemble AI近日发布其首款开源文本转语音(TTS)模型ChatterBox,采用MIT许可证。 这一模型以其卓越的语音克隆能力、情绪控制功能和超低延迟特性,迅速成为行业焦点,甚至在盲测中超越了知名闭源模型ElevenLabs。 ChatterBox的发布背景ChatterBox是Resemble AI在语音合成领域的最新成果,基于0.5亿参数的Llama架构,训练数据高达50万小时的精选音频。

人工智能语音技术领域迎来重大突破!加拿大初创公司Resemble AI近日发布其首款开源文本转语音(TTS)模型ChatterBox,采用MIT许可证。这一模型以其卓越的语音克隆能力、情绪控制功能和超低延迟特性,迅速成为行业焦点,甚至在盲测中超越了知名闭源模型ElevenLabs。

image.png

ChatterBox的发布背景

ChatterBox是Resemble AI在语音合成领域的最新成果,基于0.5亿参数的Llama架构,训练数据高达50万小时的精选音频。相较于传统闭源TTS解决方案,ChatterBox以开源形式发布,旨在为开发者、创作者和企业提供高质量且自由度更高的语音生成工具。近期网络信息显示,ChatterBox自5月底发布以来,已在GitHub上获得数百个Star,显示出社区对其的高度认可。

其独特的功能,如零样本语音克隆、情绪夸张控制和实时推理,使其在语音助手、游戏、影视制作等领域展现出巨大潜力。ChatterBox的发布不仅降低了语音克隆技术的使用门槛,还为行业树立了新的标杆。

核心特性:技术突破与应用场景

零样本语音克隆

ChatterBox支持仅需数秒参考音频即可实现精准的语音克隆,无需额外训练。这种“零样本”能力极大简化了语音克隆流程,适用于个性化语音助手、虚拟角色配音等场景。开发者可通过简单的音频提示调整目标语音风格,确保输出高度贴合需求。

情绪控制创新

ChatterBox是首款支持情绪夸张控制的开源TTS模型,用户可通过单一参数调节语音的情感强度,从单调到戏剧化表达均可实现。这一功能使其在需要高度表现力的场景(如动画、广告和互动娱乐)中表现出色,显著优于传统模型的机械化输出。

超低延迟与易用性

得益于基于对齐的生成技术,ChatterBox实现快于实时的语音合成,适合实时应用如语音助手和游戏对话系统。配合专用的Python库(chatterbox-tts),开发者可轻松在本地或云端部署模型,并支持CUDA加速,进一步提升效率。

内置水印技术

为应对语音克隆可能带来的伦理问题,ChatterBox在生成音频中嵌入Resemble AI的PerTh神经水印技术。这种水印难以察觉但可追踪,确保生成内容的可追溯性,平衡了技术开放性与安全性。

行业影响:开源语音技术的里程碑

ChatterBox的开源发布标志着语音克隆技术从专有走向民主化。近期测试显示,63.75%的听众在盲测中更偏好ChatterBox的音频输出,优于行业标杆ElevenLabs,凸显其竞争力。 与此同时,ChatterBox的MIT许可证为开发者提供了无障碍的使用体验,预计将加速其在教育、娱乐和商业领域的普及。

然而,语音克隆技术的开放也引发了伦理讨论。网络动态指出,AI语音克隆已被用于诈骗和非授权内容生成,凸显了技术滥用的风险。 Resemble AI通过水印技术和社区规范呼吁,试图在开放创新与责任使用间找到平衡。AIbase认为,这一努力为行业树立了负责任开源的典范。

项目:https://github.com/resemble-ai/chatterbox

相关资讯

Resemble AI开源TTS Chatterbox ,性能直逼超越ElevenLabs

近年来,文本转语音(TTS)技术在人工智能领域的应用日益广泛,从智能助手到内容创作,TTS正在重塑我们与声音交互的方式。 一款名为Chatterbox的开源TTS模型横空出世,凭借其卓越的性能和创新功能,迅速成为行业焦点。 Chatterbox:开源TTS的革命性突破Chatterbox由Resemble AI开发,基于MIT许可证完全开源,允许开发者自由使用和修改。
5/29/2025 11:01:23 AM
AI在线

HYBE旗下AI 声音工具Supertone Play上线:10秒搞定声音克隆

近日,HYBE 旗下的人工智能语音公司 Supertone 宣布推出了一款名为 “Supertone Play” 的文本转语音工具,旨在生成高质量、富有表现力的音频内容。 这款新工具目前支持英语、韩语和日语,预计在今年内将扩展至西班牙语和中文。 Supertone Play 提供了150种声音角色,适用于多种内容创作需求,包括自然对话、专业播报新闻和有声读物,以及潮流驱动的搞笑声音。
2/18/2025 10:00:23 AM
AI在线

Spark-TTS:用AI让声音“克隆”和“定制”成为现实!

在科技飞速发展的今天,人工智能已经渗透到我们生活的方方面面,从智能语音助手到各种自动化服务,AI正在以一种前所未有的方式改变我们的生活。 今天,我要给大家介绍一项超级酷炫的技术——Spark-TTS,一个基于Qwen2.5模型的高效文本转语音系统。 它不仅能“克隆”你的声音,还能根据你的需求“定制”出全新的声音!是不是听起来很神奇?什么是Spark-TTS?Spark-TTS是一种新型的文本转语音(TTS)系统,它的核心是BiCodec——一种单流语音编解码器。
3/7/2025 2:54:00 PM
AI在线
  • 1