AI在线 AI在线

豆包语音团队提出“AI多人有声剧”方案,效果媲美真人配音+后期

近日,豆包语音团队发布了“AI多人有声剧”自动化方案。 方案支持多角色、高表现力的TTS(语音合成)演播,同时实现了全自动AI后期的链路,从小说文本到高质量的多人有声剧成品,全部由AI端到端完成。 据了解,“AI多人有声剧”自动化方案基于高自然度的多角色智能朗读,配合AI后期自动添加音乐、音效、特效, 并进行智能混音,能够全自动生产媲美真人水准的有声剧作品。

近日,豆包语音团队发布了“AI多人有声剧”自动化方案。方案支持多角色、高表现力的TTS(语音合成)演播,同时实现了全自动AI后期的链路,从小说文本到高质量的多人有声剧成品,全部由AI端到端完成。

据了解,“AI多人有声剧”自动化方案基于高自然度的多角色智能朗读,配合AI后期自动添加音乐、音效、特效, 并进行智能混音,能够全自动生产媲美真人水准的有声剧作品。这套方案不仅使得听书自然度、沉浸感显著提升,且生产链路全程无人工参与,可大幅降低制作成本、缩短制作周期,高效覆盖更多书籍。

豆包语音团队提出“AI多人有声剧”方案,效果媲美真人配音+后期

“AI多人有声剧”自动化方案支持从小说文本到完整成品有声剧的全自动生产。该方案可以自动进行角色划分,准确率超过98%,同时其语音大模型通过对海量文本与语音的多模态预训练,原生地将文本和语音模态融合,引入思维链信息,具备强大的文本理解能力和语音演绎能力,多人演播效果发音自然、情感丰富。

此外,方案中的画本预测模型在多角色演播音频基础上,实现了从小说文本到带有音效、人声特效、环境音、配乐的画本预测,在得到画本信息之后进行音频召回并合成、智能动态调整音频参数,并结合多角色TTS最终合成“有声剧”成品。

目前,首批通过“AI多人有声剧”方案端到端创作的作品已经在番茄小说APP上线,效果超出预期,并得到书友良好反馈,为听书行业注入全新活力。未来,“AI多人有声剧”方案仍将不断升级,覆盖更多有声内容,小说更新即可让用户同步享受精品有声剧。

相关资讯

ElevenLabs向所有作家开放AI有声读物出版计划,与Audible竞争

据TechCrunch消息,语音AI公司ElevenLabs现已允许作者在其阅读器应用上发布AI生成的有声读物,此前该公司与Spotify合作推出AI叙述有声读物。 ElevenLabs上个月筹集1.8亿美元巨额资金,去年开始邀请作家试用出版计划,如今该计划正式向所有作家开放。 该公司旨在提供价格合理且易用的有声读物创作工具,以降低制作成本,与Audible竞争,因为Audible给作者的版税较低。
2/26/2025 3:05:00 PM
AI在线

在 AI 最火热的时候,AI 大牛田渊栋写了本小说《破晓之钟》

“在 AI 最火热的时候,我写了本小说。”这话不是别人说的,这话是 AI 大牛田渊栋说的。这个名字可能不彰显于大众媒体,但在计算机和 AI 领域,几乎是判别式一样的存在。至少在华人科学家面孔中,盘点谷歌无人车时绕不过他,盘点围棋 AI 时绕不过他,梳理巨头 Meta 的 AI 人才时也遗漏不了他。田渊栋现在是 Meta AI Research(FAIR)研究科学家总监,正在带队研究,如何让 AI 在推理和规划问题上,产生现有的大模型产生不了的能力。他是上海交大校友,在计算机系获得了本科和硕士学位,其后又进一步到了
8/23/2024 12:06:20 PM
清源

AI在用 | 发现一个AI调色板,还真整出了「五彩斑斓的黑」

机器之能原创作者:sia以大模型、AIGC为代表的人工智能浪潮已经在悄然改变着我们生活及工作方式,但绝大部分人依然不知道该如何使用。因此,我们推出了「AI在用」专栏,通过直观、有趣且简洁的人工智能使用案例,来具体介绍AI使用方法,并激发大家思考。我们也欢迎读者投稿亲自实践的创新型用例。投稿邮箱:[email protected]无论用哪种模型生成精美图片,提示语都会包含对调色板的要求。想要营造日落的氛围感觉?一定要提示,使用温暖、明亮的日落色调。还要强调色调给人的感受,如一种壮丽、瑰丽的感觉。提示语:Po
8/23/2024 4:16:00 PM
机器之能
  • 1