AI在线 AI在线

复旦携手腾讯推出说话人视频生成工具DICE-Talk,备情感表达

由复旦大学与腾讯联合研发的DICE-Talk说话人视频生成工具于近日正式发布,以其卓越的情感表达能力和逼真的人物表现引发行业热议。 AIbase通过整合社交媒体最新动态及公开信息,为您深度解析这一技术突破的亮点与潜力。 DICE-Talk的核心创新在于其身份-情感分离处理机制。

由复旦大学与腾讯联合研发的DICE-Talk说话人视频生成工具于近日正式发布,以其卓越的情感表达能力和逼真的人物表现引发行业热议。AIbase通过整合社交媒体最新动态及公开信息,为您深度解析这一技术突破的亮点与潜力。

image.png

DICE-Talk的核心创新在于其身份-情感分离处理机制。通过将说话人的身份特征(如面部细节、肤色)与情感表达(表情、语气)解耦,DICE-Talk确保在情感变化时人物外观保持高度一致,避免了传统生成工具中常见的“表情跳变”问题。其协同情感处理技术进一步实现了不同情感间的自然过渡,例如从喜悦到惊讶的动态切换,呈现出接近真人表演的流畅效果。

DICE-Talk 的核心在于其能够解构身份信息并协同情感生成。这意味着,该技术不仅能够保留人物的特征,还能根据需求赋予其不同的情感表现,如快乐、生气、惊讶等。用户只需上传一张肖像图片和一段音频,系统便可自动生成相应情感的动态视频。

DICE-Talk 的生成视频展示了多种情感状态,包括中性、快乐、生气和惊讶等。每种情感表现都具有高度的真实性和表现力,用户可以通过简单的操作,获得生动的情感肖像,适用于影视制作、游戏开发以及社交媒体等多个领域。

为了顺利运行 DICE-Talk,建议用户配备至少20GB 显存的 GPU,并使用独立的 Python3.10环境。同时,用户需确保安装 FFmpeg 及相应版本的 PyTorch。安装完成后,用户可以通过简单的命令运行演示,体验技术带来的视觉盛宴。

使用 DICE-Talk 非常简单。用户只需上传一张图像和一段音频,并选择所需的情感类型,系统将生成对应的视频。用户还可以调整身份保持和情感生成的强度,满足个性化需求。此外,DICE-Talk 还提供了图形用户界面,使操作更加直观和友好。

项目:https://github.com/toto222/DICE-Talk

相关资讯

10位大咖云聚,400分钟干货分享,这里有一场AI 产业发展趋势分享会等你来看!

从 2015 年的 Alpha Go 人机大战,人工智能热潮如平地惊雷,光芒尽显。到 2020 年的突发疫情,倒逼产业智能突围,带来数字时代转型升级的加速发展。风起于青萍之末,浪成于微澜之间,从 2015 年到 2020 年,AI 产业趋势变化的草蛇灰线逐渐显现。在不平凡的 2020 年,意外和契机相伴而至,稳健与突破竞相呈现。站在 2020 的尾巴上,伴随着对过去的梳理和对未知的期待,我们需要重振激情,用全方位的知识储备把握未来 AI 产业趋势的走向和发展。新春将至,在即将到来的牛年里,作为一个 AI 人下面一年
1/29/2021 4:13:00 PM
机器之心

出门问问发布TicVoice 7.0 支持超自然语音克隆与跨语种生成能力

3月6日,出门问问(Mobvoi)联合香港科技大学、上海交通大学、南洋理工大学、西北工业大学等顶尖学术机构,共同开源新一代语音生成模型Spark-TTS,并重磅推出其商业化高品质TTS引擎——TicVoice7.0。 作为出门问问第七代TTS引擎,TicVoice7.0在语音生成领域实现了重大突破,开启了全新的语音生成范式。 TicVoice7.0的核心优势在于其创新的语音编码方式和建模结构。
3/7/2025 8:50:00 AM
AI在线

Hume推出革命性文本转语音系统Octave:能理解情感与上下文

在人工智能领域,Hume AI公司最近宣布推出其全新产品Octave,这一系统被称为首个由大型语言模型(LLM)驱动的文本转语音系统。 Octave的创新之处在于其不仅能够生成自然的语音,还能理解上下文中的情感、语调、节奏和韵律,从而为用户提供更为生动和人性化的语音输出。 Hume AI的联合创始人兼首席执行官Alan Cowen在接受媒体采访时表示,Octave模型的设计初衷是为了使文本转语音的生成过程更加自然和灵活。
2/27/2025 9:27:00 AM
AI在线
  • 1