AI在线 AI在线

复旦携手腾讯推出说话人视频生成工具DICE-Talk,备情感表达

由复旦大学与腾讯联合研发的DICE-Talk说话人视频生成工具于近日正式发布,以其卓越的情感表达能力和逼真的人物表现引发行业热议。 AIbase通过整合社交媒体最新动态及公开信息,为您深度解析这一技术突破的亮点与潜力。 DICE-Talk的核心创新在于其身份-情感分离处理机制。

由复旦大学与腾讯联合研发的DICE-Talk说话人视频生成工具于近日正式发布,以其卓越的情感表达能力和逼真的人物表现引发行业热议。AIbase通过整合社交媒体最新动态及公开信息,为您深度解析这一技术突破的亮点与潜力。

image.png

DICE-Talk的核心创新在于其身份-情感分离处理机制。通过将说话人的身份特征(如面部细节、肤色)与情感表达(表情、语气)解耦,DICE-Talk确保在情感变化时人物外观保持高度一致,避免了传统生成工具中常见的“表情跳变”问题。其协同情感处理技术进一步实现了不同情感间的自然过渡,例如从喜悦到惊讶的动态切换,呈现出接近真人表演的流畅效果。

DICE-Talk 的核心在于其能够解构身份信息并协同情感生成。这意味着,该技术不仅能够保留人物的特征,还能根据需求赋予其不同的情感表现,如快乐、生气、惊讶等。用户只需上传一张肖像图片和一段音频,系统便可自动生成相应情感的动态视频。

DICE-Talk 的生成视频展示了多种情感状态,包括中性、快乐、生气和惊讶等。每种情感表现都具有高度的真实性和表现力,用户可以通过简单的操作,获得生动的情感肖像,适用于影视制作、游戏开发以及社交媒体等多个领域。

为了顺利运行 DICE-Talk,建议用户配备至少20GB 显存的 GPU,并使用独立的 Python3.10环境。同时,用户需确保安装 FFmpeg 及相应版本的 PyTorch。安装完成后,用户可以通过简单的命令运行演示,体验技术带来的视觉盛宴。

使用 DICE-Talk 非常简单。用户只需上传一张图像和一段音频,并选择所需的情感类型,系统将生成对应的视频。用户还可以调整身份保持和情感生成的强度,满足个性化需求。此外,DICE-Talk 还提供了图形用户界面,使操作更加直观和友好。

项目:https://github.com/toto222/DICE-Talk

相关资讯

出门问问发布TicVoice 7.0 支持超自然语音克隆与跨语种生成能力

3月6日,出门问问(Mobvoi)联合香港科技大学、上海交通大学、南洋理工大学、西北工业大学等顶尖学术机构,共同开源新一代语音生成模型Spark-TTS,并重磅推出其商业化高品质TTS引擎——TicVoice7.0。 作为出门问问第七代TTS引擎,TicVoice7.0在语音生成领域实现了重大突破,开启了全新的语音生成范式。 TicVoice7.0的核心优势在于其创新的语音编码方式和建模结构。
3/7/2025 8:50:00 AM
AI在线

Claude移动端语音对话功能测试版上线,支持日程查询与文档搜索

Anthropic近日宣布,其AI助手Claude的移动端应用推出语音对话功能测试版,为用户带来更便捷的交互体验。 该功能支持通过语音指令查询日程、搜索文档、发送邮件等操作,显著提升移动端生产力。 目前,测试版仅支持英语,Anthropic计划在未来几周内向全球用户推出多语言支持。
5/28/2025 10:01:01 AM
AI在线

Claude Mobile App Voice Conversation Beta Version Released with Schedule Inquiry and Document Search Support

Anthropic has recently announced the launch of a beta version of the voice conversation feature for its AI assistant Claude's mobile application, providing users with a more convenient interactive experience. This feature supports voice commands for tasks such as checking schedules, searching documents, and sending emails, significantly enhancing mobile productivity. Currently, the beta version only supports English, but Anthropic plans to roll out multi-language support to global users in the coming weeks.Claude’s voice mode adopts a "push-to-talk" mechanism where users need to manually click to send voice commands.
5/28/2025 11:01:21 AM
AI在线
  • 1