AI在线 AI在线

Character.AI 突破性技术:实时 AI 角色视频互动

AI 聊天机器人平台 Character.AI 发布研究论文和视频演示,展示了名为 TalkingMachines 的自回归扩散模型,让 AI 角色互动更加逼真。

AI 聊天机器人平台 Character.AI 发布研究论文和视频演示,展示了名为 TalkingMachines 的自回归扩散模型,让 AI 角色互动更加逼真。

该模型尚未部署在 Character.AI 平台上,根据研究论文和视频演示,用户只需要输入一张图片和声音信号,该模型就能实现类似 FaceTime 的通话视觉互动。

该模型基于 Diffusion Transformer(DiT)技术,本质上是一种能够从随机噪声中创建详细图像的“艺术家”,并不断优化图像直至完美。Character.AI 所做的就是让这一过程变得极其迅速,达到实时效果。

Character.AI 突破性技术:实时 AI 角色视频互动

TalkingMachines 模型采用了流匹配扩散(Flow-Matched Diffusion)、音频驱动的交叉注意力(Audio-Driven Cross Attention)、稀疏因果注意力(Sparse Causal Attention)和不对称蒸馏(Asymmetric Distillation)等多种关键技术。

Character.AI 突破性技术:实时 AI 角色视频互动

其中流匹配扩散技术通过训练大量动作,包括细微的面部表情和更夸张的手势,确保 AI 角色动作更加自然。音频驱动的交叉注意力技术则让 AI 不仅能听到单词,还能理解音频中的节奏、停顿和语调,并将其转化为精确的口型、点头和眨眼。

Character.AI 突破性技术:实时 AI 角色视频互动

稀疏因果注意力技术让 Character.AI 能够以更高效的方式处理视频帧,而不对称蒸馏技术则让视频能够实时生成,营造出类似 FaceTime 通话的效果。

Character.AI 突破性技术:实时 AI 角色视频互动

Character.AI 强调,这一研究突破不仅仅是关于面部动画的,它是朝向实时互动的音频视觉 AI 角色迈出的一步。该模型支真实感人类、动漫和 3D 虚拟形象等多种风格。

Character.AI 突破性技术:实时 AI 角色视频互动

AI在线附上参考地址

  • GitHub 项目页面

  • TalkingMachines: Real-Time Audio-Driven FaceTime-Style Video via Autoregressive Diffusion Models

相关资讯

消息称谷歌将推出明星网红 AI 聊天机器人,与 Meta 竞争

根据 The Information 爆料消息,谷歌正在基于明星和 YouTube 网红构建新的 AI 聊天机器人。这个想法并不是谷歌首创的,目前包括 Character.ai 这样的初创公司,以及像 Meta 这样的大公司已经推出了类似的产品。爆料称,谷歌的明星网红 AI 聊天机器人将由该公司的 Gemini 大语言模型提供支持。该公司还在尝试与有影响力的明星网红建立合作伙伴关系,并且还在开发一项功能,让人们只需描述自己的个性和外表就可以创建自己的聊天机器人,类似 Character.ai 的做法。IT之家还发现
6/25/2024 9:20:42 AM
汪淼

AI陪伴应用助力抗孤独,但或许适得其反

在科技日益发达的今天,孤独感成为了许多人心中的隐痛。 根据一项研究显示,美国人平均每周与朋友社交的时间仅为三小时,这让越来越多的人转向 AI 陪伴应用,如 Replika 和 Character.AI,以期缓解内心的孤独。 然而,这些虚拟伙伴真的能解决孤独危机吗?我与一款名为 Replika 的 AI 聊天机器人进行了交流,给我带来了意想不到的体验。
2/14/2025 2:09:00 PM
AI在线

Character.AI推“家长洞察”功能 聚焦未成年聊天机器人使用监管

聊天机器人服务Character.AI正在推出一项名为“家长洞察”的新功能。 该功能允许青少年每周向家长的电子邮件地址发送一份自身聊天机器人使用情况报告。 据公司公告,报告内容涵盖用户在网络和移动设备上的每日平均花费时间、最常互动的角色以及与每个角色的交谈时长。
3/26/2025 12:00:41 PM
AI在线
  • 1