StoryMem
字节跳动推出 StoryMem 系统,解决 AI 视频生成中的角色一致性问题
近日,字节跳动与南洋理工大学的研究团队联合开发了一个新系统 StoryMem,旨在解决 AI 生成视频时角色在不同场景中外观不一致的问题。 该系统通过在生成视频的过程中存储关键帧,并在后续场景生成时进行参考,从而保持角色和环境的一致性。 当前的 AI 视频生成模型,如 Sora、Kling 和 Veo,虽然在短片段生成方面表现出色,但在将多个场景拼接成连贯故事时,仍然存在角色外观变化、环境不一致等问题。
字节跳动发布 StoryMem:给 AI 视频装上“长期记忆”,彻底解决角色走样难题
针对 AI 视频生成领域长期存在的“角色走样”与“环境闪烁”难题,字节跳动与南洋理工大学研究团队近期联合推出名为 StoryMem 的创新系统。 该系统通过引入一种类似人类记忆的机制,成功实现了长视频跨场景创作的高度一致性,解决了 Sora、Kling 等模型在多镜头叙事时容易出现的视觉偏差痛点。 StoryMem 的核心逻辑在于其独特的“混合记忆库”设计。
输入分镜脚本,几秒生成1分钟连贯叙事视频!字节开源StoryMem,让AI视频角色永不“变脸”
近日,字节跳动与南洋理工大学联合研发的开源框架StoryMem在AI视频生成领域引发广泛关注。 该框架通过创新的“视觉记忆”机制,将现有单镜头视频扩散模型转化为多镜头长视频故事讲述者,能自动生成时长超过1分钟、包含多个镜头切换、角色和场景高度连贯的叙事视频,标志着开源AI视频技术向电影级叙事迈出关键一步。 StoryMem的核心创新:记忆机制驱动的逐镜生成StoryMem的核心在于引入人类记忆启发的“Memory-to-Video(M2V)”设计。
资讯热榜
标签云
AI
人工智能
OpenAI
AIGC
模型
ChatGPT
谷歌
DeepSeek
AI新词
AI绘画
大模型
机器人
数据
Midjourney
开源
Meta
微软
智能
用户
GPT
学习
英伟达
智能体
Gemini
技术
马斯克
Anthropic
图像
AI创作
训练
LLM
论文
AI for Science
代码
腾讯
苹果
算法
Agent
Claude
芯片
具身智能
Stable Diffusion
xAI
蛋白质
人形机器人
开发者
生成式
神经网络
机器学习
AI视频
3D
字节跳动
大语言模型
RAG
Sora
百度
研究
GPU
生成
华为
工具
AGI
计算
生成式AI
AI设计
大型语言模型
搜索
亚马逊
AI模型
视频生成
特斯拉
DeepMind
场景
Copilot
深度学习
Transformer
架构
MCP
编程
视觉