近日，字节跳动与南洋理工大学联合研发的开源框架StoryMem在AI视频生成领域引发广泛关注。该框架通过创新的“视觉记忆”机制，将现有单镜头视频扩散模型转化为多镜头长视频故事讲述者，能自动生成时长超过1分钟、包含多个镜头切换、角色和场景高度连贯的叙事视频，标志着开源AI视频技术向电影级叙事迈出关键一步。
StoryMem的核心创新:记忆机制驱动的逐镜生成
StoryMem的核心在于引入人类记忆启发的“Memory-to-Video（M2V）”设计。它维护一个紧凑的动态记忆库，存储先前生成镜头中的关键帧信息。首先使用文本到视频(T2V)模块生成首镜头作为初始记忆，随后每生成一个新镜头，都通过M2V LoRA将记忆关键帧注入扩散模型，确保角色外貌、场景风格和叙事逻辑跨镜头高度一致。
生成完成后，框架自动进行语义关键帧提取和美学筛选，进一步更新记忆库。这种迭代式生成方式，避免了传统长视频模型常见的角色“变脸”、场景跳变问题，同时仅需轻量LoRA微调即可实现，无需海量长视频数据训练。
卓越一致性与电影级品质
实验显示，StoryMem在跨镜头一致性上显著优于现有方法，提升幅度高达29%，并在人类主观评测中获得更高偏好。同时保留了基础模型（如Wan2.2）的高画质、提示遵循度和镜头控制能力，支持自然转场和自定义故事生成。
框架还配套发布了ST-Bench基准数据集，包含300个多样化多镜头故事提示，用于标准化评估长视频叙事质量。
应用场景广泛:快速预览与A/B测试利器
StoryMem特别适用于需要快速迭代视觉内容的领域:
- 营销与广告:从脚本快速生成动态分镜，进行多种版本A/B测试
- 影视预制作:辅助剧组可视化故事板，降低前期概念成本
- 短视频与独立创作:轻松产出连贯叙事短片，提升内容专业度
社区快速响应:ComfyUI集成已现雏形
项目发布后短短几天，社区已开始探索本地化部署，部分开发者在ComfyUI中实现初步工作流，支持本地运行生成长视频，进一步降低了使用门槛。
AIbase观点:长视频一致性一直是AI生成领域的痛点，StoryMem以轻量高效的方式破解这一难题，极大推动了开源视频模型向实用叙事工具演进。未来结合更多多模态能力，其在广告、影视和内容创作中的潜力将进一步释放。
项目地址：https://github.com/Kevin-thu/StoryMem
