AI在线 AI在线

昆仑万维开源SkyReels-V2:无限时长电影生成模型

昆仑万维 SkyReels 团队正式发布并开源了 SkyReels-V2,这是全球首个使用扩散强迫(Diffusion-forcing)框架的无限时长电影生成模型。 该模型通过结合多模态大语言模型(MLLM)、多阶段预训练、强化学习和扩散强迫框架来实现协同优化,标志着视频生成技术迈入了一个新的阶段。 SkyReels-V2的发布旨在解决现有视频生成技术在提示词遵循、视觉质量、运动动态和视频时长协调上的重大挑战。

昆仑万维 SkyReels 团队正式发布并开源了 SkyReels-V2,这是全球首个使用扩散强迫(Diffusion-forcing)框架的无限时长电影生成模型。该模型通过结合多模态大语言模型(MLLM)、多阶段预训练、强化学习和扩散强迫框架来实现协同优化,标志着视频生成技术迈入了一个新的阶段。

SkyReels-V2的发布旨在解决现有视频生成技术在提示词遵循、视觉质量、运动动态和视频时长协调上的重大挑战。该模型不仅在技术上实现了突破,还提供了多种应用场景,包括故事生成、图生视频、运镜专家和多主体一致性视频生成(SkyReels-A2)。SkyReels-V2现已支持生成30秒、40秒的视频,并具备生成高运动质量、高一致性、高保真视频的能力。

微信截图_20250421110023.png

SkyReels-V2的核心技术创新包括:

  1. 全面的影视级视频理解模型 SkyCaptioner-V1:通过结构化的视频表示方法,结合多模态 LLM 的一般描述与子专家模型的详细镜头语言,显著提高了对镜头语言的理解能力。该模型能够高效地理解视频数据,生成符合原始结构信息的多样化描述。

  2. 针对运动的偏好优化:通过强化学习训练,使用人工标注和合成失真数据,解决了动态扭曲、不合理等问题。SkyReels-V2在运动动态方面表现出色,能够生成流畅且逼真的视频内容。

  3. 高效的扩散强迫框架:通过微调预训练的扩散模型,将其转化为扩散强迫模型,显著提高了生成效率。该方法不仅减少了训练成本,还实现了长视频的高效生成。

  4. 渐进式分辨率预训练与多阶段后训练优化:整合了来自通用数据集、自收集媒体和艺术资源库的亿级数据,通过多阶段优化方法,确保了 SkyReels-V2在资源有限的情况下,逐步提升多方面的表现,达到影视级视频生成的水准。

在性能评估方面,SkyReels-V2在 SkyReels-Bench 和 V-Bench 中表现出色。SkyReels-Bench 包含1020个文本提示词,系统性地评估了四个关键维度:指令遵循、运动质量、一致性和视觉质量。在 SkyReels-Bench 评估中,SkyReels-V2在指令遵循方面取得了显著进展,同时在保证运动质量的同时不牺牲视频的一致性效果。在 V-Bench1.0自动化评估中,SkyReels-V2在总分(83.9%)和质量分(84.7%)上均优于所有对比模型,包括 HunyuanVideo-13B 和 Wan2.1-14B。

SkyReels-V2的应用场景丰富多样,包括:

  1. 故事生成:通过滑动窗口方法,模型在生成新帧时会参考之前生成的帧和文本提示,支持时间上的扩展,生成具有连贯叙事的长镜头视频。

  2. 图像到视频合成:提供了两种图像到视频(I2V)的生成方法,包括微调全序列文本到视频(T2V)扩散模型和扩散强迫模型与帧条件结合的方法。

  3. 摄像导演功能:通过专门筛选的样本,确保基本摄像机运动及其常见组合的平衡表示,显著提升了摄影效果。

  4. 元素到视频生成:基于 SkyReels-V2基座模型,研发了 SkyReels-A2方案,能够将任意视觉元素组合成由文本提示引导的连贯视频。

昆仑万维 SkyReels 团队表示,将继续推动视频生成技术的发展,并将 SkyCaptioner-V1和 SkyReels-V2系列模型进行完全开源,以促进学术界和工业界的进一步研究和应用。团队还将继续优化 SkyReels-V2的性能,探索更多应用场景,并进一步降低计算成本,使其能够更广泛地应用于创意内容制作和虚拟仿真领域。

  • GitHub地址:

    https://github.com/SkyworkAI/SkyReels-V2

  • 论文地址:

    https://arxiv.org/abs/2504.13074

  • SkyReels官网地址:

    https://www.skyreels.ai/home

相关资讯

一个人就能拍短剧!国产AI视频神器SkyReels太强了(附教程)

2 月 18 号,昆仑万维开源了面向 AI 短剧创作的大模型 SkyReels-V1、中国首个 SOTA 级别基于视频基座模型的表情动作可控算法 SkyReels-A1,出于好奇,我们对这个模型目前的使用情况进行了搜索,从而发现了在海外的视频生成平台 SkyReels,在进行体验之后,我们惊讶于这个平台在 AI 生视频垂直领域的技术能力。 它以一种更加落地和成熟的姿态出现在我们面前。 随着短剧潮的到来,使得短剧拍摄成本越来越高。
3/6/2025 7:46:28 AM
Infinite AI

刚刚,AI视频的天花板被掀翻!测完SkyReels后飘了:我亦有成为专业导演的潜质

视频生成快速演进的脚步仍未停歇,就在今天,昆仑万维的新动作又一次突破行业想象。 上个月,AI 视频赛道风起云涌,业界资深玩家纷纷抛下「重磅炸弹」。 国外 OpenAI 祭出 Sora 2、马斯克 xAI 推出 Imagine v0.9、谷歌更新 Veo 3.1,国内生数科技推出 Vidu Q2、MiniMax 发布海螺 2.3,这些新模型无一不在质量、速度、时长等方面下足了功夫,音画同步、20 秒时长等亮点功能对于创作者来说已经波澜不惊了。
11/4/2025 1:11:00 PM
机器之心

昆仑万维开源国内首个面向 AI 短剧创作的视频生成模型 SkyReels-V1

昆仑万维官方介绍称,SkyReels-V1 针对表演细节做了打标,还对情绪、场景、表演诉求等进行处理,利用“千万级别、高质量”的好莱坞级别数据进行训练微调。
2/18/2025 10:28:48 AM
汪淼