又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

当Sora「千呼万唤」不出来时,OpenAI 的对手们却纷纷祭出大杀器来炸街。Sora 再不开放使用,真的要被偷家了!今日,旧金山初创公司 Luma AI 打出一手王牌,推出新一代 AI 视频生成模型 Dream Machine。人人免费可用。据介绍,该模型能够根据简单的文本描述生成高质量、真切视频,效果堪比 Sora。消息一出,大量用户挤进官网尝鲜。尽管官方声称该模型能在短短两分钟内生成 120 帧视频,但由于访问量激增,许多用户在官网中苦苦等待数小时。Luma 的产品增长主管 Barkley Dai 不得不在

当Sora「千呼万唤」不出来时,OpenAI 的对手们却纷纷祭出大杀器来炸街。

Sora 再不开放使用,真的要被偷家了!

今日,旧金山初创公司 Luma AI 打出一手王牌,推出新一代 AI 视频生成模型 Dream Machine。人人免费可用。

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

据介绍,该模型能够根据简单的文本描述生成高质量、真切视频,效果堪比 Sora。

消息一出,大量用户挤进官网尝鲜。

尽管官方声称该模型能在短短两分钟内生成 120 帧视频,但由于访问量激增,许多用户在官网中苦苦等待数小时。

Luma 的产品增长主管 Barkley Dai 不得不在 Discord 上发文解释 ——

「目前我们面临巨大的需求,正在努力提升我们的处理能力。所有视频生成任务都会保留,只是需要在队列中稍作等待。一旦我们增加了处理能力,我会立刻在这里通知大家!」

Dream Machine 效果到底如何?

有网友表示,目前,Luma 是 AI 视频规模的新王者。

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

还有网友称,「我们不再需要 Sora !」不知 OpenAI 看了作何感想。

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

不过也有网友吐槽,制作 8 个视频后,系统提醒「超出最大使用限制」,并且没有解释应该等待多长时间才能制作新视频。

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

网友疯狂整活儿

这几天,AI 视频圈子卷疯了,你方唱罢我登场。

先是快手可灵开启内测,排队人数超过 5 万人,紧接着 Luma 就祭出杀手锏 Dream Machine,人人免费可用。

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

与其他 AI 视频模型相比,Dream Machine 具有以下几个特点:

1. 速度快,120 秒即可生成 120 帧;

2. 作为真切,流畅,还融入电影级别的摄影技巧和戏剧张力;

3. 角色一致性极强,能够模拟物理世界;

4. 运镜自然,可匹配场景情感。

Luma 官方和广大网友们陆续整活儿,奉上了一出出精彩的视觉盛宴。

例如,这段使用文本生成的视频,画面是一辆汽车在马路上狂飙。无论是行驶过程还是镜头转换,丝滑真切。又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下一个低至地面的摄像机,跟踪一群小仓鼠深入洞穴,这画面与 Sora 的蚂蚁视频有异曲同工之妙,不过,Dream Machine 使用的是图生视频功能,俗称「垫图」。 又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

一个身穿橙色 T 恤的光头男人在房间内移动,人物的真切程度以及画面构图媲美电影大片。又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下这是一个废墟场景拍摄镜头。地面上废弃的绳子、木板以及墙面的涂鸦呈现地自然真实。 又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下画面中,一名妙龄女子挥舞裙摆跳舞,作为行云流水,像极了奢侈品广告大片。不过美中不足的是,裙摆、头发会出现形变。 又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下甚至有网友生成了一段杀手枪战的作为场景。 又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下网友 @ai_mov_director 还用它生成一段 1 分钟的故事片 ——「Break The Tie」,在保持人物一致性方面,Dream Machine 有两把刷子。 又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

除了生成真切视频外,Dream Machine 也可以尝试不同风格。

比如日本动漫风:又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下迪士尼风格: 又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

总体来看,Dream Machine 在视频的真切度、流畅度方面值得称道,不过它并非完美。

曾为苹果、三星、谷歌等知名品牌执导过广告的 Julien Vallee 表示,Dream Machine 能够模仿自然摄像机作为,特别是手持拍摄时,效果非常真切。然而,与其他模型一样,它也需要一些试错,才能生成出色的镜头。

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

文生视频圈大乱斗

2024 年是大选之年,OpenAI 为了不惹事,一直把 Sora 藏着掖着。

当 Sora「千呼万唤」不出来时,对手们却纷纷祭出大杀器来炸街。

AI 视频规模风云突变。

既然 Dream Machine、可灵都打着「对标 Sora」的旗号,那么,我们索性就搞个竞技场,让 Dream Machine、可灵与 Sora 同台 PK。

Prompt 1:photorealistic closeup video of two pirate ships battling each other as they sail inside a cup of coffee.

华文提醒词 1:两艘海盗船在一杯咖啡中航行时相互争斗的真切特写视频。

Sora:

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

Dream Machine:

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

可灵:

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

Prompt 2:Nighttime footage of hermit crabs using light bulbs as shells.

华文提醒词 2:寄居蟹用灯泡做壳的夜间镜头。

Sora:

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

Dream Machine:

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

可灵:

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

Prompt 3:macro shot of a leaf showing tiny trains moving through its veins.

华文提醒词 3:一片叶子的微距照片,显示微小的火车在叶脉中移动。

Sora:

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

Dream Machine:

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

可灵:

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

Prompt 4:A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

华文提醒词 4:一个时髦的女人走在东京的街道上,到处都是温暖的霓虹灯和生动的城市标志。她穿着彩色皮夹克、红色长裙、彩色靴子,拿着一个彩色钱包。她戴着太阳镜,涂着红色的口红。她走起路来自信而随意。街道是潮湿和反光的,创造了一个彩色灯光的镜子效果。许多行人走来走去。

Sora:

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

Dream Machine:

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

可灵:

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

Prompt 5:Archeologists discover a generic plastic chair in the desert, excavating and dusting it with great care.

华文提醒词 5:考古学家在沙漠中发现了一把普通的塑料椅子,他们小心翼翼地挖掘并掸去了上面的灰尘。

Sora:

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

Dream Machine:

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

可灵:

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

Prompt 6:a computer hacker labrador retreiver wearing a black hooded sweatshirt sitting in front of the computer with the glare of the screen emanating on the dog's face as he types very quickly.

华文提醒词 6:一只穿着彩色连帽运动衫的电脑黑客拉布拉多猎犬坐在电脑前,当它快速打字时,屏幕的眩光照射在狗的脸上。

Sora:

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

Dream Machine:

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

可灵:

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

英伟达领投的这家公司什么来头?

 Dream Machine 火了,也让其背后的公司 Luma AI 出尽了风头。

Luma AI 成立于 2021 年,最初只是一家聚焦于 3D 内容生成的技术公司。

首席执行官 Amit Jain 曾是苹果公司的计算机视觉系统工程师,首席技术官 Alex Yu 曾是加州大学伯克利分校的研讨生(放弃博士学业创办了 Luma AI )。二人在 3D 视觉、机器学习、实时图形学等规模都有所建树。

据悉,这家公司已经历数轮融资。

A 轮融资由 Amplify Partners、Nventures(Nvidia 投资部门)和 General Catalyst 领投,共筹集 2000 万美元;B 轮融资则由硅谷顶级风投公司 Andreessen Horowitz、英伟达领投,筹集 4300 万美元。截至目前,公司共融资 7000 多万美元,估值在 2 亿到 3 亿美元之间。

去年 11 月,Luma AI 在 Discord 服务器上推出了文生 3D 模型 Genie。后来推出 1.0 版本,把出图时间从 20 多秒提升到了 10 秒之内。

没想到,这次 Luma AI 直接转道 AI 视频规模。

据官网显示,Luma AI 核心团队仅 34 人,从名字看,有 5 人是华人。

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

联合创始人兼首席技术官 Alex Yu,2021 年从加州大学伯克利分校毕业。期间,他在伯克利人工智能研讨实验室与 Angjoo Kanazawa 教授一起进行 NeRFs 研讨。

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

同年毕业于加州大学伯克利分校的 Angela Dong,曾在 Drive.ai、Lyft Level 5 和 Zipline 等公司实习,随后又加入 Cruise 担任仿真工程师,专注于为感知模型训练创造合成数据。目前,她在 Luma 担任机器学习工程师。

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

首席科学家 Jiaming Song 本科毕业于清华大学,硕博毕业于斯坦福大学。在加入 Luma AI 之前,他曾担任英伟达学习和感知(Learning and Perception)研讨团队和深度想象(Deep Imagination)研讨团队的研讨科学家。

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

此外,Quei-An Chen 和 Paul Yoo 在 Luma 担任研讨科学家。

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

(左为Quei-An Chen,右为Paul Yoo)

其中 Quei-An Chen 在 NeRF 规模深耕,曾因其在 Github 上发起的多个热门开源项目而声名鹊起,比如 Neural Scene Flow Fields 和 Instant-NGP。在加入 Luma 之前,他在 DENSO 公司和 LINE 公司参与了多个 3D 视觉技术项目。

链接:

https://lumalabs.ai/dream-machine/creations

给TA打赏
共{{data.count}}人
人已打赏
AI

一天最高产出 7000 篇流言扰乱公共秩序,江西一 MCN 机构用 AI 造谣被曝光

2024-6-14 9:40:25

AI

Adobe 上浮 2024 财年支出预期,AI 设计软件需求强劲

2024-6-14 11:48:22

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索