机器之心原创

2024/06/14 11:48

又一Sora级选手来炸街！我们拿它和Sora、可灵PK了下

当Sora「千呼万唤」不出来时，OpenAI 的对手们却纷纷祭出大杀器来炸街。

Sora 再不开放使用，真的要被偷家了！

今日，旧金山初创公司 Luma AI 打出一手王牌，推出新一代 AI 视频生成模型 Dream Machine。人人免费可用。

据介绍，该模型能够根据简单的文本描述生成高质量、逼真视频，效果堪比 Sora。

消息一出，大量用户挤进官网尝鲜。

尽管官方声称该模型能在短短两分钟内生成 120 帧视频，但由于访问量激增，许多用户在官网中苦苦等待数小时。

Luma 的产品增长主管 Barkley Dai 不得不在 Discord 上发文解释 ——

「目前我们面临巨大的需求，正在努力提升我们的处理能力。所有视频生成任务都会保留，只是需要在队列中稍作等待。一旦我们增加了处理能力，我会立刻在这里通知大家！」

Dream Machine 效果到底如何？

有网友表示，目前，Luma 是 AI 视频领域的新王者。

还有网友称，「我们不再需要 Sora ！」不知 OpenAI 看了作何感想。

不过也有网友吐槽，制作 8 个视频后，系统提示「超出最大使用限制」，并且没有解释应该等待多长时间才能制作新视频。

网友疯狂整活儿

这几天，AI 视频圈子卷疯了，你方唱罢我登场。

先是快手可灵开启内测，排队人数超过 5 万人，紧接着 Luma 就祭出杀手锏 Dream Machine，人人免费可用。

与其他 AI 视频模型相比，Dream Machine 具有以下几个特点：

1. 速度快，120 秒即可生成 120 帧；

2. 动作逼真，流畅，还融入电影级别的摄影技巧和戏剧张力；

3. 角色一致性极强，能够模拟物理世界；

4. 运镜自然，可匹配场景情感。

Luma 官方和广大网友们陆续整活儿，奉上了一出出精彩的视觉盛宴。

例如，这段使用文本生成的视频，画面是一辆汽车在马路上狂飙。无论是行驶过程还是镜头转换，丝滑逼真。

一个低至地面的摄像机，跟踪一群小仓鼠深入洞穴，这画面与 Sora 的蚂蚁视频有异曲同工之妙，不过，Dream Machine 使用的是图生视频功能，俗称「垫图」。

一个身穿橙色 T 恤的光头男人在房间内移动，人物的逼真程度以及画面构图媲美电影大片。

这是一个废墟场景拍摄镜头。地面上废弃的绳子、木板以及墙面的涂鸦呈现地自然真实。

画面中，一名妙龄女子挥舞裙摆跳舞，动作行云流水，像极了奢侈品广告大片。不过美中不足的是，裙摆、头发会出现形变。

甚至有网友生成了一段杀手枪战的动作场景。

网友 @ai_mov_director 还用它生成一段 1 分钟的故事片 ——「Break The Tie」，在保持人物一致性方面，Dream Machine 有两把刷子。

除了生成逼真视频外，Dream Machine 也可以尝试不同风格。

比如日本动漫风：

迪士尼风格：

总体来看，Dream Machine 在视频的逼真度、流畅度方面值得称道，不过它并非完美。

曾为苹果、三星、谷歌等知名品牌执导过广告的 Julien Vallee 表示，Dream Machine 能够模仿自然摄像机动作，特别是手持拍摄时，效果非常逼真。然而，与其他模型一样，它也需要一些试错，才能生成出色的镜头。

文生视频圈大乱斗

2024 年是大选之年，OpenAI 为了不惹事，一直把 Sora 藏着掖着。

当 Sora「千呼万唤」不出来时，对手们却纷纷祭出大杀器来炸街。

AI 视频领域风云突变。

既然 Dream Machine、可灵都打着「对标 Sora」的旗号，那么，我们索性就搞个竞技场，让 Dream Machine、可灵与 Sora 同台 PK。

Prompt 1:photorealistic closeup video of two pirate ships battling each other as they sail inside a cup of coffee.

中文提示词 1：两艘海盗船在一杯咖啡中航行时相互争斗的逼真特写视频。

Sora：

Dream Machine：

可灵：

Prompt 2：Nighttime footage of hermit crabs using light bulbs as shells.

中文提示词 2：寄居蟹用灯泡做壳的夜间镜头。

Sora：

Dream Machine：

可灵：

Prompt 3：macro shot of a leaf showing tiny trains moving through its veins.

中文提示词 3：一片叶子的微距照片，显示微小的火车在叶脉中移动。

Sora：

Dream Machine：

可灵：

Prompt 4：A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

中文提示词 4：一个时髦的女人走在东京的街道上，到处都是温暖的霓虹灯和生动的城市标志。她穿着黑色皮夹克、红色长裙、黑色靴子，拿着一个黑色钱包。她戴着太阳镜，涂着红色的口红。她走起路来自信而随意。街道是潮湿和反光的，创造了一个彩色灯光的镜子效果。许多行人走来走去。

Sora：

Dream Machine：

可灵：

Prompt 5:Archeologists discover a generic plastic chair in the desert, excavating and dusting it with great care.

中文提示词 5：考古学家在沙漠中发现了一把普通的塑料椅子，他们小心翼翼地挖掘并掸去了上面的灰尘。

Sora：

Dream Machine：

可灵：

Prompt 6：a computer hacker labrador retreiver wearing a black hooded sweatshirt sitting in front of the computer with the glare of the screen emanating on the dog's face as he types very quickly.

中文提示词 6：一只穿着黑色连帽运动衫的电脑黑客拉布拉多猎犬坐在电脑前，当它快速打字时，屏幕的眩光照射在狗的脸上。

Sora:

Dream Machine：

可灵：

英伟达领投的这家公司什么来头？

Dream Machine 火了，也让其背后的公司 Luma AI 出尽了风头。

Luma AI 成立于 2021 年，最初只是一家聚焦于 3D 内容生成的技术公司。

首席执行官 Amit Jain 曾是苹果公司的计算机视觉系统工程师，首席技术官 Alex Yu 曾是加州大学伯克利分校的研究生（放弃博士学业创办了 Luma AI ）。二人在 3D 视觉、机器学习、实时图形学等领域都有所建树。

据悉，这家公司已经历数轮融资。

A 轮融资由 Amplify Partners、Nventures（Nvidia 投资部门）和 General Catalyst 领投，共筹集 2000 万美元；B 轮融资则由硅谷顶级风投公司 Andreessen Horowitz、英伟达领投，筹集 4300 万美元。截至目前，公司共融资 7000 多万美元，估值在 2 亿到 3 亿美元之间。

去年 11 月，Luma AI 在 Discord 服务器上推出了文生 3D 模型 Genie。后来推出 1.0 版本，把出图时间从 20 多秒提升到了 10 秒之内。

没想到，这次 Luma AI 直接转道 AI 视频领域。

据官网显示，Luma AI 核心团队仅 34 人，从名字看，有 5 人是华人。

联合创始人兼首席技术官 Alex Yu，2021 年从加州大学伯克利分校毕业。期间，他在伯克利人工智能研究实验室与 Angjoo Kanazawa 教授一起进行 NeRFs 研究。

同年毕业于加州大学伯克利分校的 Angela Dong，曾在 Drive.ai、Lyft Level 5 和 Zipline 等公司实习，随后又加入 Cruise 担任仿真工程师，专注于为感知模型训练创造合成数据。目前，她在 Luma 担任机器学习工程师。

首席科学家 Jiaming Song 本科毕业于清华大学，硕博毕业于斯坦福大学。在加入 Luma AI 之前，他曾担任英伟达学习和感知（Learning and Perception）研究团队和深度想象（Deep Imagination）研究团队的研究科学家。

此外，Quei-An Chen 和 Paul Yoo 在 Luma 担任研究科学家。

（左为Quei-An Chen，右为Paul Yoo）

其中 Quei-An Chen 在 NeRF 领域深耕，曾因其在 Github 上发起的多个热门开源项目而声名鹊起，比如 Neural Scene Flow Fields 和 Instant-NGP。在加入 Luma 之前，他在 DENSO 公司和 LINE 公司参与了多个 3D 视觉技术项目。

^链接：

^{https://lumalabs.ai/dream-machine/creations}

入门Dream MachineLuma AI