三位电影制作人用Sora生成短片，涵盖“气球头”男人

上个月，一些电影制作人初步尝试了Sora，近日公布了他们令人惊叹的试验成果。

与六周前精心挑选的、用来宣传其最新生成式模型的演示视频相比，这些短片展示了巨大的飞跃。以下是三位电影制作人是如何做到的。

（来源：SHYKIDS）

《空气头》

ShyKids是一个总部位于加拿大多伦多的流行乐队和电影制作团体，其风格定位是“朋克摇滚皮克斯”。该团体以前曾尝试过视频生成技术。

2023年，该公司使用一种名为StableWarpfusion的开源工具为其一首歌曲制作了MV。虽然成品很酷，但分辨率低且充满瑕疵。

不过它使用Sora制作的名为《空气头》（AirHead）的短片，除了主角是一个把气球当头的男人，剩下的地方几乎都做到了以假乱真。

大多数视频生成工具都很难保持帧与帧之间的一致性，这是它们最大的通病。当邀请ShyKids团队尝试Sora时，他们很好奇自己能做到什么地步。

“我们认为（用Sora做的）一个好玩有趣的实验是，我们能塑造一个具备一致性的角色吗？”ShyKids的成员沃尔特·伍德曼（WalterWoodman）说，“我们认为它基本上是成功的。”

生成式模型难以处理手和脸等人体器官的细节。但在视频中，有一个场景展示了火车车厢里坐满了乘客，他们的脸部近乎完美。伍德曼说：“火车上的那些面孔都是Sora生成的，它能做到的事情令人震惊。”

这意味着人工智能生成视频的面部和手部问题已经解决了吗？不完全是。我们仍然可以在个别地方看到扭曲的身体部位。

视频中的文本也是一个问题。在创意机构NativeForeign的另一段视频中，我们看到一家自行车修理店的招牌被错误地拼成了“BicycleRepaich”。但《空气头》中的所有内容都是Sora的原始输出。

在将该工具制作的许多不同片段剪辑在一起后，ShyKids进行了一系列后期处理，使电影看起来更好。例如，他们使用视觉效果工具修复了主角气球脸的某些镜头。

伍德曼还认为，音乐和画外音有助于提高短片的质量，因此他们自己创作了一些并添加到了视频中。伍德曼说，将这些人工制作的元素与Sora的作品融合在一起，使得这部影片充满活力。

“没有人类，这项技术什么都不是。”他说，“这是一个强大的工具，但你才是它的灵魂。”

《抽象》

艺术家兼电影制作人保罗·特里洛（PaulTrillo）想用“电影的感觉”作为考题来考验Sora。他的视频采用了复古风格的电影镜头，通过几个片段展示了一个披着亮片的人是如何变为闪光球和一个跳霹雳舞的垃圾人。

他说，你看到的一切都是Sora的原始输出：“没有颜色校正或后期特效。”甚至短片第一部分的跳跃剪辑都是用该模型制作的。

特里洛觉得上个月发布的演示太像游戏片段了。他说：“我想看看其他风格会带来什么可能性。”成品是一个看起来像是用老式16毫米胶片拍摄的电影短片。

他说：“这需要大量的实验，但我偶然发现了一系列提示，它们有助于让视频风格更有机或更电影化。”

《超越我们的现实》

唐·艾伦·史蒂文森三世（DonAllenStevensonIII）是一位电影制作人和视觉效果艺术家。几年前，他和其他几位艺术家受邀请，尝试了其文本到图像模型DALL-E2。

史蒂文森的短片是一部国家地理风格的自然纪录片，向我们介绍了一个由想象中的动物组成的动物园，包括长颈鹿火烈鸟、飞行猪和鳗鱼猫等奇异物种。

史蒂文森说，在很多方面，使用文本到视频模型就像使用文本到图像模型一样。他说：“你只需要输入一段文本提示，然后不断调整它。”

但还有一个棘手的问题。当你尝试不同的提示时，Sora会产生低分辨率的视频。当你发现喜欢的片段时，你可以选择提高分辨率。

但从低分辨率到高分辨率需要经过新一轮生成，可能会丢失你在低分辨率版本中喜欢的细节。

史蒂文森说，有时视角会出现变化，或者镜头中的物体发生了移动。同时，和其他生成式模型一样，Sora也存在幻觉问题。

对于图像，这可能意味着奇怪的视觉瑕疵。对于视频，这些缺陷可能会随着时间的推移而出现，比如在帧和帧之间出现奇怪的跳跃。

史蒂文森还必须输入Sora“听得懂”的语言。他说，提示必须很直白，完全是字面意思。

在一个实验中，他想实现对着直升机拉近视角，结果Sora制作的短片将直升机和相机的变焦镜头混合到了一起。

但史蒂文森说，有了很多创造性的提示后，Sora比以前的模型更容易控制了。

即便如此，他认为这项技术使用起来很有趣的原因是总有惊喜出现：“我喜欢更少的控制，还有它的混乱。如果你要控制编辑和视觉效果，有许多其他视频制作工具可以胜任。”

对史蒂文森来说，使用像Sora这样的生成式模型，首要目标是拿到奇怪的、意想不到的素材。

在《超越我们的现实》中，奇异动物都是由Sora生成的。史蒂文森尝试了许多不同的提示，直到该工具生成了他喜欢的东西。

他说：“我是它的导演，但更像是一种推力。”他会反复修改，不断尝试各种变化。

例如，史蒂文森设想的狐狸乌鸦有四条腿，但Sora只给了它两条。效果虽然更好，但并不完美：眼尖的观众会发现，在视频中，狐狸乌鸦一度从两条腿变成了四条腿，然后又变了回来。

Sora还制作了几个版本的视频，他认为它们看起来太毛骨悚然了，无法使用。

当他收集到了他真正喜欢的奇异动物时，他把它们编辑在一起，然后加上了字幕和画外音。

尽管史蒂文森本也可以用现有工具来创造他虚构的动物园。但他说，这需要几个小时，甚至几天的时间。有了Sora，这个过程要快得多。

他说：“我试图想出一些看起来很酷的东西，并尝试了很多不同的角色。我有很多包含了随机生物的视频片段。”

当看到Sora生成的长颈鹿火烈鸟时，他意识到自己可以做到更多。他说：“我开始思考：这个生物的故事是什么？它吃什么？住在哪里？”他计划推出一系列扩展短片，更详细地介绍每一种幻想动物。

史蒂文森也希望他的幻想动物能引发更大的思考。“社交媒体上将会出现很多新型内容。”他说，“我们将如何告诉人们什么是真实的？在我看来，一种方法是讲述明显是幻想的（虚假）故事。”

史蒂文森指出，他的短片可能是很多人第一次看到由生成式模型创建的视频。他希望，这个视频传达给人们的第一印象能清楚地表明：这不是真的。