啊?Sora 火爆短片《气球人》,也“造假”了???

背后艺术家团队的最新揭秘,可谓一石激起千层浪:原来,视频画面并非完全由 AI 生成,其中有大量视觉效果需要人类后期实现

be like:

Sora 大片真相:人工特效参与,被指误导大众-编程知识网

这下网友不干了,合着大家伙儿跟 OpenAI 玩真心,OpenAI 背后却耍起心眼子来了:

他们含糊其辞,就是希望观众认为短片完全是 AI 生成的,这是不是有点不诚实了啊。

Sora 大片真相:人工特效参与,被指误导大众-编程知识网

这不是人工智能生成的视频,而是使用了一些 AI 技术的视频。

Sora 大片真相:人工特效参与,被指误导大众-编程知识网

还有网友直接开喷:误导性营销!这是误导性营销!

Sora 大片真相:人工特效参与,被指误导大众-编程知识网

究竟是怎么个事儿,咱们还是具体捋一捋。

揭秘 Sora 大片工作流

尽管 OpenAI 一开始就介绍了,《气球人》这样的短片出自艺术家团队之手,他们只是把 Sora 开放给了艺术家使用,但官方并未提及短片具体是如何制作而成的。

现在,《气球人》背后的艺术家团队 Shy Kids 自己来了个大揭秘,内容包括:

  • 视频片段一致性如何实现

  • 他们如何处理 Sora 生成的视频素材

  • Sora 生成视频的局限性及后期处理

视频一致性

《气球人》中主角形象的一致性可谓惊艳众人。

Sora 大片真相:人工特效参与,被指误导大众-编程知识网

但实际上吧,据 Shy Kids 团队中负责后期制作的老哥 Patrick Cederberg(简称老帕)透露,想要实现这种前后一致并不是写写提示词就能成的。

Sora 并没有提供工具,来帮助实现不同镜头之间的主体一致性。也就是说,哪怕提示词都是一样的,两次运行的结果也会有所不同。

他们的做法是,尽可能详细地去对主角形象进行描述。

解释角色的服装以及气球的类型是我们解决一致性问题的方法,目前 Sora 还没有集成适当的功能来实现此类控制。

即便如此,团队在用 Sora 生成视频素材时还是遇到了不少这样那样的问题。

比如,提示词里明明写了气球是黄色的,但 Sora 生成的片段里气球却可能变红。

视频素材处理

一致性之外,老帕提到,在时间轴方面,Sora 允许用户修改关键帧。但这种时间控制并不精准,无法保证一定能实现预想的效果。

另外,想要实现这个镜头:

Sora 大片真相:人工特效参与,被指误导大众-编程知识网

即把镜头焦点从牛仔裤一路上移到气球头,也得人类自己后期裁切平移画面,因为 Sora 本身不会渲染这样的镜头:它总是倾向于把焦点集中在气球头上。

老帕还谈到,他们在写提示词时也遇到了一些问题:

OpenAI 在让艺术家试用 Sora 前,并没有考虑到真正的电影制作人是如何思考的。

简单来说,就是 Sora 对摄影术语(比如跟拍、平移等)的理解有限。老帕认为,这一点上 Sora 不如 Runway。

值得一提的是,尽管 Sora 原生支持生成 1080p 视频,但老帕他们实际上生成的素材都是 480p 的。他们是在后期使用 Topaz 等工具对视频素材进行了超分处理。

生成速度方面,根据老帕的回忆,每次大概需要 10-20 分钟的时间。

视频后期

接下来,就到了网友们反应最强烈的部分 —— 后期。前面已经说到,Sora 本身还解决不了不同视频片段里一致性的问题。

除了气球不一定符合设定,或许是因为训练数据的原因,Sora 还喜欢自动给气球加上奇奇怪怪的人脸。

Sora 大片真相:人工特效参与,被指误导大众-编程知识网

给主角生成其实并不需要的假人头。

Sora 大片真相:人工特效参与,被指误导大众-编程知识网

Sora 还很坚定地认为气球得带根绳。

总而言之言而总之,这些都需要老帕上手丢到 AE 里,进行后期处理。

另外,尽管 Shy Kids 发现“35mm 胶卷”这样的关键词很好用,能让 Sora 生成的视频画面风格更一致,但艺术家们仍需要为最后的成片做调色,为画面添加颗粒和闪烁效果,以使整部影片画面更加协调统一。

老帕还提到了一个有意思的细节:Sora 很喜欢慢镜头。

我不知道为什么,但有很多镜头看上去都是 0.5 倍速和 0.75 倍速。

因此我们需要对大量画面进行调速,免得影片看上去像个大型慢动作项目。

那么,Sora 生成的视频素材有多少最终被用在了影片里?“数学很差”的老帕估计了一下,大概是 300:1

音频方面,Sora 目前还不能生成声音,因此旁白和音乐都是团队自己加上去的。

版权

为了不侵犯版权,OpenAI 给 Sora 上了一些限制。

比如,你不能把提示词写成“35mm 胶卷,未来宇宙飞船中,一名男子拿着光剑靠近”,那样 Sora 会直接拒绝生成,因为这画面太像《星球大战》了。

哦对,像什么“阿罗诺夫斯基式镜头”和“希区柯克变焦”也是不行的。

3 人团队 2 周制作完成

该说不说,在外界卷起风波之前,Shy Kids 团队对于 Sora 的表现还是很满意的。

毕竟,制作《气球人》这样一个高质量短片,最后只用了他们仨 1.5 到 2 周的时间。

团队认为,现在,对于专业的电影团队来说,Sora 当然还有很大进步空间,但对于大部分人而言,Sora 已经足够惊艳。

用老帕自己的话说:

我觉得人们应该将 Sora 变成工作流里的一部分。

不过,如果他们不想跟 AI 沾边,也没关系。

对于这样的观点,也有不少网友表示认同,认为 Sora 这样的视频生成 AI,是对现有工作流很好的补充。

Adobe 把它们集成进软件里,就是一个很不错的主意。但,“我厌倦了 OpenAI 们的精美 Demo 营销”。

Sora 大片真相:人工特效参与,被指误导大众-编程知识网

还有网友不满的点在于,爆火的“人工智能生成视频”背后有大量的人类工作,他们投入数百个小时工作,却被 AI 掩盖了真实的价值。

Sora 大片真相:人工特效参与,被指误导大众-编程知识网

那么,这事儿你怎么看?

参考链接:

  • [1]https://www.fxguide.com/fxfeatured/actually-using-sora/

  • [2]https://twitter.com/bilawalsidhu/status/1783544598259794046

本文来自微信公众号:量子位 (ID:QbitAI),作者:鱼羊