通过副总裁Mohsen Mousavi在视效会议上揭示,Netflix如何在其VFX Eyeline Studios中使用AI
Netflix拥有的Eyeline Studios正在使用生成性AI替代拍摄地点,重建人群并在拍摄后更改灯光,同时开发工具,使导演在演员的表演被捕捉后能够重新定位摄像机。“我们并不会通过提示进入镜头和电影。这不是我们的风格,”Eyeline的虚拟先锋副总裁Mohsen Mousavi在都灵的视效会议上说,描述了工作室称之为“混合制作”的方法,结合了实拍摄影、传统VFX和生成工作流。Mousavi的职涯涉及“权力的游戏”的最后一季,他认为,制作一个令人信服的AI图像只是一个开始。他建议,生成模型可以使制作大致达到“60%到70%”,但“达到100%才是最重要的。”他所说的是在有希望的输出和符合专业后期制作一致性、分辨率和创意控制要求的素材之间的艰难最终阶段,而不是正式的绩效指标。Eyeline的方法在开拍之前就开始了。其生成艺术部与传统艺术家一起探索设计,而“稀疏场地”工作流则允许演员在相对平坦的灯光下在部分物理场景上表演。然后,可以重建环境和灯光,保留演员的原始表演。“这是一种传统艺术部门的延伸,”Mousavi说,而非替代。一种相关的体积捕获系统可以在拍摄后重新考虑摄像机视角和灯光。在演示中,Eyeline展示了一些在一个地点拍摄的视频并转变为另一个地点的效果,包括无需依靠绿幕创建的环境。“它在拍摄表演之后给了我们灯光和摄像机的自由,”Mousavi说,强调保护演员身份和表演的重要性。该工作室已经将这种方法的部分应用于Netflix制作。例如,在关于1970年世界杯胜利的国家队剧情片“巴西'70:第三颗明星”中,Eyeline帮助构建了需要重现比赛的大规模、情感响应的体育场人群。该过程结合了拍摄元素、精灵、传统CG和生成技术,而不是单纯依靠AI。Mousavi表示,通过传统VFX方法,获得这些结果“在预算之内会非常非常困难”。在Netflix的五集历史纪录片“美国实验”中,他演示了背景延伸、生成尘埃和与实际镜头结合的其他数字构建元素。Eyeline还展示了改变表演者年龄的技术,同时保留底层表演,以及一部探讨后期摄像机和灯光调整的研究短片。在仍在开发的技术中,包含可控制的生成流体。Mousavi承认,当前的生成仿真是不可靠的。“它们不是确定性的,而且很难控制,”他说。Eyeline希望艺术家能够通过关键帧调整水的速度、粘度和湍流,并在不改变底层仿真的情况下添加泡沫或喷雾。“在视觉特效中,你真正想做的往往是打破流体的物理定律,”他解释道,以实现特定的创意效果。其他演示包括将高斯斑点3D捕获从冬季重新风格化为秋季以及对人类表演的AI辅助重新照明。一种系统使用40台同步的RED V-Raptor摄像头收集训练数据;Eyeline还开发了更便携的捕获设备。Mousavi还展示了从单摄像机记录构建可导航的4D场景的研究。他强调,这些实验与已在完成的节目中部署的技术是不同的。Eyeline的系统在很大程度上依赖于专有工作,而不是现成的生成器。“我们所做的大部分工作都是基于我们自己的研究和我们自己的模型,”他强调。该工作室还使用外部合作和专门捕获的训练数据,尽管Mousavi没有透露其基础模型提供商。此次介绍正值Netflix另行扩大其AI野心,包括收购本·阿弗莱克的电影制作技术公司InterPositive。该流媒体公司在7月表示,大约有300个标题已经使用了一些生成性AI。对于Mousavi来说,单凭技术能力是不够的。“我们希望确保它不是一个黑箱,”他补充道,坚称摄影师和制片设计师必须能够塑造结果。高动态范围、4K后期制作和时间一致性仍然是显著挑战,即使Eyeline推动自己的解决方案。“目标是使其完全统一,”他总结道,无论最终图像是源自摄像机、传统VFX还是生成技术。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡