引言
如果你问一个用过虚拟制片的导演：”虚拟制片最让你上瘾的是什么？”
他大概率不会说”渲染快”，也不会说”省钱”。
他会说：”在片场，我就看到了最终的画面。”
这就是虚拟制片和传统预演最本质的区别。
传统预演是”拍之前先看看大概长什么样”。
虚拟制片是”拍的时候，你看到的就是最终的画面”。
LED 墙前面，演员站在那里，身后是虚拟的外星沙漠。
摄影师扛着真正的摄影机来回走动。
监视器里，真实的演员和虚拟的背景完美地融合在一起，光线、阴影、反射，天衣无缝。
你甚至分不清哪部分是真的，哪部分是电脑生成的。
这不是后期合成出来的。
这是实时的。
摄影机推，背景就跟着推。
摄影机摇，背景就跟着摇。
摄影机的光圈开大，背景的景深就变浅。
一切都是同步的。
一切都是真实发生的。
这就是《曼达洛人》带给整个行业的革命。
而今天，这套工作流程已经不再是迪士尼的专利。
只要有一台足够好的电脑，一套 Unreal Engine，你在自己的工作室里就可以做到。
这篇文章，我们来谈谈虚拟制片的进阶话题。
不是入门级的搭场景放相机。
是真正可以用于拍摄的技术：镜头追踪、实时合成、多机位切换、以及那些让画面”看起来就是真的”的细节。
这些东西，也许你现在用不上。
但我向你保证，五年之内，它们会成为每一个专业分镜师和预演艺术家的标配技能。
一、什么是真正的”虚拟制片”
1.1 Previs、Techvis、Simulcam：不要搞混了
很多人说”虚拟制片”，但其实他们说的根本不是一回事。
目前行业里至少有三个完全不同的东西，都被叫做”虚拟制片”。
Previs（预演）
这是最基础的虚拟制片。也就是我们上一篇讲的内容。
在正式拍摄之前，在 Unreal 里把整部戏先拍一遍，确定镜头、角度、运动、节奏。
好处是：所有部门都知道最终要拍什么，没有歧义。
目前好莱坞 90% 以上的商业片都会做 Previs。
Techvis（技术预演）
比 Previs 更进一步。
不只是要看起来对，技术上也要完全正确。
- 摄影棚有多大？
- 吊臂最远能够到哪里？
- 这个镜头运动，轨道要铺多长？
- 演员站的位置，灯光能不能照到？
- 这个角度，会不会穿帮？
Techvis 就是用来回答这些问题的。
它不是给导演看的，是给摄影指导、灯光师、场务看的。
很多时候 Previs 里特别酷的镜头运动，到了 Techvis 阶段就被枪毙了——因为现实中根本做不到。
Simulcam（模拟摄影机）
这是目前最高级的虚拟制片形式，也就是《曼达洛人》用的那套。
真实的摄影机上面装了追踪设备。
摄影师在 LED 墙前面扛着机器走动。
Unreal 实时接收摄影机的位置、旋转、焦距、光圈信息。
实时渲染出对应的背景画面，显示在 LED 墙上。
监视器里，真实演员 + 虚拟背景，完美融合，实时可见。
摄影师怎么推、怎么拉、怎么摇，背景就怎么动。
跟在真实的外景地拍摄，没有任何区别。
但这个”外景地”，是你用电脑建出来的。
1.2 为什么分镜师也要懂这些？
很多分镜师会说：
“这些是 VFX 部门的事，是技术部门的事，我一个画画的，懂这个干嘛？”
我给你讲一个真实的故事。
某部大制作电影，分镜师画了一个特别棒的长镜头。
从街的这一头，一直跟到街的那一头，穿过人群，越过车顶，最后落到主角脸上。
导演看了特别喜欢，说就这么拍。
然后到了 Techvis 阶段。
技术部门算了三天，回来告诉导演：
“这个镜头拍不了。
第一，没有那么长的轨道。
第二，摄影机走到中间会被灯架挡住。
第三，第五秒那个升高动作，吊臂做不到那么快。
第四，最后那个落幅，背后是绿布边界，穿帮。”
最后这个镜头只能砍掉重画。
分镜师花了一个礼拜画的东西，全白费了。
如果这个分镜师懂一点 Techvis 的基本知识。
如果他画的时候就知道轨道的长度限制，就知道吊臂的运动极限。
他从一开始就可以设计一个同样精彩、但技术上可以实现的镜头。
这就是为什么你要懂。
你画的不只是画。
你画的是未来真的要拍出来的东西。
你越早知道技术边界，你就越少做无用功。
二、镜头追踪的基本原理
2.1 追踪：虚拟制片的核心技术
所有的虚拟制片，不管是哪种形式，核心都是一件事：追踪。
你需要知道：
- 真实世界里，这个摄影机现在在哪里？
- 它对着哪个方向？
- 它现在用的是多少毫米的镜头？
- 光圈是多少？
- 焦距是多少？
把这些数据实时传输给 Unreal。
Unreal 按照完全一样的参数，渲染虚拟世界里对应位置的画面。
两者完美同步。
这就是追踪。
说起来很简单，但做起来非常非常难。
差一毫米，画面就不对。
差 0.1 度，透视就错了。
晚一帧，就穿帮了。
目前行业里主流的追踪技术有三种。
2.2 三种追踪方案对比
方案一：光学追踪（Optical Tracking）
这是目前最成熟、最准确、也是最贵的方案。
代表厂商：OptiTrack、Vicon。
怎么工作的？
- 摄影棚天花板上架几十台红外线高速相机（通常 24-48 台）
- 摄影机上面贴好多个反光小球（Marker）
- 红外线相机不断拍摄这些小球的位置
- 通过三角计算，精确算出摄影机的位置和旋转
精度有多高？
亚毫米级。
你就是用手指轻轻碰一下摄影机，系统立刻就能检测到位置变化。
优点：
- 精度极高，没有之一
- 延迟极低，几乎感觉不到
- 可以同时追踪多台摄影机
缺点：
- 贵。非常贵。一套完整的棚拍系统几十万起步
- 安装校准慢，每次搭棚要校准大半天
- 有遮挡就不行。如果你举个板子从摄影机和相机之间经过，追踪就断了
谁在用？
ILM StageCraft（《曼达洛人》用的就是这个），还有所有顶级的虚拟制片棚。
方案二：电磁追踪（Electromagnetic Tracking）
代表厂商：HTC Vive、Mo-Sys StarTracker。
怎么工作的？
- 在棚里放一个或者多个基站，发射电磁场
- 摄影机上面装一个接收器
- 通过电磁场的变化，计算位置和旋转
优点：
- 比光学便宜很多
- 安装快，半小时就能架好
- 没有遮挡问题。就算你把整个接收器都盖住，只要还在电磁场范围内就能用
缺点：
- 精度比光学差一点（但足够用了）
- 金属会干扰信号。摄影棚里一大堆灯架、轨道，全是金属的，很麻烦
- 范围有限，通常最大也就 10×10 米左右
谁在用？
中小型虚拟制片棚，预算有限的独立项目。
方案三：计算机视觉追踪（无 Marker）
这是最近几年新兴的技术。
代表厂商：Blackmagic Design、Disguise。
怎么工作的？
- 不需要在摄影机上面贴任何 Marker
- 系统直接分析摄影机拍出来的画面本身
- 通过画面特征，反推相机的位置和运动
优点：
- 太方便了。什么都不用装，拿起来就能用
- 零校准时间
- 可以用在任何现有设备上
缺点：
- 目前精度还不够，只能用在要求不高的预演阶段
- 画面特征少的时候（比如纯色的墙）容易丢追踪
- 快速运动的时候会抖
这是未来的方向。
再过三五年，这项技术成熟了，可能其他所有追踪方案就都被淘汰了。
2.3 对于分镜师来说，你需要知道什么
你不需要自己去校准追踪系统。
但你需要知道这些技术限制：
- 追踪是有范围的
不要设计一个摄影机跑出去 50 米的长镜头。大多数棚子的追踪范围也就 20 米左右。
- 追踪有高度限制
不要设计摄影机从地面突然升到 10 米高。大多数光学追踪系统的有效高度也就 6-8 米。
- 摄影机旋转速度有限制
不要设计那种疯狂甩头的快速摇镜头。太快了追踪系统会跟丢。
- 不是所有镜头数据都能追踪
焦距和光圈大部分系统可以追踪，但变焦速度、对焦距离这些，很多系统目前还做不到实时传输。
就这么简单。
知道这些边界，你的分镜就会”好用”很多。
技术部门会爱死你的。
三、实时合成：为什么 LED 墙比绿幕好
3.1 绿幕的问题
在 LED 墙出现之前，所有的虚拟背景都是用绿幕拍的。
拍完之后，后期把绿幕抠掉，换成 CG 背景。
绿幕有什么问题？
太多了。
问题一：光的颜色不对
演员站在一块巨大的绿色布前面。
绿色的光会反射到演员的脸上、衣服上、皮肤上。
后期你要把这些绿光一点一点去掉，非常非常麻烦。
而且永远也去不干净。
仔细看好莱坞大片的绿幕镜头，你经常能看到演员边缘有一圈淡淡的绿色。
问题二：反射不对
如果演员穿了一件亮面的衣服，或者戴了一副眼镜。
你会在眼镜里看到什么？
一块巨大的绿布。
后期要把眼镜里的绿布换成正确的环境反射。
这几乎是不可能完成的任务。
所以很多时候，你会看到电影里的人突然就不戴眼镜了。
问题三：演员不知道自己在哪里
演员站在绿布前面，四周全是绿的。
他不知道背后是山还是海，是城市还是沙漠。
他不知道光从哪个方向来。
他甚至不知道自己眼睛应该看哪里。
表演自然就差了很多。
问题四：永远在猜
拍摄的时候，所有人都在猜。
导演在猜最终合成出来效果对不对。
摄影师在猜构图对不对。
演员在猜自己跟背景的比例对不对。
所有人都在猜。
然后到了后期，经常发现全错了，要重拍。
LED 墙，把所有这些问题全部解决了。
3.2 LED 墙的魔法
想象一下这个场景：
演员站在 LED 墙前面。
墙上显示的是一个落日下的海滩。
金色的阳光从海平面照过来。
演员的脸上，真的有金色的夕阳。
演员的太阳镜里，真的反射出海面和落日。
演员身后的影子，真的是从那个方向投过来的。
甚至海水波光粼粼的反光，都真的在演员的衣服上跳动。
这一切都是真的。
不是后期做的。
是 LED 墙发出来的光，真的照在了演员身上。
后期什么都不用做。
直接用。
因为拍出来就是对的。
这就是 LED 墙最革命性的地方。
它不只是一个背景显示器。
它是光源。
它是整个场景照明的一部分。
3.3 分镜师如何利用这个特性
理解了 LED 墙是光源这件事，会从根本上改变你的分镜思维。
传统分镜里，你设计一个镜头：
- 人物站在窗前
- 窗外是城市夜景
- 窗外的光照在人物的脸上
你画的时候，只是大概画一下光的方向。
具体光是什么颜色，强度是多少，影子有多硬，你其实都是在猜。
最后拍出来是什么样子，你也不知道。
但在虚拟制片的分镜里，这些都是确定的。
你可以在 Unreal 里：
- 精确设置窗外城市夜景的每一盏灯
- 把相机推到人物的位置，看看脸上的光到底是什么样子
- 调整亮度、颜色、角度，直到完美
- 把这个设置保存下来
到了拍摄当天。
灯光师不需要再花两个小时打光，猜你想要的感觉。
他直接把你保存的灯光设置加载进去。
LED 墙一亮。
光就是你想要的那个样子。
一分不差。
分镜不再只是”参考”。
分镜就是最终的结果。
四、多机位虚拟制片工作流
4.1 为什么多机位是游戏规则改变者
传统预演，几乎都是单机位的。
为什么？
因为每多一个机位，工作量就翻一倍。
1 号机做一遍，2 号机再做一遍，3 号机再做一遍。
太麻烦了。
但在真实的片场，我们几乎都是多机位拍摄。
一场对话戏，至少是两个机位对打。
动作戏可能同时有 5-6 台机器在拍。
这就导致了一个很尴尬的情况：
预演里拍得特别好的一场戏，到了现场发现用多机位一拍，节奏全乱了。
单看每个镜头都没问题。
剪在一起就是不对。
Unreal 的多机位工作流，彻底解决了这个问题。
4.2 一次拍摄，无限机位
工作流程是这样的：
- 你把一场戏整个动画好
- 演员的动作、走位、台词、全部都做好
- 这场戏就完整地存在那里了，就像真实发生一样
- 然后，你可以放任意多台摄影机在场景里
- A 机：全景
- B 机：正面中景
- C 机：侧面过肩
- D 机：特写
- E 机：俯拍大全景
- 想放多少放多少
- 按下播放
- 所有的摄影机同时开始”拍摄”
- 从不同的角度，拍摄同一场表演
- 全部都是实时的
- 你就像现场的剪辑师一样
- 想切 A 机就切 A 机
- 想切 B 机就切 B 机
- 觉得这里给个特写比较好？立刻就有
- 觉得这里大全景更有冲击力？立刻就有
一场戏，你一下午可以剪出 20 个不同的版本。
你可以试试看只用两台机器拍是什么感觉。
试试看只用特写拍是什么感觉。
试试看完全用客观角度拍是什么感觉。
传统预演，这可能要做一个月。
现在你一个下午就可以全部试完。
4.3 分镜思维的转变
这个能力，带来了一个非常深刻的思维转变。
传统分镜思维：
“这一场戏，我要用哪几个镜头来表现？”
多机位虚拟制片思维：
“这场完整的表演已经存在了。我要选择哪些角度，以及用什么顺序把它们剪在一起？”
听起来差别不大，但其实是天壤之别。
前者，你是在”构建”一场戏。
每个镜头都是分开做的，连起来总是有点生硬。
后者，你是在”拍摄”一场真实发生的戏。
所有的表演是连续的，所有的角度是统一的。
你只是选择从哪里看而已。
剪出来的东西，天然就流畅，天然就真实。
我认为，这才是虚拟制片真正最强大的地方。
不是渲染快。
不是省钱。
是它第一次让预演有了”真实感”。
它不再是一个个孤立的镜头。
它是一整个完整的时空。
五、对于分镜师的高级技巧
5.1 用关卡变体快速测试不同方案
Unreal 有一个非常好用的功能叫 “Level Variants”（关卡变体）。
你可以把同一个场景存成好几个不同的版本。
比如：
- 变体 1：白天，晴天
- 变体 2：傍晚，黄金时刻
- 变体 3：晚上，下雨
- 变体 4：凌晨，雾
所有的模型、角色、位置都是一样的。
只有时间、天气、灯光不一样。
然后你可以一键切换。
“导演，你看这个对话戏，你觉得是傍晚拍好，还是凌晨有雾的时候拍好？”
“嗯…我看看”
点一下。
“哦，有雾的感觉好！就这个！”
几秒钟的事。
换做以前？
先跟灯光师说改成傍晚，打光两小时，拍一遍。
再跟灯光师说改成有雾的凌晨，再打光两小时，再拍一遍。
两天就过去了。
这就是为什么现在的导演一旦用过虚拟制片，就再也回不去了。
这种快速迭代的自由，是真实片场永远不可能给你的。
5.2 镜头的可行性预测试
分镜师还有一个非常有价值的工作，很多人都没有意识到。
就是在分镜阶段，就把那些”看起来很酷但根本拍不出来”的镜头提前毙掉。
怎么做？
很简单。
把你画的分镜，放到 Unreal 里，用真实的摄影器材参数跑一遍。
比如你画了一个特别长的轨道镜头。
你就在 Unreal 里把轨道长度设成现实中最常用的 12 米。
然后把摄影机运动放上去。
看看能不能从头到尾走完，会不会撞到灯架，会不会穿帮。
如果不行，你现在就改。
总比到了片场，搭好了 12 米轨道，才发现不够长，要好得多。
再比如你画了一个特别快的摇镜头。
你就去查一下真实的云台最大转速是多少。
然后在 Unreal 里用那个速度模拟一遍。
看看会不会太晕，会不会看不清楚。
如果会，现在就改。
这就是 Techvis 思维。
一个有 Techvis 意识的分镜师，在任何剧组都是宝贝。
因为他帮所有人省钱，省时间。
5.3 输出 Techvis 报告
当你确认了所有镜头都是技术上可行的之后。
你可以直接从 Unreal 输出一份完整的 Techvis 报告。
这份报告会告诉现场的每一个部门：
摄影部门：
- 每个镜头用多少毫米的镜头
- 每个镜头光圈大概是多少
- 摄影机大概在什么位置
- 轨道要铺多长，从哪里铺到哪里
灯光部门：
- 主光从哪个方向来
- 副光从哪个方向来
- 大概需要多大功率的灯
- 哪些地方需要打效果光
美术部门：
- 哪些区域会被拍到，哪些是安全的穿帮区
- 道具要摆到什么位置
- 墙上的画挂多高
场务部门：
- 哪里可以放灯架，哪里不可以
- 轨道周围要留多少空间
- 演员第 3 秒走到哪里，第 7 秒走到哪里
所有人拿到的都是同一份数据。
没有歧义，没有”我以为”，没有”差不多”。
这就是为什么虚拟制片可以把整个剧组的效率提升几倍。
所有人都在同一张乐谱上演奏。
六、常见问题与解决方案
6.1 延迟问题
虚拟制片最怕的就是延迟。
你动了一下摄影机，结果 LED 墙上的画面晚了 0.2 秒才跟上。
人眼立刻就能看出来。
感觉特别糟糕。
怎么解决？
- 用更好的硬件：好的追踪系统延迟可以做到 1 帧以内（16ms 以下），人眼几乎感觉不到
- 关闭不必要的渲染效果：预演阶段，什么光线追踪、全局光照，全关了。先保证流畅
- 用 Genlock 同步：专业的虚拟制片系统都会用 Genlock 把追踪、渲染、LED 墙全部同步起来，保证三者完全同帧
个人做预演的话，其实不用太纠结延迟。
只要不超过 3 帧，大多数人都感觉不到。
6.2 颜色匹配问题
另一个常见问题：
Unreal 里看着挺好的画面，输出到 LED 墙上，颜色完全不对。
要么偏蓝，要么偏绿，要么饱和度不对。
怎么解决？
- 首先，一定要给 LED 墙做颜色校准。不是出厂什么样就直接用
- 其次，Unreal 的输出颜色空间要和 LED 墙的输入颜色空间匹配
- 最后，一定要用专业的监视器做参考，不要相信你电脑的屏幕
颜色这个东西，差一点，感觉就全错了。
值得花时间调准。
6.3 分辨率和摩尔纹
LED 墙是一个个小灯珠组成的。
离近了拍，你会拍到灯珠之间的网格线。
这就是摩尔纹。
这是目前 LED 虚拟制片最大的技术瓶颈之一。
目前的解决方案：
- 用更高密度的 LED 墙：像素间距越小，摩尔纹越不明显。当然也越贵
- 加大摄影机和 LED 墙之间的距离：离得越远，摩尔纹越不明显
- 加一点柔化滤镜：在摄影机镜头前加一个很轻的柔焦镜，可以大幅度消除摩尔纹
- 稍微失焦一点点：不用完全合焦，稍微虚一点点，摩尔纹立刻就没了
对于分镜和预演来说，摩尔纹其实不是大问题。
主要是最终拍摄阶段需要考虑。
结语
虚拟制片发展到今天，不过才短短几年时间。
《曼达洛人》第一季播出，震惊整个行业，也不过是 2019 年的事。
到今天，也才 7 年。
但这 7 年里，整个行业已经天翻地覆了。
今天如果你去好莱坞问任何一个导演、任何一个摄影指导：”未来的电影怎么拍？”
他们的答案一定是虚拟制片。
为什么？
因为它不是一个”更好的绿幕”。
它是在把电影制作从一个手工业，变成一个现代工业。
以前拍电影，是一百多个人在黑暗里摸索，每个人都在猜，每个人都在自己的岛上工作。
沟通靠开会，靠打电话，靠无数次的试错。
90% 的时间和金钱，都浪费在了这些沟通和试错上。
虚拟制片，第一次把所有人放到了同一个世界里。
分镜师、导演、摄影、灯光、美术、场务。
所有人看到的是同一份数据，同一个画面，同一个结果。
没有歧义，没有猜测，没有”我以为”。
这才是真正的革命。
不是 LED 墙，不是实时渲染，不是追踪。
是沟通成本的彻底消除。
作为分镜师，我们正站在这个革命的起点上。
未来十年，我们的工作方式会发生天翻地覆的变化。
我们手里的笔，会变成游戏手柄。
我们画的纸，会变成一个可以走进去的虚拟世界。
我们的分镜，不再是”计划”，而是”现实”。
这是最好的时代。
也是最坏的时代。
你可以选择害怕，选择观望，选择说”这不是真正的分镜”。
或者你可以选择走进去，成为这个新世界的第一批原住民。
选择权在你手里。
发表回复