迪士尼研究（Disney Research）开发出一种新的面部捕捉系统（facial capture system）用于捕捉演员的特定表情，相对于常规的系统，该系统需要的时间与投入更少。
研究者发现他们可以使用采用小样本的录像，然后合成生成必要的数据来训练这个系统，无需详尽地录下演员在多种灯光条件的组合与机位下表现出的各种表情。
这种生成数据的方法能够使他们来确定一组小于常规量的数据（小了几十到几百倍）训练数据，不会影响到面部捕捉的精确性。
在今年 10 月 25 日在帕洛阿尔托举办的 3D 视觉国际大会上（International Conference on 3D Vision）展示了他们的这项技术。「由于机器学习的进展，实时无标记的面部表情捕捉在电影和视频游戏制作中已经逐渐流行起来，」迪士尼研究的副总裁 Markus Gross 说到。「通过减少训练这些系统所需的面部图像数量，我们的团队已经大大增加了这项技术的灵活性和效率。」
机器学习技术加速了从视频中推断面部几何的过程，但这需要详尽的训练程序使用大量经过注释的人脸图像。「不仅需要捕捉到所有的表情，还要考虑不同的灯光条件和拍摄角度，这会花掉大量的精力，」高级研究员 Kenny Mitchell 说到。「我们的想法是如果我们能够利用策略在特定的条件下捕捉某个演员的表情，我们可以合成所有的训练数据来得到一个目标场景，节省很多时间。」
研究员使用一台多相机捕获设备在均匀光照条件下，初步记录某个演员脸上的 70 个表情。这些表情数据被用来创建一个面部合成机器（face rig），也是一个可移动的、可塑造型的该演员脸部的模型。之后这个 face rig 被用来生成经过修剪的合成训练数据，可用于多种环境条件和不同性能的相机，而且能达到和制片人期望的实际设置差不多的效果。迪士尼研究的博士后 Martin Klaudiny 说。
这些研究员确定他们可以通过训练更多的表情和光照变化数据来达到最佳精确度，同时保证摄像视角的变化对最终结果的影响相对较小。「我们的试验结果显示，最佳的设计策略能够减少一到两个数量级的图像数量，同时计算量也会成比例地减少，而且不损害精确度。」该研究小组另一位关键的博士后研究员 Steven McDonagh 补充道。该研究延续了迪士尼利用最新技术讲述故事建设未来娱乐的传统。
论文地址：Synthetic Prior Design for Real-Time Face Tracking-Paper
