近日，Facebook 发表了一篇名为「基于多视图图像转换的 VR 面部动画」的新研究，并在研究中提出了一个双向系统，可以使用消费者友好型耳机安装摄像头（HMC）为两个用户的完全相似的头像头提供动画。该研究主要存在两个主要挑战：无法调整相机视图以及图像到头像域间隙。研究人员通过利用多视图几何所施加的约束来建立精确的图像到化身对应，从而用于学习用于实时跟踪的端到端模型，从而解决了这两个问题。研究人员还提出了针对数据收集和模型构建的培训 HMC 的设计，以及在 VR 中进行交互时使用的跟踪 HMC。通过自我监督的多视图图像转换自动找到化身和 HMC 获取的图像之间的对应关系。研究团队对各种用户的系统进行评估，证明了该系统相较于旧项目的重大改进。