AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
在 AIGC 的热潮下，基于语音驱动的视频口型编辑技术成为了视频内容个性化与智能化的重要手段之一。尤其是近两年爆火的数字人直播带货，以及传遍全网的霉霉讲中文、郭德纲用英语讲相声，都印证着视频口型编辑技术已经逐渐在行业中被广泛应用，备受市场关注。
近期，字节跳动一项名为 PersonaTalk 的相关技术成果入选了 SIGGRAPH Asia 2024-Conference Track，该方案能不受原视频质量的影响，保障生成视频质量的同时兼顾 zero-shot 技术的便捷和稳定，可以通过非常便捷高效的方式用语音修改视频中人物的口型，完成高质量视频编辑，快速实现数字人视频制作以及口播内容的二次创作。
肖像来自学术数据集 HDTF
目前的视频改口型技术大致可以分为两类。一类是市面上最常见的定制化训练，需要用户首先提供 2-3mins 的人物视频数据，然后通过训练让模型对这段数据中的人物特征进行过拟合，最终实现该数据片段中人物口型的修改。这类方案在效果上相对成熟，但是需要耗费几个小时甚至几天的模型训练时间，成本较高，很难实现视频内容的快速生产；与此同时，这类方案对人物视频的质量要求往往偏高，如果视频中的人物口型动作不标准或者环境变化太复杂，训练后的效果会大打折扣。除了定制化训练之外，还有另一类 zero-shot 方案，可以通过大量数据来对模型进行预训练，让模型具备较强的泛化性，在实际使用的过程中不需要再针对特定人物去做模型微调，能做到即插即用，成功解决了定制化方案成本高，效果不鲁棒的问题。但这类方案大都把重点放在如何实现声音和口型的匹配上，往往忽略了视频生成的质量。这会导致一个重要的问题，最终生成的视频不论是在外貌等面部细节，还是说话的风格，跟本人会有明显的差异。
PersonaTalk 作为一项创新视频生成技术，构建了一个基于注意力机制的双阶段框架，实现了这两类方案优势的统一。
论文链接：https://arxiv.org/pdf/2409.05379 项目网页：https://grisoon.github.io/PersonaTalk
Style-Aware Geometry Construction：这一阶段的目标是在 3D 几何空间中生成具备人物风格的人脸动画。除了通过常规的语音信号来控制生成结果，这里还从参考视频中提取说话者个性化的面部特征并分析出特征的统计特性，通过 Cross Attention 注入到模型中，来引导生成的动画具备说话者本人的面部运动风格。此外，文中还提出了一种 Hybrid 3D Reconstruction 方案，通过结合深度学习和迭代式优化的方法，来提升人脸三维重建的精度和稳定性。 Dual-Attention Face Rendering：在渲染过程中，作者团队创新性地设计了两个并行的注意力模块 Face-Attention 和 Lip-Attention，通过 Cross Attention 来融合 3D 动画和人物参考图特征，分别渲染脸部和嘴部的纹理。在推理过程中，文中还针对这两个模块分别设计了参考图挑选策略，其中人脸部分参考图从以当前帧为中心的一个滑动窗口中来获取，以此降低人脸纹理的采集和生成难度，确保视频画面的稳定性和保真度；口型部分则是先按照口型张幅大小对整个视频中的人脸进行排序，然后均匀挑选出不同张幅的口型图片组成一个集合，以确保口腔内的信息可以被完整性获取。
