一键定制人脸表情没那么难！字节跳动多篇论文入选AAAI 2023

字节跳动人像编辑GAN技术取得突破。

表情编辑技术在特效和修图场景有着广泛的应用。此前，剪映、醒图等 app 上的一键变笑脸模板一经上线就立刻成为出圈爆款；在抖音上，这一特效还引发了热烈的话题讨论，「笑得很好下次别笑了」一度登顶抖音话题热榜。

近日， 在 AI 领域的顶级会议 AAAI 2023 上，来自字节跳动智能创作团队的 3 篇关于表情编辑 GAN 技术的论文入选，揭示了上述爆款特效背后的技术实现方法。据了解，AAAI 2023共收到了 8777 有效投稿，最终接受了 1721 篇论文，总体接受率 19.6% 。

ReGANIE: Rectifying GAN Inversion Errors for Accurate Real Image Editing
论文地址：https://arxiv.org/abs/2301.13402
Semantic 3D-aware Portrait Synthesis and Manipulation Based on Compositional Neural Radiance Field
论文地址：https://arxiv.org/abs/2302.01579
CFFT-GAN: Cross-domain Feature Fusion Transformer for Exemplar-based Image Translation
论文地址：https://arxiv.org/abs/2302.01608

「一键变笑脸」背后的技术方案

第一阶段，团队利用预训练的 3D 人脸重建模型，提取 3DMM 表情系数并注入到 StyleGAN 的 w 空间。同时，渲染出 3D shape 用作约束条件，训练特定人脸表情的生成。第一阶段训练完成就可以生产大量的配对数据，训练服务端或移动端的 pix2pix 模型，从而实现特定表情的编辑。

StyleGAN 作为应用最广泛的无条件 GAN 之一，能够实现高保真图像的生成，同时也便于在其隐空间内进行语义编辑。团队借助 StyleGAN 自研了人像属性编辑框架，可以轻易地实现如人像表情等属性的编辑效果。

详细技术方案见：https://arxiv.org/abs/2109.10737

然而，基于 StyleGAN 生成的人脸（假图）和真实人脸图像还是有一定的差异，这体现在用假图训练好的 pix2pix 模型直接应用于自拍特效或者修图场景会不可避免的产生一些 bad case，因此需要借助 StyleGAN 反演能力，生产真实人脸的配对数据用于模型训练。

过去，基于 StyleGAN 的重建和编辑存在 trade-off 问题，即提升真实图像的重建效果会影响属性的编辑效果。先前的方法针对性地优化了 StyleGAN 的重建和编辑任务，但没能从原理上解决上述问题。团队提出了 ReGANIE，通过二阶段修复重建误差的方法，在不影响 StyleGAN 本身编辑能力的同时，大幅提升了图像重建的效果，从根本上解决了这个 trade-off 问题。

因此，团队利用 ReGANIE 和 StyleGAN 编辑模型可以生产真实人像的表情配对数据，还实验了如卡通肖像，动物肖像等场景扩展。

另外，团队探索了将神经辐射场（Nerf）技术和 StyleGAN 技术进行结合，结合人像分割能力提出了 3D 一致性的肖像合成与编辑技术 Semantic3D，实现了肖像数据的姿态和局部可控性。

它借由视角 v 的输入可以灵活生成不同姿态的肖像图，从而可以扩充训练数据的姿态多样性。同时，基于组合式生成的思想，让 StyleGAN 的隐空间操纵聚焦于期待编辑的属性，如只编辑面部区域表情而不改变头发或背景。

据团队介绍，未来，基于 GAN 等生成技术对人像表情进行编辑将主要应用于短视频特效、修图拍摄和内容生成等应用场景。目前，相关功能可在抖音，剪影，醒图等 APP 体验，企业用户可登陆火山引擎官网使用表情编辑服务。

火山引擎官网：https://www.volcengine.com/product/emotion-edit

智能创作团队是字节跳动 AI & 多媒体技术中台，通过建设领先的计算机视觉、音视频编辑、特效处理等技术，支持抖音、剪映、头条等公司内众多产品线；同时通过火山引擎为外部 ToB 合作伙伴提供业界前沿的智能创作能力与行业解决方案。

理论表情编辑字节跳动