FaceShifter:高保真度和能识别遮挡的面部交换
北京大学和微软亚洲研究院的一项新研究提出了一个新颖的两阶段框架,称为 FaceShifter,用于实现高保真度和能识别遮挡的人脸交换。与许多现有的人脸交换模型在合成交换的人脸时仅利用目标图像的有限信息不同,他们的框架在其第一阶段通过充分、自适应地利用和集成目标属性,以高保真度生成交换人脸。他们还提出了一种新的属性编码器—用于提取多级目标人脸属性,并提出了一种新的生成器—该生成器具有经过精心设计的自适应注意力非正规化(AAD)层,可以自适应地集成身份和人脸合成属性。为了解决具有挑战性的面部遮挡,他们加入了第二阶段,该阶段包括一个启发式错误确认细化网络(HEAR-Net)。它经过训练可以以自我监督的方式恢复异常区域,而无需任何手动注释。