裤子换裙子,就问你GAN的这波操作秀不秀
把照片里的绵羊换成长颈鹿、牛仔长裤换成短裙。听起来有点不可思议,但韩国科学技术院和浦项科技大学的研究人员目前已实现了这一骚操作。他们提出了一种新的方法——instance-aware GAN(InstaGAN),这种 GAN 结合了实例信息(如目标分割掩码),提高了多实例转换的能力。在保持实例置换不变性的同时,该 GAN 对图像和相应的实例属性集进行转换。为此,研究人员引入了一个语境保留损失函数,鼓励网络学习目标实例之外的恒等函数。此外,他们还提出了一种序列 mini-batch 推理/训练技术,这种技术借助有限的 GPU 内存处理多个实例,增强了该网络在多实例任务中的泛化能力。其论文《InstaGAN: Instance-Aware Image-to-Image Translation》已被 ICLR2019 接收。