最小二乘生成对抗网络在普通的生成对抗网络的基础上，用最小二乘损失函数替代Sigmoid交叉熵损失函数。相比普通的生成对抗网络，LSGANs有两大优点。首先LSGANs能够生成更高质量的图片，其次LSGANs的训练过程更稳定。这是由于使用Sigmoid交叉熵损失函数时，对于被分辨器分类为真实数据的那些生成数据，即使这些生成数据相比真实数据依然有很大的距离，但这些生成数据仍然几乎不会产生损失。但最小二乘损失函数会根据数据到决策边界的距离产生损失，因此LSGANs可以迫使生成器产生更接近决策边界的图片。另外在更新生成器时，最小二乘损失函数可以比Simoid交叉熵损失函数产生更大的梯度，因此可以缓解梯度消失的问题，从而使学习过程更稳定。从另一个角度看，如图片中所示，(a)为Sigmoid交叉熵损失函数图，(b)为最小二乘损失函数图，最小二乘损失函数只在一点上梯度为0，而Sigmoid交叉熵损失函数在较大的x位置上会饱和。
【内容来源：Least Squares Generative Adversarial Networks；URL：https://arxiv.org/pdf/1611.04076.pdf 】
【图片来源：Least Squares Generative Adversarial Networks; URL：https://arxiv.org/pdf/1611.04076.pdf 】
发展历史
受限玻尔兹曼机(RBMs)是很多深度生成网络的基础。深度生成网络主要用于建立图片和文档的分布模型。深度信念网络(DBNs)和深度玻尔兹曼机(DBMs)由受限玻尔兹曼机发展而来。深度玻尔兹曼机作为特征提取器，成功地被用于图片分类任务中。然而，RBMs、DBNs和DBMs都无法很好地解决困难的配分函数或后验分布，因此都使用近似方法来学习模型。另一个重要的深度生成模型为变分自动编码器(VAEs)，可以用基于梯度的优化方法学习。但VAEs通过最大化变分下界来学习，因此得到的图片比较模糊。
2014年，Goodfellow等人提出了生成对抗网络(GANs)。和上述模型相比，训练GANs不需要用到任何近似方法。和VAEs一样，GANs也可以通过可导网络学习。由于对无监督学习任务的强大能力，GANs被用于了很多特定任务，例如图片生成、图片超像素、根据文字生成图片以及图片与图片之间的转换等。通过结合传统的内容损失(content loss)和对抗损失(adversarial loss)，超像素生成对抗网络在图片超像素任务中取得了很好的表现。2016年，Reed等人在条件生成对抗网络(conditional GANs)的基础上提出了一个模型，可根据描述文字合成图片。同年Isola等人也用条件生成对抗网络实现了图片与图片间的转换。除了无监督学习任务，GANs在半监督学习任务中也表现出了潜质。Salimans等人提出了基于GANs的半监督学习框架。在此框架中，分辨器不仅输出一张输入图片属于真实数据的概率，同时还输出属于某个类别的概率。
虽然生成对抗网络取得了巨大的成功，要提高生成图片的质量仍是个挑战。2015年Radford等人首次将卷积层用于GANs结构中，并提出了深度卷机生成对抗网络(DCGANs)。Denton等人提出了Laplacian pyramid of generative adversarial networks(LAPGANs)。在这个网络中，他们搭建了一个拉普拉斯金字塔，用于从低精度图片中生成高精度图片。此外，Salimans等人提出了称为特征配对的技术，以获得更好的收敛。此技术通过最小化分辨器中间层的均方差，使生成的图片符合真实数据的统计规律。
GANs的另一个重要问题是学习过程的稳定性。很多方法尝试通过分析GANs的目标函数来解决这个问题。2016年Junbo Zhao等人提出了将分辨器视作能量函数，使用自动编码器结构来提高GANs的学习稳定性。为了使生成器和分辨器更平衡，Metz等人提出了展开目标函数(unrolled objective function)来加强生成器。Che等人加入了一个重构模块并以真实数据和重构数据间的距离作为正则化矩阵来得到更稳定的剃度。Nowozin提出与最初GANs的目标函数相关的JSD(Jensen-Shannon divergence)是发散估计的一个特殊情况，并推广到了arbitrary f-divergences。2017年Qi提出损失敏感生成对抗模型(Loss-Sensitive GAN)，他假设真实数据比生成数据的损失更小，并证实这种损失函数几乎在任何点上都不会有剃度消失的问题。
主要事件
年份 | 事件 | 相关论文 |
2006 | Geoffrey Hinton等人提出DBN模型 | Hinton, G. E., Osindero,S., & Teh, Y.-W.(2006). A fast learning algorithm for deep belief nets. Neural Computation, vol. 18, pp. 1527–1554. |
2009 | Ruslan Salakhutdinov和Geoffrey Hinton提出DBM模型 | Salakhutdinov,R. ,& Hinton,G. (2009).Deep Boltzmann machines. in Proceedings of the International Conference on Artificial Intelligence and Statistics, vol. 5, pp. 448–455. |
2010 | Taylor等人在Gated RBM的基础上提出从影片中两张相邻图片中提取特征的模型 | G. W. Taylor et al.(2010).Convolutional Learning of Spatio-temporal Features |
2014 | Goodfellow等人提出生成对抗网络 | Goodfellow et al.(2014).generative adversarial networks |
2014 | D. P. Kingma和M. Welling提出变分自动编码器 | D. P. Kingma, M. Welling(2014).Auto-encoding variational bayes |
2015 | Radford等人提出DCGANs，首次将卷积层引入GANs结构 | A. Radford et al.(2015).Unsupervised representation learning with deep convolutional generative adversarial networks |
2015 | Denton等人提出LAPGANs | E. Denton et al.(2015).Deep generative image models using a laplacian pyramid of adversarial networks |
2016 | Xi Chen等人提出InfoGAN | X. Chen et al.(2016).Infogan: Interpretable representation learning by information maximizing generative adversarial nets |
2016 | Christian Ledig等人将GANs用于图片超像素任务中 | C. Ledig et al.(2016).Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network |
2016 | Scott Reed等人基于GANs通过文字描述生成图片 | S. Reed et al.(2016).Generative Adversarial Text to Image Synthesis |
2016 | Phillip Isola利用条件对抗网络实现图片到图片的转换 | P. Isola et al.(2016).Image-to-Image Translation with Conditional Adversarial Networks |
2016 | Salimans等人提出了基于GAN的半监督学习框架 | T. Salimans et al.(2016).Improved techniques for training gans |
发展分析
瓶颈
虽然通过引入最小二乘损失函数，LS-GAN成功地提高了训练稳定性以及输出表现，但依然不能解决GAN普遍存在的模式崩塌（mode collapse）问题.
未来发展方向
现有的方法只是将生成的数据推向决策边界，未来的方向可能是将生成数据直接推向真实数据
Contributor: Jianghui Wang