技术概览
LS-GAN通过学习一个损失函数来区分生成数据和真实数据。LS-GAN的一个重要性质是生成网络可以关注于提高那些与真实数据区别还很大的生成数据，而不会在已经优化的很好的生成数据上浪费精力，因此LS-GAN可以得到整体质量较高的生成数据。
LS-GAN假设一个损失函数，其真实数据的损失应小于生成数据的损失，也就是说损失函数必须符合下列公式的约束：
其中delta项是真实数据和生成数据间的差距。这个约束要求真实数据与对应的生成数据的损失之间至少有一个delta项的预量。值得注意的是，LS-GAN的预量不是一个固定的常数，而是根据数据本身变化的。当生成器生成的数据越来越接近真实数据时，预量可能消失，因此模型就可以更集中精力在那些离真实数据还比较远的数据上。这个delta项可以选用任意的距离度量，比如L_p距离||x-G(z)||p。
在以上约束的基础上引入一个松弛变量(slack variable)得到：
因此当我们固定生成器G时，以theta为参数可以通过以下目标函数训练损失函数：
其中lambda是一个大于0的平衡参数。第一项是在真实数据的分布上最小化损失函数的期望，因为对分辨器而言，我们希望真实数据的损失尽可能的小。第二项是由松弛变量造成的损失，我们也希望约束尽可能地被遵守，因此这项也是越小越好。
另一方面，对于固定的分辨器，通过以下目标函数可以找到一个最优的生成器：
通过上述两个目标函数，我们就可以交替地优化分辨器和生成器。
不同于传统的GAN，LSGAN将要建模的样本分布限定在Lipschitz密度上。在此假设下可以证明，当把LSGAN的损失函数限定在Lipschitz连续的函数类上，它得到地生成样本的分布和真实样本是完全一致的。同时这样的假设也避免了传统GAN由于无限建模能力而引起的梯度消失问题。
【描述来源: Loss-Sensitive Generative Adversarial Networks on Lipschitz Densities;URL: https://arxiv.org/pdf/1701.06264.pdf】
发展历史
描述(300字)
2014年，Goodfellow等人首次提出生成对抗网络，以最大最小化的对抗博弈为概念同时训练两个模型，以实现根据真实数据的分布生成合成数据。自此之后，生成对抗网络吸引了大量的研究人员对其进行研究发展。其研究大约可分为两个方向，对网络结构的研究和对训练准则如损失函数的研究。
在第一个方向上，2015年Radford等人在GAN中引入multiple strided和actional-strided卷积层，提出了DCGAN，在合成真实图片任务中表现优异，后成为很多GAN家族网络的基础。
LSGAN属于对训练准则的研究。除此之外，2016年，Junbo Zhao提出了基于能量理论的生成对抗网络EBGAN，通过最小化能量方程来优化分辨器，并用一个具有自动编码结构的分辨器来计算能量。在此论文中，作者也证明了生成样本的分布可以完全和真实样本一致。然而EBGAN仍然需要假设模型具有无限建模能力，这可能是由于模型使用了固定的预量，而不是LSGAN使用的根据生成样本质量变化的预量。2017年，Martin Arjovsky提出最小化生成数据分布和真实数据分布之间的推土机距离(Earth-Mover distance)来构建Wasserstein GAN。和LSGAN一样，WGAN也提出了将损失函数限定在Lipschitz连续的函数类上，但没有提供模型完全覆盖真实样本分布的能力的理论证明，LSGAN补充了这一空白。
提出LSGAN之后，原作者齐国君又提出了更广义的LSGAN——GLSGAN，并证明LSGAN和WGAN是两个GLSGAN的特例。
主要事件
年份 | 事件 | 相关论文 |
2014 | Goodfellow等人首次提出生成对抗网络 | Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., ... & Bengio, Y. (2014). Generative adversarial nets. In Advances in neural information processing systems (pp. 2672-2680). |
2015 | Radford等人提出DCGAN，后成为很多GAN家族网络的基础 | Radford,A., Metz,L., & Chintala,S. (2015). Unsupervised represen- tation learning with deep convolutional generative adversarial networks. arXiv preprint arXiv:1511.06434. |
2016 | Zhao等人提出基于能量的EBGAN | Zhao,J., Mathieu,M.,& LeCun,Y.(2016).Energy-based generativeadversarial network. arXiv preprint arXiv:1609.03126. |
2017 | Arjovsky等人提出WGAN | Arjovsky, M.,Chintala, S.,& Bottou,L.(2017). Wasserstein gan. arXiv preprint arXiv:1701.07875. |
2017 | LSGAN原作者齐国君提出GLSGAN，将LSGAN和WGAN统一到一个框架内 | Qi, G. J. (2017). Loss-sensitive generative adversarial networks on lipschitz densities. arXiv preprint arXiv:1701.06264. |
发展分析
瓶颈
LSGAN虽然很好的解决了GAN训练中的梯度消失问题，但依然没有解决模态退化。
未来发展方向
在LSGAN中用到了max(a,0）的代价函数，而在GLSGAN中作者提出了使用不同的代价函数来训练损失函数，得到了广义的LSGAN模型。未来可以寻找更多不同的代价函数来充实GLSGAN的超模型，甚至找到比GLSGAN更泛化的广义模型。
另外LSGAN证明了限定建模能力可以解决梯度消失问题，但尚没有研究证明一旦假设无限建模能力就无法避免梯度消失问题，因此对于无限建模能力与梯度消失之间的关联也是一个未来的方向。
Contributor: Jianghui Wang