[1] Lipschitz-Margin Training: Scalable Certification of Perturbation Invariance for Deep Neural Networks
Yusuke Tsuzuku, Issei Sato, Masashi Sugiyama
The University of Tokyo
神经网络对于输入中的扰动具有较高的敏感性。作者们为了得到稳定鲁棒的分类器,提出应对扰动的神经网络。先前的工作对网络结构进行了较强的假设,计算量也大,这就导致其应用范围有限。
根据利普希茨常数和预测间隔的关系,作者们提出一种高效的计算方法,用来生成对抗干扰的下界,这种方法广泛应用于多种复杂的网络。他们还提出了一种高效的训练过程,使得网络具有鲁棒性。
利普希茨边界训练算法过程如下
谱范数计算过程如下
不同方法的效果对比如下
代码地址
https://github.com/ytsmiling/lmt
[2] On gradient regularizers for MMD GANs
Michael Arbel, Dougal J. Sutherland, Mikołaj Binkowski ´, Arthur Gretton
University College London, Imperial College London
这篇文章提出一种原理性方法,用来对类似GAN的模型的临界点进行基于梯度的正则,训练时对抗性地优化最大平均差异(maximum mean discrepancy, MMD)。
对梯度的临界值加以控制对于得到合理的损失函数至关重要,作者们设计了一种方法,它能够在没有额外代价的前提下,相对现有的基于加性正则的近似方法,强制添加准确的分析性梯度约束。
新的损失函数已经被证明是连续的,实验结果表明,该方法能够使得训练过程比较稳定,而且能够加速训练过程。所得到的图像生成模型在数据集CeleBbA (160×160) 和ImageNet (64×64) 上优于目前最好的方法。
几种方法的矢量场和不同参数下最优临界和最优距离对比如下
几种方法在不同方面的对比如下
不同方法的效果对比如下
其中WGAN-GP对应的论文为
Improved Training of Wasserstein GANs
代码地址
https://github.com/igul222/improved_wgan_training
Sobolev GAN 对应的论文为
Sobolev GAN ICLR. 2018
SN GAN对应的论文为
Spectral Normalization for Generative Adversarial Networks, ICLR. 2018
代码地址
https://github.com/minhnhat93/tf-SNDCGAN
BGAN对应的论文为
BEGAN: Boundary Equilibrium Generative Adversarial Networks. 2017
代码地址
https://github.com/carpedm20/began-tensorflow
代码地址
https://github.com/MichaelArbel/Scaled-MMD-GAN
https://github.com/mbinkowski/MMD-GAN
https://github.com/dougalsutherland/opt-mmd
[3] Banach Wasserstein GAN
Jonas Adler, Sebastian Lunz
KTH - Royal institute of Technology, University of Cambridge
沃瑟斯坦生成式对抗网络(WGANs)能够根据复杂图像分布来生成真实的样本。WGANs中的沃瑟斯坦距离度量是基于图像之间的距离,进而可以推导出图像概率分布的距离。目前用的比较多的是二阶范数。
作者们将WGAN的理论利用梯度惩罚泛化到巴拿赫空间,进而可以在生成器中选择比较重要的特征。作者们还讨论了索伯列夫范数的影响。实验表明通过选择合适的范数在数据集CIFAR-10 和 CelebA 上的性能能够得以提升。
这篇文章的主要贡献在于
几种方法在CIFAR-10上的效果对比如下
其中DCGAN对应的论文为
Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, ICLR 2016
代码地址
https://github.com/Newmu/dcgan_code
EBGAN对应的论文为
Energy-based Generative Adversarial Network, ICLR 2017
代码地址
https://github.com/buriburisuri/ebgan
WGAN-GP对应的论文为
Improved training of wasserstein gans, NIPS 2017
代码地址
https://github.com/igul222/improved_wgan_training
CT GAN 对应的论文为
Improving the Improved Training of Wasserstein GANs,ICLR 2018
SNGAN 对应的论文为
Spectral Normalization for Generative Adversarial Networks, ICLR 2018
代码地址
https://github.com/minhnhat93/tf-SNDCGAN
Progressive GAN对应的论文为
Progressive Growing of GANs for Improved Quality, Stability, and Variation,ICLR 2018
代码地址
https://github.com/tkarras/progressive_growing_of_gans
代码地址
文章评论