[1] Lipschitz-Margin Training: Scalable Certification of Perturbation Invariance for Deep Neural Networks
Yusuke Tsuzuku, Issei Sato, Masashi Sugiyama
The University of Tokyo
神经网络对于输入中的扰动具有较高的敏感性。作者们为了得到稳定鲁棒的分类器，提出应对扰动的神经网络。先前的工作对网络结构进行了较强的假设，计算量也大，这就导致其应用范围有限。
根据利普希茨常数和预测间隔的关系，作者们提出一种高效的计算方法，用来生成对抗干扰的下界，这种方法广泛应用于多种复杂的网络。他们还提出了一种高效的训练过程，使得网络具有鲁棒性。
利普希茨边界训练算法过程如下
谱范数计算过程如下
不同方法的效果对比如下
代码地址
https://github.com/ytsmiling/lmt
[2] On gradient regularizers for MMD GANs
Michael Arbel, Dougal J. Sutherland, Mikołaj Binkowski ´, Arthur Gretton
University College London, Imperial College London
这篇文章提出一种原理性方法，用来对类似GAN的模型的临界点进行基于梯度的正则，训练时对抗性地优化最大平均差异(maximum mean discrepancy, MMD)。
对梯度的临界值加以控制对于得到合理的损失函数至关重要，作者们设计了一种方法，它能够在没有额外代价的前提下，相对现有的基于加性正则的近似方法，强制添加准确的分析性梯度约束。
新的损失函数已经被证明是连续的，实验结果表明，该方法能够使得训练过程比较稳定，而且能够加速训练过程。所得到的图像生成模型在数据集CeleBbA (160×160) 和ImageNet (64×64) 上优于目前最好的方法。
几种方法的矢量场和不同参数下最优临界和最优距离对比如下
几种方法在不同方面的对比如下
不同方法的效果对比如下
其中WGAN-GP对应的论文为
Improved Training of Wasserstein GANs
代码地址
https://github.com/igul222/improved_wgan_training
Sobolev GAN 对应的论文为
Sobolev GAN ICLR. 2018
SN GAN对应的论文为
Spectral Normalization for Generative Adversarial Networks, ICLR. 2018
代码地址
https://github.com/minhnhat93/tf-SNDCGAN
BGAN对应的论文为
BEGAN: Boundary Equilibrium Generative Adversarial Networks. 2017
代码地址
https://github.com/carpedm20/began-tensorflow
代码地址
https://github.com/MichaelArbel/Scaled-MMD-GAN
https://github.com/mbinkowski/MMD-GAN
https://github.com/dougalsutherland/opt-mmd
[3] Banach Wasserstein GAN
Jonas Adler, Sebastian Lunz
KTH - Royal institute of Technology, University of Cambridge
沃瑟斯坦生成式对抗网络（WGANs）能够根据复杂图像分布来生成真实的样本。WGANs中的沃瑟斯坦距离度量是基于图像之间的距离，进而可以推导出图像概率分布的距离。目前用的比较多的是二阶范数。
作者们将WGAN的理论利用梯度惩罚泛化到巴拿赫空间，进而可以在生成器中选择比较重要的特征。作者们还讨论了索伯列夫范数的影响。实验表明通过选择合适的范数在数据集CIFAR-10 和 CelebA 上的性能能够得以提升。
这篇文章的主要贡献在于
几种方法在CIFAR-10上的效果对比如下
其中DCGAN对应的论文为
Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks， ICLR 2016
代码地址
https://github.com/Newmu/dcgan_code
EBGAN对应的论文为
Energy-based Generative Adversarial Network， ICLR 2017
代码地址
https://github.com/buriburisuri/ebgan
WGAN-GP对应的论文为
Improved training of wasserstein gans， NIPS 2017
代码地址
https://github.com/igul222/improved_wgan_training
CT GAN 对应的论文为
Improving the Improved Training of Wasserstein GANs，ICLR 2018
SNGAN 对应的论文为
Spectral Normalization for Generative Adversarial Networks， ICLR 2018
代码地址
https://github.com/minhnhat93/tf-SNDCGAN
Progressive GAN对应的论文为
Progressive Growing of GANs for Improved Quality, Stability, and Variation，ICLR 2018
代码地址
https://github.com/tkarras/progressive_growing_of_gans
代码地址
文章评论