NIPS2018论文及代码集锦(含GAN RNN等)（转载+整理）

2019年4月1日 629点热度 1人点赞 0条评论

[1] Regularization Learning Networks: Deep Learning for Tabular Datasets

Ira Shavitt, Eran Segal

Weizmann Institute of Science

这篇文章提出针对每个权重都施加不同的正则系数，这样可以通过更充分的利用更相关的输入，进而可以提升深度神经网络的性能。直接这样操作会使得超参数难以处理，这篇文章提出一种正则学习网络，通过引入一种高效的超参数调优策略，具体而言即为最小化反事实误差，来克服超参数难以处理的问题。RLN在表格型数据集上效果明显优于深度神经网络，并且取得的结果跟梯度提升树相当。将梯度提升树根RLN结合起来可以取得很好的效果。RLN能够生成的网络相当稀疏，可以省去网络中99.8%的边权和82%的输入特征，进而可以生成解释性更好的模型，更好地展示网络中不同输入的重要性。

输入特征占比与跟标签之间的R方变化如下图

不同方法的效果对比如下

代码地址

https://github.com/irashavitt/regularization_learning_networks

[2] PacGAN: The power of two samples in generative adversarial networks

Zinan Lin, Ashish Khetan, Giulia Fanti , Sewoong Oh

Carnegie Mellon University, University of Illinois at Urbana-Champaign

立即下载

这篇文章主要研究如何应对模式丢失现象，本文所提方法称为packing。主要思想在于对判别器进行改进，使得从来自一个类的多个样本进行决策，暂且不管这些样本是真实样本还是人工生成的样本。packing可以自然的惩罚模式丢失的生成器，进而在训练过程中有利于具有较少模式丢失的生成器分布。

pacgan与普通gan的对比如下

不同方法的效果对比如下

其中DCGAN对应的论文为Unsupervised representation learning with deep convolutional generative adversarial networks, ICLR 2016

代码地址

https://github.com/Newmu/dcgan_code

https://github.com/carpedm20/DCGAN-tensorflow

ALI对应的论文为Adversarially learned inference, ICLR 2017

代码地址

https://github.com/IshmaelBelghazi/ALI

unrolled GAN对应的论文为Unrolled generative adversarial networks, ICLR 2017

代码地址

https://github.com/poolio/unrolled_gan

VEEGAN对应的论文为Veegan: Reducing mode collapse in gans using implicit variational learning，NIPS 2017

代码地址

https://github.com/akashgit/VEEGAN

Minibatch Discriminatin对应的论文为Improved techniques for training gans,NIPS 2016

代码地址

https://github.com/openai/improved-gan

代码地址

https://github.com/fjxmlzn/PacGAN

[3] Non-Local Recurrent Network for Image Restoration

Ding Liu , Bihan Wen , Yuchen Fan , Chen Change Loy , Thomas S. Huang

University of Illinois at Urbana-Champaign, Nanyang Technological University

立即下载

这篇文章提出一种非局部循环神经网络（NLRN），将非局部操作与循环神经网络结合，用于图像恢复。已有方法中衡量自相似性的方式是独立的，本文所提方法能够集成到现有深度网络中，进而可以端到端的训练，并且可以铺捉到每个位置和其临近位置的关联性。RNN结构使其参数可以高效计算，并且深层的特征关联可以在相邻的循环状态中传播。针对图像质量严重破损的情况，这种做法相对不准确的关联估计可以增强模型的鲁棒性。给定损坏的图像，需要利用有限的邻居来计算深层的特征关联。

模型结构示例如下