Master X 前沿文章分享

  • Home
  • About me
Master X Blog
ECNU & HUST Student | Detective | Amateur Author
  1. 首页
  2. 论文
  3. NIPS整理
  4. 正文

NIPS2018论文及代码集锦(14)(亮点:卷积循环模型;半监督深层核学习;对抗式数据增广)

2019年7月7日 1484点热度 1人点赞 0条评论

[1] Task-Driven Convolutional Recurrent Models of the Visual System

Aran Nayebi, Daniel Bear, Jonas Kubilius, Kohitij Kar, Surya Ganguli, David Sussillo, James J. DiCarlo, and Daniel L. K. Yamins

Stanford University, MIT, KU Leuven, Google, Inc., Wu Tsai Neurosciences Institute

立即下载

 

目前,前向卷积神经网络在物体分类任务中的效果非常好。生物视觉系统中有两种普遍存在的结构特征,皮质区局部循环以及下游区到上游区的长范围反馈,这两种特征并没有体现在典型的卷积神经网络中。

这篇文章主要讨论如何利用循环来提高分类性能。标准形式的循环,比如RNNs和lstms,跟深层cnn融合用于imagenet上并不能取得较好的效果。通过融入两种结构特征,避开(bypassing) 及门限(gating),可以显著提升准确率。作者们将这些思路利用自动搜索的方式扩展到几千种模型结构,结果表明,新颖的局部循环单元和长距离反馈连接有助于提升物体识别的性能。

模型结构示例如下

 

几种结构及效果对比如下

超参数及搜索结构如下

代码地址

https://github.com/neuroailab/tnn

 

 

[2] Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance

Neal Jean, Sang Michael Xie, Stefano Ermon

Stanford University

立即下载

 

训练深度学习模型通常需要大量的标注数据。但是,在实际情况中,获取这些有标注的数据通常比较昂贵,甚至有些时候几乎不可能获取。

为解决上述问题,作者们提出了半监督深层核学习(SSDKL)。这是一种基于后验正则框架的半监督回归模型,目标在于最小化预测方差。SSDKL结合了神经网络的分层表示学习和高斯过程的概率建模能力。

SSDKL效果示例如下

在几个数据集上多种方法所带来的rmse降低的幅度对比如下

几种方法的效果随带标签样本数的变化对比如下

二维嵌入效果对比如下

代码地址

https://github.com/ermongroup/ssdkl

 

 

[3] Generalizing to Unseen Domains via Adversarial Data Augmentation

Riccardo Volpi, Hongseok Namkoong, Ozan Sener, John Duchi, Vittorio Murino, Silvio Savarese

Istituto Italiano di Tecnologia, Stanford University, Intel Labs

立即下载

 

这篇文章主要讨论一种特殊的学习模型,即如何较好地泛化到不同的未知域。只利用单个源域分布的数据来训练,针对基于当前模型扩展数据集比较难的情形,作者们提出一种迭代式过程,利用虚构的目标域样本来扩展数据集。

这种迭代式框架是一种自适应的数据增广方法,在每次迭代中都添加对抗样本。对于softmax损失函数,该方法是一种依赖于数据的正则方法,跟经典的正则方法(比如l1或者l2正则)不同。在数字识别和语义分割任务中,作者们提出的方法取得了很好的效果。

对抗式数据增广算法伪代码如下

代码地址

https://github.com/ricvolpi/generalize-unseen-domains

本作品采用 知识共享署名 4.0 国际许可协议 进行许可
标签: DL NIPS 会议 论文
最后更新:2022年3月11日

Master X

越是强大越是脆弱,这就是万物的道理。

点赞
< 上一篇
下一篇 >

文章评论

razz evil exclaim smile redface biggrin eek confused idea lol mad twisted rolleyes wink cool arrow neutral cry mrgreen drooling persevering
取消回复

归档
  • 2022年4月
  • 2022年2月
  • 2021年9月
  • 2021年8月
  • 2020年5月
  • 2020年4月
  • 2019年9月
  • 2019年8月
  • 2019年7月
  • 2019年4月
  • 2019年2月
分类目录
  • NIPS整理
  • 一周一篇好论文
  • 会议信息
  • 基础类
  • 学习记录
  • 小麦的黑科技教室
  • 我的十二个小故事
  • 故事
  • 整活运动
  • 论文

COPYRIGHT © 2022 My Blog. ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang

赣ICP备19008404号-1

赣公网安备 36011102000289号