NIPS2018论文及代码集锦(21)(亮点：异常检测;强化学习)

2019年7月11日 1032点热度 1人点赞 0条评论

[1] BRUNO: A Deep Recurrent Model for Exchangeable Data

Iryna Korshunova, Jonas Degrave, Ferenc Huszár, Yarin Gal, Arthur Gretton, Joni Dambre

Ghent University, Twitter, University of Oxford, UCL

立即下载

这篇文章提出一种新的模型结构，它可以使得深度学习工具在高维复杂样本中进行精确的贝叶斯推理。

本文的模型具有可交换性，在样本发生扰动时，样本的联合分布具有不变性，该特性是贝叶斯推理的核心。这种模型训练时不需要变分近似，新样本可以根据先前的样本作为条件来生成，生成新样本的代价跟它所依赖的条件集合的大小呈线性关系。

对序列多样性进行建模时，能够从短序列得到泛化性能，这类学习任务（如条件图像生成，少样本学习以及异常检测等）体现了本文结构的优势。

BRUNO模型示意图如下

不同方法效果对比如下

其中21对应的论文为

Matching networks for one shot learning, NIPS 2016

代码地址

https://github.com/AntreasAntoniou/MatchingNetworks

https://github.com/gitabcworld/MatchingNetworks

代码地址

https://github.com/IraKorshunova/bruno

[2] Stimulus domain transfer in recurrent models for large scale cortical population prediction on video

Fabian H. Sinz, Alexander S. Ecker, Paul G. Fahey, Edgar Y. Walker, Erick Cobos, Emmanouil Froudarakis, Dimitri Yatsenko, Xaq Pitkow, Jacob Reimer, Andreas S. Tolias

Baylor College of Medicine, Rice University, University of Tübingen

立即下载

为了更好地理解视觉中枢中的表示，给定生态输入，如自然视频，需要以清醒的动物为对象，对其神经活动进行更好的预测。尽管在静态图像中，最近有一些新的进展，但是，预测对自然视频所作出的反应相关的模型比较少，并且标准的线性非线性模型性能较差。

这篇文章提出一种新的深层循环网络结构，可以预测几千个老鼠的V1神经元的脉冲活动，其中真实的活动同时利用双光子显微镜来记录。这可以用来解释混淆变量，比如动物的注视位置和脑状态的改变跟跑步状态与瞳孔扩张之间的关系。

强大的系统识别模型能够通过电子实验洞察皮质的功能，进而可以在大脑中进行测试。然而，很多情况下，该方法需要模型能够泛化到训练时没用到的刺激统计，比如限带噪声以及其他参数刺激。作者们研究了模型的领域迁移特性，发现该模型在自然图像上进行训练之后，能够准确预测神经元对人工噪声刺激的调整方向。

可以将电影泛化到噪声，并且可以通过微调在自然电影中训练的网络最后一层的权重保持两个刺激域的高预测性能。

循环结构的一个时间戳如下图所示

模型效果比较如下

代码地址

https://github.com/sinzlab/Sinz2018_NIPS

[3] Relational recurrent neural networks

Adam Santoro, Ryan Faulkner, David Raposo, Jack Rae, Mike Chrzanowski, Théophane Weber, Daan Wierstra, Oriol Vinyals, Razvan Pascanu, Timothy Lillicrap

DeepMind, University College London

立即下载

基于记忆的神经网络能够通过记忆长时间的信息对时序数据进行建模。但是，他们是否能够利用所记住的信息进行复杂关系推理有待探讨。

标准的记忆结构在理解实体之间关联的方式这种任务中，存在一定难度。这些任务包含了关系推理。作者们为了解决这种问题，提出了一种新的记忆模块，关系记忆核，其中利用了多头点积注意力，可以使得记忆之间能够进行交互。

RMC在从序列信息中通过关系推理能够获益的任务中取得了不错的效果，在强化学习、语言建模等领域也取得了不错的效果，在多个数据集上取得了最好的效果。

本文所提模型图示如下