[1] Deep, complex, invertible networks for inversion of transmission effects in multimode optical fibres
Oisín Moran, Piergiorgio Caramazza, Daniele Faccio, Roderick Murray-Smith
University of Glasgow, University of Glasgow
这篇文章提出了一种基于复数域加权的深层网络，用于处理相干输入图像中的多模光纤畸变所带来的影响。首先利用相干光得到灰度图像的光纤响应集合，进而得到实验数据，只测量输出在长度为1m到10m之间，直径为105µm的多模光纤所对应的图像振幅。
作者们提出了一种复加权网络的酉正则化方法，该方法在光纤传输矩阵的稳健反演中能够取得挺好的效果，这与物理定律是相容的。酉约束有助于学习前向酉模型，然后解析反演该模型进而解决反演问题。该方法的效果通过融入空间光调制器诱导的相移知识很有可能得以进一步提升。
该方法的实验配置如下
反演流程如下
前向模型及反演模型的结构如下
几种情形下的模型效果对比如下
代码地址
https://github.com/rodms/opticalfibreml
[2] Multivariate Convolutional Sparse Coding for Electromagnetic Brain Signals
Tom Dupré La Tour, Thomas Moreau, Mainak Jas, Alexandre Gramfort
Université Paris-Saclay
神经活动的频率具有特定的模式，一般可以解释为持续的节律振荡，并且这种现象与注意力、高水平视觉处理或运动控制等认知机制相关联。
虽然阿尔法波（8-12Hz）与短正弦非常相像，通过傅立叶分析或小波变换可以得到该结论。但是电磁神经信号由更加复杂的波形构成，这些复杂的波形不能由简单的线性滤波和传统的信号表示进行分析。
这篇文章中，作者们提出利用多元卷积稀疏编码（CSC）算法来学习这种记录的专用表示。这种方法应用于脑电图（EEG）或脑磁图（MEG）信号时，不仅可以学习典型的时间波形，而且可以学习对应的空间模式，如此一来，就可以在大脑中定位这些信号的来源。
这篇文章提出的算法基于交替最小化和贪婪式坐标下降算法，在长时间序列的运行时间是最优的。该方法能够揭示存在着非正弦的mu形模式，而且还能够给出这些模式与躯体感觉皮层相关的地形图。
局部贪婪式坐标下降算法如下
其中式(5)和式(6)分别为
不同情形下每一步的计算复杂度如下
代码地址
[3] Recurrent Relational Networks
Rasmus Berg Palm, Ulrich Paquet, Ole Winther
Technical University of Denmark, DeepMind
这篇文章是关于如何解决这样一类任务，这类任务需要一系列相互依赖的关系推理，比如像物体之间的关系之类的复杂问题，或者像解中较小元素之间相互约束的难题。
作者们提出了循环关系网络，这种网络可以看做操作对象的图表示的一种通用模块。该网络能够对任何一种神经网络模型进行增广，使其能够进行多步关系推理。循环关系网络在bAbI文本问答数据集上取得了最优的效果。
从关系推理的角度来说，bAbI数据集的挑战性并不大，作者们引入了一种新的诊断数据集，Pretty-CLEVR，用于关系推理。在Pretty-CLEVR 数据集中，可以通过问题多样化来控制得到答案所需关系推理的步骤数。
另外，作者们还给出了循环关系网络如何从有监督训练数据中学着解决数独拼图游戏，这个问题具有一定的挑战性，要求至多64步关系推理。
循环关系网络结构如下
多种算法在数据集bAbI上的效果对比如下
其中Sparse Differentiable Neural Computer (SDNC)
Dense Access Memory (DAM)
Sparse Access Memory (SAM)
Differentiable Neural Computer (DNC)
NTM
LSTM
对应的论文为
Hybrid computing using a neural network with dynamic external memory,Nature 2016
代码地址
https://github.com/deepmind/dnc
EntNet对应的论文为
Tracking the world state with recurrent entity networks. arXiv preprint arXiv:1612.03969, 2016.
代码地址
https://github.com/jimfleming/recurrent-entity-networks
Remo对应的论文为
Finding remo (related memory object): A simple neural architecture for text based reasoning, arXiv preprint arXiv:1801.08459, 2018.
RN对应的论文为
A simple neural network module for relational reasoning. arXiv preprint arXiv:1706.01427, 2017.
代码地址
https://github.com/kimhc6028/relational-networks
MemN2对应的论文为
End-to-end memory networks. NIPS 2015.
代码地址
https://github.com/carpedm20/MemN2N-tensorflow
https://github.com/domluna/memn2n
在数独拼图游戏中几种方法的效果对比如下
其中Loopy BP, modified对应的资料为
Solving Sudoku using probabilistic graphical models. 2014.
Loopy BP, random
Loopy BP, parallel对应的资料为
Computing in Science & Engineering, 10(2): 32–40, 2008.
Deeply Learned Messages对应的论文为
Deeply learning the messages in message passing inference. NIPS 2015.
Deep Convolutional Network 对应的资料为
Can neural networks crack Sudoku?, 2016.
代码地址
https://github.com/rasmusbergpalm/recurrent-relational-networks
文章评论