[1] BRITS: Bidirectional Recurrent Imputation for Time Series
Wei Cao, Dong Wang, Jian Li, Hao Zhou, Yitan Li, Lei Li
Tsinghua University, Duke University, Bytedance AI Lab
立即下载
时间序列在很多分类或者回归中都会用到。但是，在实际应用中，时间序列可能会包含很多缺失值。给定多个可能有关联的时间序列，补充缺失值同时对类别标签进行预测非常重要。
现有的填补方法通常对潜在的数据生成过程加以较强的假设，比如状态空间中的线性动力学。这篇文章提出一种新的适用于时间序列的缺失值填补方法，简称BRITS，该方法基于循环神经网络。
这种方法利用双向循环动力系统直接学习缺失值，不需要任何特定的假设。填补值可以看做RNN图的变量，利用反向传播可以高效更新。
BRITS具有以下几个优势：
1 可以处理多个相关时间序列中的缺失值
2 可以泛化到带有潜在非线性动力学的时间序列中
3 填补过程是数据驱动的（难道还有不是数据驱动的？），可以用于一般的缺失数据的情形。
作者们在三个真实数据集上进行了实验，空气质量数据集，医疗健康数据集以及人口活动位置数据集。实验表明，该方法不仅在缺失值填补中效果最好，而且在分类或者回归任务中效果也是最好的。
这篇文章的贡献如下
带有缺失值的多变量时间序列示例如下
基于无向动力学的缺失值填补示例如下
几种方法的效果对比如下
其中KNN和MF对应的参考资料为
The elements of statistical learning
Multiple Imputation by Chained Equations (MICE)对应的论文为
Multiple imputation by chained equations:what is it and how does it work? 2011
ImputeTS对应的论文为
imputeTS: Time Series Missing Value Imputation in R, 2017
STMVL对应的论文为
St-mvl: filling missing values in geo-sensory time series data
GRU-D对应的论文为
Recurrent neural networks for multivariate time series with missing values, 2018
代码地址
https://github.com/zhiyongc/GRU-D
M-RNN对应的论文为
Multi-directional recurrent neural networks: A novel method for estimating missing data, 2017
在分类任务中，几种方法的效果对比如下
代码地址
https://github.com/caow13/BRITS
https://github.com/iskandr/fancyimpute
[2] Generative Probabilistic Novelty Detection with Adversarial Autoencoders
Stanislav Pidhorskyi, Ranya Almohsen, Donald A. Adjeroh, Gianfranco Doretto
West Virginia University
立即下载
异常检测即为判定一个新的样本点是正常点还是异常点。假设训练数据只能描述正常样本点的分布。最近有一些方法主要利用深层编码解码网络结构来计算重构误差，该误差可以用来计算新颖度得分或者训练一分类的分类器。
这篇文章也利用类似的网络结构，不过他们利用概率方法，并且能够高效的计算一个样本是否是由正常分布生成的。为此，他们首先对正常分布的潜在结构所暗含的参数流形结构线性化，进而使得新颖度概率可计算。并且给出了概率如何分解，然后关于流形正切空间的局部坐标来计算。此外，作者们还对自编码网络的训练进行了改善。
流形表示图示如下
网络结构图示如下
不同方法的效果对比如下
LOF对应的论文为
Lof: identifying density-based local outliers
DRAE对应的论文为
Learning discriminative reconstructions for unsupervised outlier removal，ICCV 2015
在数据集Coil-100上几种方法的效果对比如下
OutRank对应的论文为
Outlier detection using random walks，ICTAI 2006
Outrank: a graph-based outlier detection framework using random walk, 2008
CoP 对应的论文为
Coherence pursuit: Fast, simple, and robust principal component analysis，2016
REAPER对应的论文为
Robust computation of linear models by convex relaxation， 2015
OutlierPursuit对应的论文为
Robust pca via outlier pursuit，NIPS 2010
LRR对应的论文为
Robust subspace segmentation by low-rank representation， ICML 2010
DPCP对应的论文为
Dual principal component pursuit， ICCV 2015
R-graph对应的论文为
Provable self-representation based outlier detection in a union of subspaces， 2017
代码地址
https://github.com/podgorskiy/GPND
[3] Hybrid Macro/Micro Level Backpropagation for Training Deep Spiking Neural Networks
Yingyezhe Jin, Wenrui Zhang, Peng Li
Texas A&M University
立即下载
脉冲神经网络(SNNs, Spiking neural networks)能够处理时空信息，而且可以利用超低功率事件驱动的神经形态硬件来实现。但是，SNNs的性能只能达到跟传统的深层人工神经网络一样的效果，这是因为一种长期存在的挑战，即训练过程中复杂的动力学和非可微的脉冲事件。
现有的SNN中的误差传播方法受限于它的可扩展性，不能合适的处理脉冲不连续性，编码率损失函数与梯度之间的与或不匹配。这篇文章为训练多层SNNs提出一种混合的宏微等级后向传播算法(HM2-BP)。时序效应能够由脉冲训练的细微突触后电位（S-PSP）精确捕捉。
率编码误差是在宏观层面定义的，计算和反向传播时既有宏观层面又有微观层面。跟现有BP方法不同，HM2-BP直接计算率编码损失函数关于可调参数的梯度。
作者们利用训练深层全连接和卷积SNNs在静态MNIST和动态仿神经N-MNIST上对HM2-BP进行评估。HM2-BP在MNIST上达到99.49的准确率，在数据集N-MNIST上达到98.88%的准确率，优于之前报道的基于SNN BP算法的最好效果。
HM2-BP基于SNNs用于EMNIST时，取得了最高的准确率，在数据集T146语料上也取得了高识别率，该语料库包含了16个说话者所说的英语字母，该任务是具有挑战性的时空语音识别基准任务，先前没有基于SNNs的方法在该数据集上取得成功。在处理异步脉冲流时，该方法取得了优于传统深度学习模型的效果。
宏微观反向传播图示如下
S-PSP的计算图示如下
输出层中的宏微观反向传播计算图示如下
隐含层中宏观反向传播图示如下
几种SNN在数据集MNIST上的效果对比如下
其中24对应的论文为
Real-time classification and sensor fusion with a spiking deep belief network
代码地址
https://github.com/dannyneil/edbn
10对应的论文为
Spiking deep networks with lif neurons
6对应的论文为
Fast-classifying, high-accuracy spiking deep networks through weight and threshold balancing, IJCNN 2015
25对应的论文为
Deep spiking networks
15对应的论文为
Training deep spiking neural networks using backpropagation
32对应的论文为
Spatio-temporal backpropagation for training high-performance spiking neural networks
几种模型在N-MNIST上的效果对比如下
其中23对应的论文为
Phased lstm: Accelerating recurrent network training for long or event-based sequences，NIPS 2016
代码地址
https://github.com/philipperemy/tensorflow-phased-lstm
https://github.com/dannyneil/public_plstm
22对应的论文为
Effective sensor fusion with event-based sensors and deep network architectures
4对应的论文为
Skimming digits: neuromorphic classification of spike-encoded images
不同的脉冲卷积神经网络在MNIST上的效果对比如下
其中6对应的论文为
Fastclassifying, high-accuracy spiking deep networks through weight and threshold balancing，IJCNN 2015
7对应的论文为
Backpropagation for energy-efficient neuromorphic computing，NIPS 2015
27对应的论文为
Conversion of continuous-valued deep networks to efficient event-driven networks for image classification
不同模型在EMNIST上的效果对比如下
其中21对应的论文为
Event-driven random backpropagation:Enabling neuromorphic deep learning machines
不同结构在T146上的效果对比如下
代码地址
文章评论