Elad Hoffer , Ron Banner , Itay Golan, Daniel Soudry Technion - Israel Institute of Technology, Intel - Artificial Intelligence Products Group (AIPG) 过去几年，批归一化广泛应用于深层网络中，这种技巧可以加速训练过程，并且在多种应用中可以提升效果。但是这种技巧之所以带来好的效果的原因尚待探索，并且有一些缺陷阻碍了该技巧在某些任务中的应用。 这篇文章给出了归…
Arash Vahdat , Evgeny Andriyash , William G. Macready Quadrant.ai, D-Wave Systems Inc. 在变分自编码(VAEs)中，波尔兹曼机分布在二值隐含变量中是一种有效的先验知识。但是，之前的一些训练离散变分自编码的方法利用的是证据下界，而不是紧致的重要性加权的界。 这篇文章提出两种方法将波尔兹曼机用于连续分布，并且保证训练时具有重要性加权的界。主要是利用泛化重叠变换和高斯积分技巧。 几种方法的效果对比如下 代码地址 https://gith…
Ira Shavitt, Eran Segal Weizmann Institute of Science 这篇文章提出针对每个权重都施加不同的正则系数，这样可以通过更充分的利用更相关的输入，进而可以提升深度神经网络的性能。直接这样操作会使得超参数难以处理，这篇文章提出一种正则学习网络，通过引入一种高效的超参数调优策略，具体而言即为最小化反事实误差，来克服超参数难以处理的问题。RLN在表格型数据集上效果明显优于深度神经网络，并且取得的结果跟梯度提升树相当。将梯度提升树根RLN结合起来可以取得很好的效果。RLN能够生…
Gamaleldin F. Elsayed, Dilip Krishnan, Hossein Mobahi, Kevin Regan , Samy Bengio Google Research 这篇论文提出利用深度学习来产生大间隔分类器。间隔，即最小化决策边界的最小距离，可以成功用于分类和回归任务中。但是，大部分大间隔算法适用于特征表示事先设计好的浅层模型，传统的神经网络中的间隔方法只能使得输出层的间隔较大。因此，这些方法不适合深层网络。 这篇文章提出一种新的损失函数，这种损失函数可以作…
