Abstract  知识蒸馏(Knowledge distillation)旨在训练一种轻量分类器，能够在资源受限的多标签学习中提供精准的推理。分类器不是直接使用特征-标签对，而是由教师进行训练。比如，一个使用大量资源训练的高能力模型，这种分类器的精确度由于很难从教师那里学习到真实数据分布从而达不到理想水平。另一种方法是在类似生成对抗网络中，分类器对抗判别器，以保证分类器在博弈均衡状态下学习到真实的数据分布。但这种双人博弈方法因为高方差梯度更新，往往需要很长的时间才能达到博弈均衡状态。为了解决这些问题，作者提出了一种取名为KDGAN的包括分类器、教师、判别器的三人博弈游戏。 ...

摘要  用于图像分类的深度网络面对对抗性攻击的脆弱性已经众所周知，但人们对其的了解还不够深入。通过新颖的实验分析，作者说明了用于图像分类的深度卷积网络的一些事实，这些事实揭示了它们的分类行为和分类行为如何与对抗的问题联系在一起的。简而言之，这些网络的卓越表现和它们面对对抗性攻击的脆弱性是同一枚硬币的两面：网络面对对抗性攻击最脆弱的输入图像空间方向与网络首先用来实现其分类性能的方向相同。作者通过两个主要的步骤得出这个结果。首先是揭示类别倾向于和特定的图像空间方向关联的事实。这是通过检查网络的类得分输出作为沿着这些方向一维运动的函数来显示的。这为通用对抗性扰动的存在提供了一种新 ...

简介  从名字可以看出，这篇论文是关于相似搜索，并通过最优稀疏提升(Optimal Sparse Lifting)，加快相似搜索的速度和精度。这篇论文来自nips2018，是在之前介绍过的A neural algorithm for a fundamental computing problem的基础上更进一步。我们知道，之前的算法通常将输入映射到更低维的空间，来减少计算复杂度并加快相似搜索的速度。果蝇算法却通过稀疏二值随机矩阵将输入映射到更高维的输出空间，同时保留输入数据之间的相似性。果蝇算法的映射矩阵是以概率$p$随机生成的，但我们知道，神经连接的过程是动态变化的，会随 ...

简介论文地址  相似搜索(similarity search)，比如确认数据库中相似的图片或互联网上相似的文档，是许多大规模信息检索系统面临的基本计算问题。该论文发现果蝇嗅觉神经回路使用一种不同于传统计算科学算法(locality-sensitive hashing)的方法来解决这个问题。果蝇的神经回路赋予相似的输入刺激以相似的神经活动模式，所以接触到相似的气味时，可以应用之前学习到的行为。果蝇的算法，使用了三种不同于传统方法的计算成分。作者展示了在一些基准数据库上，和传统方法相比，果蝇算法可以用于改善相似搜索的性能。作者受此启发，为近似相似搜索(approximate s ...

工作概述策略 选取策略：按时间顺序，从新到旧依次阅读 阅读策略：从前往后阅读，重点放在论文提出的方法原理阐释 内容  本周读了来自nips2018的2篇论文，分别是Text-Adaptive Generative Adversarial Networks: Manipulating Images with Natural Language和IntroVAE: Introspective Variational Autoencoders forPhotographic Image Synthesis。另外尝试着读Efficient Algorithms for Non-co ...

摘要  该论文提出了一种新的深度生成模型——自省变分自编码器，用来实现高清图像等高维数据的无条件生成。该模型是VAEs和GANs的一种混合模型，兼有二者的优点。该模型一方面在不引入额外的对抗判别器的情况下，克服了变分自编码器合成图像趋于模糊的问题；另一方面在不使用常用的多阶段多判别器策略下，实现了高分辨率图像合成的稳定训练。实验结果表明，该模型不仅能够稳定生成高分辨率照片级图像，而且在生成模型常用的量化指标上取得了目前最好的结果。论文地址。开源代码。 背景变分自编码器(VAEs)  VAEs希望构建一个从隐变量$z$生成目标数据$x$的模型。VAEs包括 ...

摘要  该论文提出了一种生成式对抗网络TAGANs，可以用自然语言描述操纵图像，即根据文本描述修改图像中某对象的某个视觉方面的属性。之前的方式是合成具有新属性的图像，但会丢失原始图像中和文本描述无关的内容。该方法使用text-adaptive discriminator创建的word-level discriminators可以根据输入文本自适应地对细粒度的属性进行独立的分类。论文地址，该论文代码已开源，传送门。 相关工作  该论文的工作是和conditional image generation methods紧密相关的。有许多工作尝试使用条件变量生成 ...

论文：Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization 算法背景图像风格迁移即对于给定的图像，将其渲染成某种艺术风格的图像。这主要包含两个问题，一是如何对风格图像中的风格特征进行建模和提取，二是如何将提取的风格和内容混合然后还原成一个相应的风格化结果。 图像风格化起源于纹理建模和图像重建。 其中纹理建模（Visual Texture Modelling）又分为两类： 基于统计分布的参数化纹理建模方法 基于MRF的非参数化纹理建模方法 纹理建模解决了如何对风格特征进行提取的问题。 而图像重建解 ...

前言论文地址 2015年Ross Girshick基于R-CNN的工作提出来Fast R-CNN，使用很深的VGG16网络，训练速度是R-CNN的9倍，检测速度是其的213倍，而且在PASCAL VOC2012上达到了更高的准确度。与SPPnet相比，fast R-CNN训练VGG16网络比他快3倍，测试速度快10倍，并且更准确。 R-CNN具有显著的缺点: 训练过程是多级流水线。R-CNN首先使用目标候选框对卷积神经网络使用log损失进行微调。然后，它将卷积神经网络得到的特征送入SVM。 这些SVM作为目标 测器，替代通过微调学习的softmax分类器。 在第三个训练阶段，学习检 ...

前言勤奋无法避免战略上的失败。我想，方法论的重要性是毋庸置疑的，成甲老师的《好好学习》便是讲授方法论的，这本书语言特别通俗，尽管有些我认为不太合理的地方，比如复利，指数爆炸在其他地方都是让人头疼的存在，在本书中成了一碗鸡汤，还有对哪些知识应该学的议论，也只是一己之见，但瑕不掩瑜，书中一些观点让我很受启发，于是总结记录如下。 知识和临界知识知识是什么？维基百科的定义如下： 知识是对某个主题确信的认识，并且这些认识拥有潜在的能力为特定目的而使用。 Google的定义如下： 人类在实践中认识客观世界（包括人类自身）的成果。 可以看出知识是经过验证(或者说当前、部分验证过)的人类对世界的认识。 ...