深度学习之双反向传播

入附近的点，训练模型在这些点上产生与原来输入相同的输出。正切传播和手动指定转换的数据集增强都要求模型在输入变化的某些特定的方向上保持不变。双反向传播和对抗训练都要求模型对输入所有方向中的变化（只要该变化较小）都应当保持不变。正如数据集增强是正切传播非无限小的版本，对抗训练是双反向传播非无限小的版本。流形正切分类器

深度学习的跨模态检索综述

近年来，由于多模态数据的快速增长，跨模态检索受到了研究者的广泛关注，它将一种模态的数据作为查询去检索其它模态的数据。例如，用户可以用文本检索图像或/和视频。由于查询及其检索结果模态表征的差异，如何度量不同模态之间的相似性是跨模态检索的主要挑战。随着深度学习技术的推广以及其在计算机视

深度学习之权重比例

权重比例推断规则在其他设定下也是精确的，包括条件正态输出的回归网络以及那些隐藏层不包含非线性的深度网络。然而，权重比例推断规则对具有非线性的深度模型仅仅是一个近似。虽然这个近似尚未有理论上的分析，但在实践中往往效果很好。Goodfellow et al. (2013b) 实验发现

深度学习之任务 T

  机器学习可以让我们解决一些人为设计和实现固定程序很难解决的问题。从科学和哲学的角度来看，机器学习受到关注是因为提高我们对机器学习的认识需要提高我们对智能背后原理的理解。       如果考虑 “任务”比较正式的定义，那么学习的过程并不是任务。       在相对正式的 “任务

深度学习之代价函数

        深度神经网络设计中的一个重要方面是代价函数的选择。幸运的是，神经网络的代价函数或多或少是和其他的参数模型例如线性模型的代价函数相同的。       在大多数情况下，我们的参数模型定义了一个分布 p(y | x; θ) 并且我们简单地使用最大似然原理。这意味着我们使

数据高效深度学习的自调优

法则面临模型漂移的挑战。为了实现数据高效的深度学习，本文提出的Self-Tuning方法设计了一种新的“伪标签组对比”机制，将标记和未标记数据的探索与预训练模型的迁移统一起来。在多个基准数据集中，Self-Tuning的性能取得大幅提升，例如，在标签比例为15%的Stanford

深度学习之正则化

性能良好的机器学习算法。我们建立一组学习算法的偏好来达到这个要求。当这些偏好和我们希望算法解决的学习问题相吻合时，性能会更好。        至此，我们具体讨论修改学习算法的方法只有，通过增加或减少学习算法可选假设空间的函数来增加或减少模型的容量。我们列举的一个具体实例是线性回归

深度学习之maxout 单元

单元可以学习具有多达 k 段的分段线性的凸函数。maxout 单元因此可以视为学习激活函数本身而不仅仅是单元之间的关系。使用足够大的 k，maxout 单元可以以任意的精确度来近似任何凸函数。特别地，具有两块的 maxout 层可以学习实现和传统层相同的输入 x 的函数，这些传

深度学习之动量举例

和粘性阻力呢？部分原因是因为 −v(t) 在数学上的便利——速度的整数幂很容易处理。然而，其他物理系统具有基于速度的其他整数幂的其他类型的阻力。例如，颗粒通过空气时会受到正比于速度平方的湍流阻力，而颗粒沿着地面移动时会受到恒定大小的摩擦力。这些选择都不合适。湍流阻力，正比于速度的平方，在速度很小时会很弱。

深度学习之交叉验证

数据集分成固定的训练集和固定的测试集后，若测试集的误差很小，这将是有问题的。一个小规模的测试集意味着平均测试误差估计的统计不确定性，使得很难判断算法 A 是否比算法 B 在给定的任务上做得更好。当数据集有十万计或者更多的样本时，这不会是一个严重的问题。当数据集太小时，也有替代方法

深度学习Sigmoid 激活函数

Sigmoid 函数的图像看起来像一个 S 形曲线。

深度学习GoogLeNet结构

深度学习之计算图

为了更精确地描述反向传播算法，使用更精确的计算图（computational graph）语言是很有帮助的。将计算形式化为图形的方法有很多。这里，我们使用图中的每一个节点来表示一个变量。变量可以是标量、向量、矩阵、张量、或者甚至是另一类型的变量。为了形式化我们的图形，我们还需引入操作（ope

《深度学习入门》笔记 - 02

83526687508822.png) 矩阵的基本运算就是加减乘除。加减法如果这两个矩阵的维度是一样的，就非常好理解。矩阵也可以和行向量进行加减，要求行向量的列数和矩阵的列数是一样的。 矩阵的乘法，如果两个矩阵的维度一样，也非常好理解，这种叫做`逐点相乘`（element-wise

深度学习——常用评价指标

曲线下面的面积，通常来说一个越好的分类器，AP值越高。　　mAP是多个类别AP的平均值。这个mean的意思是对每个类的AP再求平均，得到的就是mAP的值，mAP的大小一定在[0,1]区间，越大越好。该指标是目标检测算法中最重要的一个。　　在正样本非常少的情况下，PR表现的效果会更好。　　5、

深度学习之交叉验证

将数据集分成固定的训练集和固定的测试集后，若测试集的误差很小，这将是有问题的。一个小规模的测试集意味着平均测试误差估计的统计不确定性，使得很难判断算法 A 是否比算法 B 在给定的任务上做得更好。        当数据集有十万计或者更多的样本时，这不会是一个严重的问题。当数据集太

深度学习之灾难遗忘

maxout单元通常比整流线性单元需要更多的正则化。如果训练集很大并且每个单元的块数保持很低的话，它们可以在没有正则化的情况下工作得不错 (Cai et al., 2013)。maxout 单元还有一些其他的优点。在某些情况下，要求更少的参数可以获得一些统计和计算上的优点。具体来说，如果由 n 个不同的线性过滤器

《深度学习入门》笔记 - 27

下面用之前的广告数据，来建立线性回归模型，看看tensorflow2的一般建模过程。import numpy as np #1. 数据预处理：装载广告数据 def loadDataSet(): x=[];y=[] f=open('./Ad.csv')

深度学习之快速 Dropout

使用Dropout训练时的随机性不是这个方法成功的必要条件。它仅仅是近似所有子模型总和的一个方法。Wang and Manning (2013) 导出了近似这种边缘分布的解析解。他们的近似被称为快速 Dropout（fast dropout），减小梯度计算中的随机性而获得更快的收敛速度。这种

深度学习之任务分类