深度学习之超参数

超参数的值不是通过学习算法本身学习出来的（尽管我们可以设计一个嵌套的学习过程，一个学习算法为另一个学习算法学出最优超参数）。所示的多项式回归实例中，有一个超参数：多项式的次数，作为容量超参数。控制权重衰减程度的 λ 是另一个超参数。有时一个情景被设为学习算法不用学习的超参数，是

深度学习GoogLeNet结构

深度学习之计算图

为了更精确地描述反向传播算法，使用更精确的计算图（computational graph）语言是很有帮助的。将计算形式化为图形的方法有很多。这里，我们使用图中的每一个节点来表示一个变量。变量可以是标量、向量、矩阵、张量、或者甚至是另一类型的变量。为了形式化我们的图形，我们还需引入操作（ope

深度学习之设计矩阵

个植物的萼片长度，Xi,2 表示第 i 个植物的萼片宽度，等等。我们在本书中描述的大部分学习算法都是讲述它们是如何运行在设计矩阵数据集上的。当然，将一个数据集表示成设计矩阵，必须是可以将每一个样本表示成向量，并且这些向量的大小相同。这一点并非永远可能。例如，你有不同宽度和高度的照片的集

《深度学习入门》笔记 - 02

83526687508822.png) 矩阵的基本运算就是加减乘除。加减法如果这两个矩阵的维度是一样的，就非常好理解。矩阵也可以和行向量进行加减，要求行向量的列数和矩阵的列数是一样的。 矩阵的乘法，如果两个矩阵的维度一样，也非常好理解，这种叫做`逐点相乘`（element-wise

深度学习——常用评价指标

曲线下面的面积，通常来说一个越好的分类器，AP值越高。　　mAP是多个类别AP的平均值。这个mean的意思是对每个类的AP再求平均，得到的就是mAP的值，mAP的大小一定在[0,1]区间，越大越好。该指标是目标检测算法中最重要的一个。　　在正样本非常少的情况下，PR表现的效果会更好。　　5、

深度学习之正切传播

1992)训练带有额外惩罚的神经网络分类器，使神经网络的每个输出 f(x) 对已知的变化因素是局部不变的。这些变化因素对应于沿着的相同样本聚集的流形的移动。这里实现局部不变性的方法是要求 ∇xf(x) 与已知流形的切向 v(i) 正交，这个正则化项当然可以通过适当的超参数缩放，并且对于大多数神经网络，我们需要对许多输出求和

《深度学习入门》笔记 - 09

因变量：0.8 权重：0.2 预测值：0.1 差值：0.245 梯度：-0.35 ``` 可以看到预测值和真实值的差值在变小（0.32 > 0.245），也就是在向着不断的收敛的方向。

深度学习之任务T

程序很难解决的问题。从科学和哲学的角度来看，机器学习受到关注是因为提高我们对机器学习的认识需要提高我们对智能背后原理的理解。如果考虑“任务”比较正式的定义，那么学习的过程并不是任务。在相对正式的 “任务”定义中，学习过程本身并不是任务。学习是我们所谓的获取完成任务的能力。例如，我

浅谈深度学习常用术语

的例子中，我们的算法对特定图像预测的结果为0，而0是给定的猫的标签，所以数字0就是我们的预测或输出。· 目标（target）或标签（label）：图像实际标注的标签。· 损失值（loss value）或预测误差（prediction error）：预测值与实际值之间的差距。数值越小，准确率越高。·

深度学习训练过程

区别最大的部分，可以看作是特征学习过程。具体的，先用无标定数据训练第一层，训练时先学习第一层的参数，这层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层，由于模型容量的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学

《深度学习笔记》的笔记（一）

model）的计算执行方向如下。感觉和线性回归很像呀。 但据说感知机模型不能用于线性回归问题，因为它只关注分类问题，而线性回归问题涉及到回归问题？对于线性不可分的情况，在感知机基础上一般有两个解决方向。 线性不可分是指一组线性数据点，这些数据点上无法划分一条直线来分开类别内的所有数据

深度学习中的Attention机制

Attention，即Attention输出的向量分布是一种one-hot的独热分布或是soft的软分布，直接影响上下文的信息选择。加入Attention的原因：1、当输入序列非常长时，模型难以学到合理的向量表示2、序列输入时，随着序列的不断增长，原始根据时间步的方式的表现越来越差，由于原始的时间步模型设计的结构有缺

深度学习之历史小计

前馈网络可以被视为一种高效的非线性函数近似器，它以使用梯度下降来最小化函数近似误差为基础。从这个角度来看，现代前馈网络是一般函数近似任务的几个世纪进步的结晶。处于反向传播算法底层的链式法则是 17 世纪发明的 (Leibniz, 1676; L’Hôpital, 1696)。微积

深度学习之隐藏单元

hi，要么是鼻子存在的冗余编码，要么是脸部的另一特征，如嘴。传统的噪声注入技术，在输入端加非结构化的噪声不能够随机地从脸部图像中抹去关于鼻子的信息，除非噪声的幅度大到几乎能抹去图像中所有的信息。破坏提取的特征而不是原始值，让破坏过程充分利用该模型迄今获得的关于输入分布的所有知识。

深度学习之模板匹配

1999)。核机器的一个主要缺点是计算决策函数的成本关于训练样本的数目是线性的。因为第 i 个样本贡献 αik(x, x(i)) 到决策函数。支持向量机能够通过学习主要包含零的向量 α，以缓和这个缺点。那么判断新样本的类别仅需要计算非零 αi 对应的训练样本的核函数。这些训练样本被称为支持向量

深度学习之快速 Dropout

使用Dropout训练时的随机性不是这个方法成功的必要条件。它仅仅是近似所有子模型总和的一个方法。Wang and Manning (2013) 导出了近似这种边缘分布的解析解。他们的近似被称为快速 Dropout（fast dropout），减小梯度计算中的随机性而获得更快的收敛速度。这种

深度学习之灾难遗忘

maxout单元通常比整流线性单元需要更多的正则化。如果训练集很大并且每个单元的块数保持很低的话，它们可以在没有正则化的情况下工作得不错 (Cai et al., 2013)。maxout 单元还有一些其他的优点。在某些情况下，要求更少的参数可以获得一些统计和计算上的优点。具体来说，如果由 n 个不同的线性过滤器

深度学习之贝叶斯统计

在有限区间中均匀分布。许多先验偏好于“更简单” 的解决方法（如小幅度的系数，或是接近常数的函数）。        贝叶斯估计通常使用的情况下，先验开始是相对均匀的分布或高熵的高斯分布，观测数据通常会使后验的熵下降，并集中在参数的几个可能性很高的值。

深度学习之长期依赖

当计算图变得极深时，神经网络优化算法会面临的另外一个难题就是长期依赖问题——由于变深的结构使模型丧失了学习到先前信息的能力，让优化变得极其困难。深层的计算图不仅存在于前馈网络，还存在于之后介绍的循环网络中（在第十章中描述）。因为循环网络要在很长时间序列的各个时刻重复应用相同操作来构建非常深的计算图，并且模型