浅谈深度学习常用术语

深度学习常用术语· 样本（sample）或输入（input）或数据点（data point）：训练集中特定的实例。我们在上一章中看到的图像分类问题，每个图像都可以被称为样本、输入或数据点。· 预测（prediction）或输出（output）：由算法生成的值称为输出。例如，在先前

《深度学习入门》笔记 - 14

png) 他与线性回归模型的不同点在于：Logistic模型对输入值加权，并使用sigmoid函数做了非线性处理。 为什么需要深度神经网络呢？下面用代码和例子来说明。

深度学习之无监督学习算法

无监督算法只处理“特征”，不操作监督信号。监督和无监督算法之间的区别没有规范，严格的定义，因为没有客观的判断来区分监督者提供的值是特征还是目标。通俗地说，无监督学习是指从不需要人为注释样本的分布中抽取信息的大多数尝试。该术语通常与密度估计相关，学习从分布中采样，学习从分布中去噪，需要数据分布的流形，或是将数据中相关的样本聚类。 

深度学习之动量举例

为什么要特别使用 −v(t) 和粘性阻力呢？部分原因是因为 −v(t) 在数学上的便利——速度的整数幂很容易处理。然而，其他物理系统具有基于速度的其他整数幂的其他类型的阻力。例如，颗粒通过空气时会受到正比于速度平方的湍流阻力，而颗粒沿着地面移动时会受到恒定大小的摩擦力。这些选择都

深度学习之交叉验证

数据集分成固定的训练集和固定的测试集后，若测试集的误差很小，这将是有问题的。一个小规模的测试集意味着平均测试误差估计的统计不确定性，使得很难判断算法 A 是否比算法 B 在给定的任务上做得更好。当数据集有十万计或者更多的样本时，这不会是一个严重的问题。当数据集太小时，也有替代方法

深度学习Sigmoid 激活函数

Sigmoid 函数的图像看起来像一个 S 形曲线。

《深度学习入门》笔记 - 02

26687508822.png) 矩阵的基本运算就是加减乘除。加减法如果这两个矩阵的维度是一样的，就非常好理解。矩阵也可以和行向量进行加减，要求行向量的列数和矩阵的列数是一样的。 矩阵的乘法，如果两个矩阵的维度一样，也非常好理解，这种叫做`逐点相乘`（element-wise product）。

深度学习GoogLeNet结构

深度学习之计算图

为了更精确地描述反向传播算法，使用更精确的计算图（computational graph）语言是很有帮助的。将计算形式化为图形的方法有很多。这里，我们使用图中的每一个节点来表示一个变量。变量可以是标量、向量、矩阵、张量、或者甚至是另一类型的变量。为了形式化我们的图形，我们还需引入

深度学习——常用评价指标

负样本；　　（3）每次选取一个不同的threshold，我们就可以得到一组FPR和TPR，即ROC曲线上的一点。  　　当我们将threshold设置为1和0时，分别可以得到ROC曲线上的(0,0)和(1,1)两个点。将这些(FPR,TPR)对连接起来，就得到了ROC曲线。当th

深度学习之交叉验证

        将数据集分成固定的训练集和固定的测试集后，若测试集的误差很小，这将是有问题的。一个小规模的测试集意味着平均测试误差估计的统计不确定性，使得很难判断算法 A 是否比算法 B 在给定的任务上做得更好。        当数据集有十万计或者更多的样本时，这不会是一个严重的

深度学习之函数估计

可能具有过高的方差），k-折交叉验证算法可以用于估计学习算法 A 的泛化误差。数据集 D 包含的元素是抽象的样本 z(i) （对于第 i 个样本），在监督学习的情况代表（输入，目标）对 z(i) = (x(i), y(i)) ，或者无监督学习的情况下仅用于输入 z(i) = x(i)。该算法返回

深度学习之历史小计

L’Hôpital, 1696)。微积分和代数长期以来被用于求解优化问题的封闭形式，但梯度下降直到 19世纪才作为优化问题的一种迭代近似的求解方法被引入 (Cauchy, 1847)。从 20 世纪 40 年代开始，这些函数近似技术被用于导出诸如感知机的机器学习模型。然而，最早的模型都是基于线性模型。来自包括

深度学习之虚拟对抗

的样本和同一流形上的样本具有相同的类别。由于分类器应该对局部因素（对应于流形上的移动）的变化保持不变，一种合理的度量是将点 x1 和 x2 各自所在流形 M1 和 M2 的距离作为点 x1 和 x2 之间的最近邻距离。然而这可能在计算上是困难的（它需要解决一个寻找 M1 和 M2

深度学习之正切传播

(此处为描述简单，f(x) 为唯一输出)。与切面距离算法一样，我们根据切向量推导先验，通常从变换（如平移、旋转和缩放图像）的效果获得形式知识。正切传播不仅用于监督学习(Simard et al., 1992)，还在强化学习(Thrun, 1995)中有所应用。正切传播与数据集增强密切相关。在这两种情况下，

深度学习之模型平均

aggregating）是通过结合几个模型降低泛化误差的技术(Breiman, 1994)。主要想法是分别训练几个不同的模型，然后让所有模型表决测试样例的输出。这是机器学习中常规策略的一个例子，被称为模型平均（model averaging）。采用这种策略的技术被称为集成方法。模型平均（model avera

Ubuntu深度学习环境配置

Ubuntu深度学习环境配置安装组合：Anaconda+PyTorch(CPU版)或PyTorch(GPU版)开源贡献：陈信达，华北电力大学3.1 Anacond安装Anaconda和Python版本是对应的，所以需要选择安装对应Python2.7版本的还是Python3.7版本

深度学习之长期依赖

当计算图变得极深时，神经网络优化算法会面临的另外一个难题就是长期依赖问题——由于变深的结构使模型丧失了学习到先前信息的能力，让优化变得极其困难。深层的计算图不仅存在于前馈网络，还存在于之后介绍的循环网络中（在第十章中描述）。因为循环网络要在很长时间序列的各个时刻重复应用相同操作来

《深度学习入门》笔记 - 20

因变量的常见数据类型有三种：定量数据、二分类定性数据和多分类定性数据。输出层激活函数的选择主要取决于因变量的数据类型。MNIST数据集是机器学习文献中常用的数据。因变量（0~9）用独热码表示，比如数字8的独热码为（0 0 0 0 0 0 0 0 1 0）数字2的读热码为（0 0 1

深度学习之权重比例

权重比例推断规则在其他设定下也是精确的，包括条件正态输出的回归网络以及那些隐藏层不包含非线性的深度网络。然而，权重比例推断规则对具有非线性的深度模型仅仅是一个近似。虽然这个近似尚未有理论上的分析，但在实践中往往效果很好。Goodfellow et al. (2013b) 实验发现