《深度学习入门》笔记 - 11

化`。 标准化后所有自变量的均值是0，方差是1。中心化后因变量的均值是0。 这样做可以让梯步下降法的数值更加稳定，更容易找到合适的初始值和学习步长。 一个标准化的方法就是让数据的每一列减去该列的均值，然后除以该列的样本标准差（$sd(x)$）: ![image.png](https://bbs-img

《深度学习入门》笔记 - 08

208189864369.png) 这个算法就是梯度下降法，在更新w的过程中，加入了一个系数$\alpha$，他是一个比较小的正数，叫做`学习步长`，这样可以让w更新的速度变慢一些，使得w更容易收敛。

【开源模型学习】AlexNet深度学习模型总结

复训练，选取出合适的a，LReLU的表现出的结果才比ReLU好。因此有人提出了一种自适应地从数据中学习参数的PReLU。PReLU是LeakyRelu的改进，可以自适应地从数据中学习参数。PReLU具有收敛速度快、错误率低的特点。PReLU可以用于反向传播的训练，可以与其他层同时优化。2

什么是深度学习

同的特征置于哪一层。也就是说，相比于传统机器学习算法需要提供人工定义的特征，深度学习可以自己学习如何提取特征。因此，相比于传统的机器学习算法，深度学习并不依赖复杂且耗时的手动特征工程。 深度学习中的“深度”体现在将数据转换为所需要数据的层数之深。给定模型进行数据输入，可以将描述模

机器学习（八）：深度学习简介

深度学习简介 一、神经网络简介 深度学习（Deep Learning）（也称为深度结构学习【Deep Structured Learning】、层次学习【Hierarchical Learning】或者是深度机器学习【Deep Machine Learning】）是一类算法集合，是机器学习的一个分支。

深度学习之动量举例

为什么要特别使用 −v(t) 和粘性阻力呢？部分原因是因为 −v(t) 在数学上的便利——速度的整数幂很容易处理。然而，其他物理系统具有基于速度的其他整数幂的其他类型的阻力。例如，颗粒通过空气时会受到正比于速度平方的湍流阻力，而颗粒沿着地面移动时会受到恒定大小的摩擦力。这些选择都

深度学习之交叉验证

数据集分成固定的训练集和固定的测试集后，若测试集的误差很小，这将是有问题的。一个小规模的测试集意味着平均测试误差估计的统计不确定性，使得很难判断算法 A 是否比算法 B 在给定的任务上做得更好。当数据集有十万计或者更多的样本时，这不会是一个严重的问题。当数据集太小时，也有替代方法

深度学习Sigmoid 激活函数

Sigmoid 函数的图像看起来像一个 S 形曲线。

《深度学习入门》笔记 - 02

最常用的矩阵运算是矩阵的转置。转置就像是翻转。就像是一个扑克牌，原来是竖着拿的，把它变成翻面横着拿了。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20227/27/1658883526687508822

深度学习GoogLeNet结构

深度学习之计算图

为了更精确地描述反向传播算法，使用更精确的计算图（computational graph）语言是很有帮助的。将计算形式化为图形的方法有很多。这里，我们使用图中的每一个节点来表示一个变量。变量可以是标量、向量、矩阵、张量、或者甚至是另一类型的变量。为了形式化我们的图形，我们还需引入

深度学习——常用评价指标

准确率 （Accuracy），混淆矩阵 （Confusion Matrix），精确率（Precision），召回率（Recall），平均正确率（AP），mean Average Precision(mAP)，交除并（IoU），ROC + AUC，非极大值抑制（NMS）。1、准确率

深度学习之交叉验证

        将数据集分成固定的训练集和固定的测试集后，若测试集的误差很小，这将是有问题的。一个小规模的测试集意味着平均测试误差估计的统计不确定性，使得很难判断算法 A 是否比算法 B 在给定的任务上做得更好。        当数据集有十万计或者更多的样本时，这不会是一个严重的

机器学习之深度学习简介

深度学习 1. 深度学习介绍 2. 深度学习原理 3. 深度学习实现 深度学习 1. 深度学习介绍 深度学习（Deep learning）是机器学习的一个分支领域,其源于人工 神经网络的研究。 深度学习广泛应用在计算机视觉,音频处理,自然语言处理等诸多领 域。 人工神经网络（Artificial

深度学习笔记之矩阵

        矩阵是二维数组，其中的每一个元素被两个索引而非一个所确定。我们通常会赋予矩阵粗体的大写变量名称，比如A。如果一个实数矩阵高度为m，宽度为n，那么我们说A ∈ R m*n。我们在表示矩阵中的元素时，通常使用其名称以不加粗的斜体形式，索引用逗号间隔。比如，A1;1 表示A

深度学习之切面距离

一个利用流形假设的早期尝试是切面距离（tangent distance）算法 (Simard et al., 1993, 1998)。它是一种非参数的最近邻算法，其中使用的度量不是通用的欧几里德距离，而是根据邻近流形关于聚集概率的知识导出的。这个算法假设我们尝试分类的样本和同一流

深度学习之约束优化

有时候，在 x 的所有可能值下最大化或最小化一个函数 f(x) 不是我们所希望的。相反，我们可能希望在 x 的某些集合 S 中找 f(x) 的最大值或最小值。这被称为约束优化 (constrained optimization)。在约束优化术语中，集合 S 内的点 x 被称为可行

《深度学习入门》笔记 - 03

接下来是概率论的一些基本的概念。 `随机变量`就是一个取值不确定的变量。 这个在工作生活中应用的实在是太广泛了。比如老板问你这件事情明天能不能搞完？一般情况下，你的回答可能就是一个随机变量。 随机变量可以分为两种类型：连续型和离散型。 `随机变量的分布`用来描述随机变量出现某种结果的可能性。可以用一些分布函数来表示。

深度学习之对抗训练

在许多情况下，神经网络在独立同分布的测试集上进行评估已经达到了人类表现。因此，我们自然要怀疑这些模型在这些任务上是否获得了真正的人类层次的理解。为了探索网络对底层任务的理解层次，我们可以探索这个模型错误分类的例子。 Szegedy et al. (2014b) 发现，在精度达到人

《深度学习入门》笔记 - 19

如果没有激活函数，神经网络会变成什么呢？ 答案是如果没有激活函数，那么无论神经网络的结构有多复杂，它都将退化为一个线性模型。现实的回归问题或者分类问题的决策边界通常都是复杂且非线性的。这要求模型具有产生复杂的非线性决策边界的能力，在这一点上激活函数在神经网络中扮演了非常重要的角色