深度学习之快速 Dropout

使用Dropout训练时的随机性不是这个方法成功的必要条件。它仅仅是近似所有子模型总和的一个方法。Wang and Manning (2013) 导出了近似这种边缘分布的解析解。他们的近似被称为快速 Dropout（fast dropout），减小梯度计算中的随机性而获得更快的收

《深度学习入门》笔记 - 17

正向传播（Forward Propagation FP）算法指输入值通过神经网络得到输出值的方法。正向传播算法的计算图如下：$sigma$表示sigmoid函数，也就是激活函数。包含损失函数的计算图如下：得到$l_2$，通过$l$计算损失函数L，其中$l$表示求解损失函数的运算。

深度学习之批量算法

促使我们从小数目样本中获得梯度的统计估计的动机是训练集的冗余。在最坏的情况下，训练集中所有的 m 个样本都是彼此相同的拷贝。基于采样的梯度估计可以使用单个样本计算出正确的梯度，而比原来的做法少花了 m 倍时间。实践中，我们不太可能真的遇到这种最坏情况，但我们可能会发现大量样本都对

深度学习图卷积

深度学习之参数绑定

参数添加约束或惩罚时，一直是相对于固定的区域或点。例如，L2正则化（或权重衰减）对参数偏离零的固定值进行惩罚。然而，有时我们可能需要其他的方式来表达我们对模型参数适当值的先验知识。有时候，我们可能无法准确地知道应该使用什么样的参数，但我们根据领域和模型结构方面的知识得知模型参数之

深度学习之梯度下降

对于牛顿法而言，鞍点显然是一个问题。梯度下降旨在朝“下坡”移动，而非明确寻求临界点。而牛顿法的目标是寻求梯度为零的点。如果没有适当的修改，牛顿法就会跳进一个鞍点。高维空间中鞍点的激增或许解释了在神经网络训练中为什么二阶方法无法成功取代梯度下降。Dauphin et al. (2014)

《深度学习入门》笔记 - 25

L2惩罚法也是一个经典的正则化方法。 它是在原有损失函数的基础上，在构造一个新的损失函数。（带有惩罚项 是一个超参数）模型集成（model ensemble)可以提供模型的预测准确度，思想就是， 先训练大量结构不同的模型，通过平均、或投票方式综合所有模型的结构，得到最终预测。在实际中，有较大限制，原因很简单，

深度学习之聚类问题

关于聚类的一个问题是聚类问题本身是病态的。这是说没有单一的标准去度量聚类的数据对应真实世界有多好。我们可以度量聚类的性质，例如每个聚类的元素到该类中心点的平均欧几里得距离。这使我们可以判断能够多好地从聚类分配中重建训练数据。然而我们不知道聚类的性质多好地对应于真实世界的性质。此外

《深度学习入门》笔记 - 22

神经网络模型建立好了之后，必然要进行模型的评估来了解神经网络的表现。 神经网络的因变量通常有两种数据类型，定量数据和定性数据。不同因变量数据类型对应的模型误差的定义也不一样。当因变量为定性数据时，模型误差可以进一步分为两个类型： 假阳性率， FPR False Positive Rate

《深度学习入门》笔记 - 27

下面用之前的广告数据，来建立线性回归模型，看看tensorflow2的一般建模过程。import numpy as np #1. 数据预处理：装载广告数据 def loadDataSet(): x=[];y=[] f=open('./Ad.csv')

《深度学习入门》笔记 - 24

解决欠拟合问题的方法比较简单，增加模型复杂度就可以了。常见的方法是增加隐藏层的数量或者增加隐藏层的节点数，或者二者同时增加。如果训练误差持续下降，接近于0。而测试误差在下降后变得平稳，甚至略有上升。训练误差和测试误差的差距较大。这就是典型的过拟合情况。在建立神经网络模型的初始阶段

《深度学习入门》笔记 - 15

```python #定义sigmoid函数 def sigmoid(input): return 1.0/(1+np.exp(-input)) #通过随机梯度下降法估计参数 def logit_model(x,y,w,b,lr=0.1): for iter in range(60):

深度学习之快速 Dropout

使用Dropout训练时的随机性不是这个方法成功的必要条件。它仅仅是近似所有子模型总和的一个方法。Wang and Manning (2013) 导出了近似这种边缘分布的解析解。他们的近似被称为快速 Dropout（fast dropout），减小梯度计算中的随机性而获得更快的收

机器学习之深度学习简介

深度学习 1. 深度学习介绍 2. 深度学习原理 3. 深度学习实现 深度学习 1. 深度学习介绍 深度学习（Deep learning）是机器学习的一个分支领域,其源于人工 神经网络的研究。 深度学习广泛应用在计算机视觉,音频处理,自然语言处理等诸多领 域。 人工神经网络（Artificial

深度学习的学习路线

经网络的基本结构和原理对于深度学习的学习非常重要。 推荐教程： 《神经网络与深度学习》（Neural Networks and Deep Learning）（英）Michael Nielsen 著 三、进阶学习 1.深度学习模型 深度学习模型是深度学习中的核心，包括卷积神经网络、

【开源模型学习】AlexNet深度学习模型总结

复训练，选取出合适的a，LReLU的表现出的结果才比ReLU好。因此有人提出了一种自适应地从数据中学习参数的PReLU。PReLU是LeakyRelu的改进，可以自适应地从数据中学习参数。PReLU具有收敛速度快、错误率低的特点。PReLU可以用于反向传播的训练，可以与其他层同时优化。2

[深度学习]测距

系列内容深度学习CNN 文章目录 ADAS摄像头成像需具备的两大特点单目镜头的测距原理双目镜头的测距原理 ADAS摄像头成像需具备的两大特点 是要看得足够远 看的越远就能有更加充裕的时间做出判断和反应，从而 避免或者降低事故发生造成的损失。 是要求高动态

深度学习概述

少正则化参数；使用非线性模型，比如核SVM、决策树、深度学习等模型；调整模型的容量(capacity)，通俗地，模型的容量是指其拟合各种函数的能力；容量低的模型可能很难拟合训练；使用集成学习方法，如Bagging，将多个弱学习器Bagging。 产生过拟合的具体原因数据噪声干扰过

深度学习之切面距离

一个利用流形假设的早期尝试是切面距离（tangent distance）算法 (Simard et al., 1993, 1998)。它是一种非参数的最近邻算法，其中使用的度量不是通用的欧几里德距离，而是根据邻近流形关于聚集概率的知识导出的。这个算法假设我们尝试分类的样本和同一流

深度学习笔记之矩阵

        矩阵是二维数组，其中的每一个元素被两个索引而非一个所确定。我们通常会赋予矩阵粗体的大写变量名称，比如A。如果一个实数矩阵高度为m，宽度为n，那么我们说A ∈ R m*n。我们在表示矩阵中的元素时，通常使用其名称以不加粗的斜体形式，索引用逗号间隔。比如，A1;1 表示A