深度学习之快速 Dropout

使用Dropout训练时的随机性不是这个方法成功的必要条件。它仅仅是近似所有子模型总和的一个方法。Wang and Manning (2013) 导出了近似这种边缘分布的解析解。他们的近似被称为快速 Dropout（fast dropout），减小梯度计算中的随机性而获得更快的收

《深度学习入门》笔记 - 17

正向传播（Forward Propagation FP）算法指输入值通过神经网络得到输出值的方法。正向传播算法的计算图如下：$sigma$表示sigmoid函数，也就是激活函数。包含损失函数的计算图如下：得到$l_2$，通过$l$计算损失函数L，其中$l$表示求解损失函数的运算。

深度学习之批量算法

促使我们从小数目样本中获得梯度的统计估计的动机是训练集的冗余。在最坏的情况下，训练集中所有的 m 个样本都是彼此相同的拷贝。基于采样的梯度估计可以使用单个样本计算出正确的梯度，而比原来的做法少花了 m 倍时间。实践中，我们不太可能真的遇到这种最坏情况，但我们可能会发现大量样本都对

深度学习图卷积

深度学习之梯度下降

对于牛顿法而言，鞍点显然是一个问题。梯度下降旨在朝“下坡”移动，而非明确寻求临界点。而牛顿法的目标是寻求梯度为零的点。如果没有适当的修改，牛顿法就会跳进一个鞍点。高维空间中鞍点的激增或许解释了在神经网络训练中为什么二阶方法无法成功取代梯度下降。Dauphin et al. (2014)

《深度学习入门》笔记 - 25

L2惩罚法也是一个经典的正则化方法。 它是在原有损失函数的基础上，在构造一个新的损失函数。（带有惩罚项 是一个超参数）模型集成（model ensemble)可以提供模型的预测准确度，思想就是， 先训练大量结构不同的模型，通过平均、或投票方式综合所有模型的结构，得到最终预测。在实际中，有较大限制，原因很简单，

深度学习之聚类问题

关于聚类的一个问题是聚类问题本身是病态的。这是说没有单一的标准去度量聚类的数据对应真实世界有多好。我们可以度量聚类的性质，例如每个聚类的元素到该类中心点的平均欧几里得距离。这使我们可以判断能够多好地从聚类分配中重建训练数据。然而我们不知道聚类的性质多好地对应于真实世界的性质。此外

《深度学习入门》笔记 - 22

神经网络模型建立好了之后，必然要进行模型的评估来了解神经网络的表现。 神经网络的因变量通常有两种数据类型，定量数据和定性数据。不同因变量数据类型对应的模型误差的定义也不一样。当因变量为定性数据时，模型误差可以进一步分为两个类型： 假阳性率， FPR False Positive Rate

《深度学习入门》笔记 - 27

下面用之前的广告数据，来建立线性回归模型，看看tensorflow2的一般建模过程。import numpy as np #1. 数据预处理：装载广告数据 def loadDataSet(): x=[];y=[] f=open('./Ad.csv')

《深度学习入门》笔记 - 24

解决欠拟合问题的方法比较简单，增加模型复杂度就可以了。常见的方法是增加隐藏层的数量或者增加隐藏层的节点数，或者二者同时增加。如果训练误差持续下降，接近于0。而测试误差在下降后变得平稳，甚至略有上升。训练误差和测试误差的差距较大。这就是典型的过拟合情况。在建立神经网络模型的初始阶段

深度学习之快速 Dropout

使用Dropout训练时的随机性不是这个方法成功的必要条件。它仅仅是近似所有子模型总和的一个方法。Wang and Manning (2013) 导出了近似这种边缘分布的解析解。他们的近似被称为快速 Dropout（fast dropout），减小梯度计算中的随机性而获得更快的收

深度学习之参数绑定

参数添加约束或惩罚时，一直是相对于固定的区域或点。例如，L2正则化（或权重衰减）对参数偏离零的固定值进行惩罚。然而，有时我们可能需要其他的方式来表达我们对模型参数适当值的先验知识。有时候，我们可能无法准确地知道应该使用什么样的参数，但我们根据领域和模型结构方面的知识得知模型参数之

《深度学习入门》笔记 - 15

```python #定义sigmoid函数 def sigmoid(input): return 1.0/(1+np.exp(-input)) #通过随机梯度下降法估计参数 def logit_model(x,y,w,b,lr=0.1): for iter in range(60):

深度学习模型编译技术

新的瓶颈，直到优化满足我们的需求才结束。深度学习推理优化也如此，一个应用可能瓶颈在逻辑的处理，也可能在模型的计算，在优化前需要对整体进行分析后再开始针对的优化。 推理优化技术也在朝着自动化、低精度、多硬件方向发展中，推动了人工智能深度学习技术在我们的日常生活中的普及，希望人工智能

【转载】深度学习简介

要重点探讨的深度学习是具有多级表示的表征学习方法。在每一级（从原始数据开始），深度学习通过简单的函数将该级的表示变换为更高级的表示。因此，深度学习模型也可以看作是由许多简单函数复合而成的函数。当这些复合的函数足够多时，深度学习模型就可以表达非常复杂的变换。 深度学习可以逐级表示越

深度学习-语义数据集

常见的语义分割算法属于有监督学习，因此标注好的数据集必不可少。公开的语义分割数据集有很多，目前学术界主要有三个benchmark（数据集）用于模型训练和测试。第一个常用的数据集是Pascal VOC系列。这个系列中目前较流行的是VOC2012，Pascal Context等类似的

深度学习的跨模态检索综述

处理等领域的显著成果，研究者提出了一系列以深度学习为基础的跨模态检索方法，极大地缓解了不同模态间相似性度量的挑战，本文称之为深度跨模态检索。本文将从以下角度综述近些年来代表性的深度跨模态检索论文，基于所提供的跨模态信息将这些方法分为三类：基于跨模态数据间一一对应的、基于跨模态数据

深度学习笔记之矩阵

        矩阵是二维数组，其中的每一个元素被两个索引而非一个所确定。我们通常会赋予矩阵粗体的大写变量名称，比如A。如果一个实数矩阵高度为m，宽度为n，那么我们说A ∈ R m*n。我们在表示矩阵中的元素时，通常使用其名称以不加粗的斜体形式，索引用逗号间隔。比如，A1;1 表示A

深度学习之切面距离

一个利用流形假设的早期尝试是切面距离（tangent distance）算法 (Simard et al., 1993, 1998)。它是一种非参数的最近邻算法，其中使用的度量不是通用的欧几里德距离，而是根据邻近流形关于聚集概率的知识导出的。这个算法假设我们尝试分类的样本和同一流

深度学习之约束优化

有时候，在 x 的所有可能值下最大化或最小化一个函数 f(x) 不是我们所希望的。相反，我们可能希望在 x 的某些集合 S 中找 f(x) 的最大值或最小值。这被称为约束优化 (constrained optimization)。在约束优化术语中，集合 S 内的点 x 被称为可行