深度学习GoogLeNet结构

深度学习之计算图

为了更精确地描述反向传播算法，使用更精确的计算图（computational graph）语言是很有帮助的。将计算形式化为图形的方法有很多。这里，我们使用图中的每一个节点来表示一个变量。变量可以是标量、向量、矩阵、张量、或者甚至是另一类型的变量。为了形式化我们的图形，我们还需引入

《深度学习入门》笔记 - 02

最常用的矩阵运算是矩阵的转置。转置就像是翻转。就像是一个扑克牌，原来是竖着拿的，把它变成翻面横着拿了。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20227/27/1658883526687508822

深度学习——常用评价指标

准确率 （Accuracy），混淆矩阵 （Confusion Matrix），精确率（Precision），召回率（Recall），平均正确率（AP），mean Average Precision(mAP)，交除并（IoU），ROC + AUC，非极大值抑制（NMS）。1、准确率

深度学习之交叉验证

        将数据集分成固定的训练集和固定的测试集后，若测试集的误差很小，这将是有问题的。一个小规模的测试集意味着平均测试误差估计的统计不确定性，使得很难判断算法 A 是否比算法 B 在给定的任务上做得更好。        当数据集有十万计或者更多的样本时，这不会是一个严重的

机器学习之深度学习简介

深度学习 1. 深度学习介绍 2. 深度学习原理 3. 深度学习实现 深度学习 1. 深度学习介绍 深度学习（Deep learning）是机器学习的一个分支领域,其源于人工 神经网络的研究。 深度学习广泛应用在计算机视觉,音频处理,自然语言处理等诸多领 域。 人工神经网络（Artificial

深度学习笔记之矩阵

        矩阵是二维数组，其中的每一个元素被两个索引而非一个所确定。我们通常会赋予矩阵粗体的大写变量名称，比如A。如果一个实数矩阵高度为m，宽度为n，那么我们说A ∈ R m*n。我们在表示矩阵中的元素时，通常使用其名称以不加粗的斜体形式，索引用逗号间隔。比如，A1;1 表示A

深度学习之切面距离

一个利用流形假设的早期尝试是切面距离（tangent distance）算法 (Simard et al., 1993, 1998)。它是一种非参数的最近邻算法，其中使用的度量不是通用的欧几里德距离，而是根据邻近流形关于聚集概率的知识导出的。这个算法假设我们尝试分类的样本和同一流

深度学习之约束优化

有时候，在 x 的所有可能值下最大化或最小化一个函数 f(x) 不是我们所希望的。相反，我们可能希望在 x 的某些集合 S 中找 f(x) 的最大值或最小值。这被称为约束优化 (constrained optimization)。在约束优化术语中，集合 S 内的点 x 被称为可行

《深度学习入门》笔记 - 03

接下来是概率论的一些基本的概念。 `随机变量`就是一个取值不确定的变量。 这个在工作生活中应用的实在是太广泛了。比如老板问你这件事情明天能不能搞完？一般情况下，你的回答可能就是一个随机变量。 随机变量可以分为两种类型：连续型和离散型。 `随机变量的分布`用来描述随机变量出现某种结果的可能性。可以用一些分布函数来表示。

深度学习之对抗训练

在许多情况下，神经网络在独立同分布的测试集上进行评估已经达到了人类表现。因此，我们自然要怀疑这些模型在这些任务上是否获得了真正的人类层次的理解。为了探索网络对底层任务的理解层次，我们可以探索这个模型错误分类的例子。 Szegedy et al. (2014b) 发现，在精度达到人

《深度学习入门》笔记 - 19

如果没有激活函数，神经网络会变成什么呢？ 答案是如果没有激活函数，那么无论神经网络的结构有多复杂，它都将退化为一个线性模型。现实的回归问题或者分类问题的决策边界通常都是复杂且非线性的。这要求模型具有产生复杂的非线性决策边界的能力，在这一点上激活函数在神经网络中扮演了非常重要的角色

深度学习之流形假设

第一个支持流形假设 (manifold hypothesis) 的观察是现实生活中的图像，文本，声音的概率分布都是高度集中的。均匀的噪扰从来没有和这类领域的结构化输入相似过。显示均匀采样的点看上去像是没有信号时模拟电视上的静态模式。同样，如果我们均匀地随机抽取字母来生成文件，能有

《深度学习入门》笔记 - 06

下面是一个简单的例子来介绍线性回归模型。 数据是在多个市场的3个不同渠道的广告投入以及商品销量。 这个模型的意义也就很明白了，那就是找出在这3个不同渠道广告投入与最终的商品销量之间的关系。 先把数据可视化： ```python %config InlineBackend.figure_format='retina'

《深度学习入门》笔记 - 23

在实际中训练误差常常偏小, 不是模型真实误差的好的估计值。这是因为如果考试题目是我们做过的作业题，那么我们更容易得高分。所以我们要有一些测试数据是不要参加模型训练的，需要搁置在一旁，直到模型完全建立好，再用来计算模型的测试误差。模型的预测效果较差，经常是由于两类问题导致的。那就是

深度学习之参数共享

这种方法由Lasserre et al. (2006) 提出，正则化一个模型（监督模式下训练的分类器）的参数，使其接近另一个无监督模式下训练的模型（捕捉观察到的输入数据的分布）的参数。这种构造架构使得许多分类模型中的参数能与之对应的无监督模型的参数匹配。参数范数惩罚是正则化参数使

深度学习之参数共享

这种方法由Lasserre et al. (2006) 提出，正则化一个模型（监督模式下训练的分类器）的参数，使其接近另一个无监督模式下训练的模型（捕捉观察到的输入数据的分布）的参数。这种构造架构使得许多分类模型中的参数能与之对应的无监督模型的参数匹配。参数范数惩罚是正则化参数使

深度学习之对抗训练

在许多情况下，神经网络在独立同分布的测试集上进行评估已经达到了人类表现。因此，我们自然要怀疑这些模型在这些任务上是否获得了真正的人类层次的理解。为了探索网络对底层任务的理解层次，我们可以探索这个模型错误分类的例子。 Szegedy et al. (2014b) 发现，在精度达到人

适合新手的深度学习综述（6）--深度生成模型

进行文档处理的深度生成模型。6.3 深度信念网络深度信念网络 (Deep Belief Networks, DBN) 是具有多个潜在二元或真实变量层的生成模型。Ranzato 等人 (2011) 利用深度信念网络 (deep Belief Network, DBN) 建立了深度生成模型进行图像识别。6

深度学习的学习路线

经网络的基本结构和原理对于深度学习的学习非常重要。 推荐教程： 《神经网络与深度学习》（Neural Networks and Deep Learning）（英）Michael Nielsen 著 三、进阶学习 1.深度学习模型 深度学习模型是深度学习中的核心，包括卷积神经网络、