深度学习之计算图

为了更精确地描述反向传播算法，使用更精确的计算图（computational graph）语言是很有帮助的。将计算形式化为图形的方法有很多。这里，我们使用图中的每一个节点来表示一个变量。变量可以是标量、向量、矩阵、张量、或者甚至是另一类型的变量。为了形式化我们的图形，我们还需引入

《深度学习入门》笔记 - 02

最常用的矩阵运算是矩阵的转置。转置就像是翻转。就像是一个扑克牌，原来是竖着拿的，把它变成翻面横着拿了。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20227/27/1658883526687508822

深度学习——常用评价指标

准确率 （Accuracy），混淆矩阵 （Confusion Matrix），精确率（Precision），召回率（Recall），平均正确率（AP），mean Average Precision(mAP)，交除并（IoU），ROC + AUC，非极大值抑制（NMS）。1、准确率

深度学习之交叉验证

        将数据集分成固定的训练集和固定的测试集后，若测试集的误差很小，这将是有问题的。一个小规模的测试集意味着平均测试误差估计的统计不确定性，使得很难判断算法 A 是否比算法 B 在给定的任务上做得更好。        当数据集有十万计或者更多的样本时，这不会是一个严重的

基于深度学习的跨模态检索综述

（heterogeneity gap）。近些年来，随着深度学习技 术的推广以及其在计算机视觉、自然语言处理、语 音分析等领域的显著成果（LeCun 等，2015），以 深度学习技术为基础的表示学习对于缓解异质鸿沟 问题提供了一种有前景的解决方案。大量的深度跨 模态检索技术被提出并取得了优异的跨模态检索性

《深度学习入门》笔记 - 10

59535760107353372.png) 好了我们上面说的是最简单的情况，因为为了学习，是一个权重或叫参数w，一个自变量x，并且只有一个观测点(x,y)。 在实际情况中，一般就不仅仅是学习的那么简单的情况。 数据会包含多个自变量，多个权重，很多个观测点。 用 $L(w)=L(w_1

深度学习之模板匹配

1999)。核机器的一个主要缺点是计算决策函数的成本关于训练样本的数目是线性的。因为第 i 个样本贡献 αik(x, x(i)) 到决策函数。支持向量机能够通过学习主要包含零的向量 α，以缓和这个缺点。那么判断新样本的类别仅需要计算非零 αi 对应的训练样本的核函数。这些训练样本被称为支持向量 (support

深度学习算法中的集成学习（Ensemble Learning）与深度学习的结合

数据，深度学习可以从中学习到更加准确和鲁棒的模型。 适应复杂任务：深度学习模型可以适应各种复杂任务，包括计算机视觉、自然语言处理和语音识别等。 集成学习在深度学习中的应用 集成学习可以与深度学习相结合，以提高深度学习算法的性能和鲁棒性。以下是一些常见的集成学习方法在深度学习中的应用：

深度学习之贝叶斯统计

的已知知识表示成先验概率分布 (prior probability distribution)，p(θ)（有时简单地称为 “先验”）。一般而言，机器学习实践者会选择一个相当宽泛的（即，高熵的）先验分布，反映在观测到任何数据前参数 θ 的高度不确定性。例如，我们可能会假设先验 θ 在有限区间中均匀分布。许多先验偏好于“更简单”

深度学习概述

像素之差取绝对值或平方。 RNN损失函数交叉熵损失函数 4.正则化 正则化是机器学习中非常重要并且非常有效的减少泛化误差的技术，特别是在深度学习模型中，由于其模型参数非常多非常容易产生过拟合。因此研究者也提出很多有效的技术防止过拟合，比较常用的技术包括：数据增强，参数范数惩罚，Dropout，提前终止，随机池化等等。

深度学习之灾难遗忘

每个 maxout 单元现在由 k 个权重向量来参数化，而不仅仅是一个，所以 maxout单元通常比整流线性单元需要更多的正则化。如果训练集很大并且每个单元的块数保持很低的话，它们可以在没有正则化的情况下工作得不错 (Cai et al., 2013)。maxout 单元还有一些

《深度学习入门》笔记 - 27

下面用之前的广告数据，来建立线性回归模型，看看tensorflow2的一般建模过程。import numpy as np #1. 数据预处理：装载广告数据 def loadDataSet(): x=[];y=[] f=open('./Ad.csv')

深度学习之快速 Dropout

使用Dropout训练时的随机性不是这个方法成功的必要条件。它仅仅是近似所有子模型总和的一个方法。Wang and Manning (2013) 导出了近似这种边缘分布的解析解。他们的近似被称为快速 Dropout（fast dropout），减小梯度计算中的随机性而获得更快的收

深度学习之任务分类

《深度学习入门》笔记 - 28

线性回归模型相当于下面的简单神经网络模型，它没有隐藏层、输出层只有1个节点，激活函数是线性函数。使用 tf.keras.models.Sequential()构建模型使用 model.compile() 设置优化方法、损失函数、评价指标 （损失函数的值即 训练误差；评价指标的值即

《深度学习入门》笔记 - 04

然后就是Python的介绍。包括常见的数据类型，基本算术运算，比较和布尔运算，如何载入额外的模块和包。 基本数据结构有列表、元组、字典和集合。控制结构，内建函数和自定义函数。 然后介绍numpy库，他可以实现快速的算数运算，特别是矩阵运算，运算内部是通过C语言实现的，所以比较快。

《深度学习入门》笔记 - 17

正向传播（Forward Propagation FP）算法指输入值通过神经网络得到输出值的方法。正向传播算法的计算图如下：$sigma$表示sigmoid函数，也就是激活函数。包含损失函数的计算图如下：得到$l_2$，通过$l$计算损失函数L，其中$l$表示求解损失函数的运算。

深度学习图卷积

《深度学习入门》笔记 - 22

神经网络模型建立好了之后，必然要进行模型的评估来了解神经网络的表现。 神经网络的因变量通常有两种数据类型，定量数据和定性数据。不同因变量数据类型对应的模型误差的定义也不一样。当因变量为定性数据时，模型误差可以进一步分为两个类型： 假阳性率， FPR False Positive Rate

《深度学习入门》笔记 - 24

解决欠拟合问题的方法比较简单，增加模型复杂度就可以了。常见的方法是增加隐藏层的数量或者增加隐藏层的节点数，或者二者同时增加。如果训练误差持续下降，接近于0。而测试误差在下降后变得平稳，甚至略有上升。训练误差和测试误差的差距较大。这就是典型的过拟合情况。在建立神经网络模型的初始阶段