深度学习之权重比例

权重比例推断规则在其他设定下也是精确的，包括条件正态输出的回归网络以及那些隐藏层不包含非线性的深度网络。然而，权重比例推断规则对具有非线性的深度模型仅仅是一个近似。虽然这个近似尚未有理论上的分析，但在实践中往往效果很好。Goodfellow et al. (2013b) 实验发现

深度学习之代价函数

        深度神经网络设计中的一个重要方面是代价函数的选择。幸运的是，神经网络的代价函数或多或少是和其他的参数模型例如线性模型的代价函数相同的。       在大多数情况下，我们的参数模型定义了一个分布 p(y | x; θ) 并且我们简单地使用最大似然原理。这意味着我们使

深度学习之任务 T

        机器学习可以让我们解决一些人为设计和实现固定程序很难解决的问题。从科学和哲学的角度来看，机器学习受到关注是因为提高我们对机器学习的认识需要提高我们对智能背后原理的理解。       如果考虑 “任务”比较正式的定义，那么学习的过程并不是任务。       在相对正式的

深度学习之正则化

没有免费午餐定理暗示我们必须在特定任务上设计性能良好的机器学习算法。我们建立一组学习算法的偏好来达到这个要求。当这些偏好和我们希望算法解决的学习问题相吻合时，性能会更好。        至此，我们具体讨论修改学习算法的方法只有，通过增加或减少学习算法可选假设空间的函数来增加或减少模型的容量。

深度学习之apnik-Chervonenkis 维度

1995)。这些边界为机器学习算法可以有效解决问题提供了理论验证，但是它们很少应用于实际中的深度学习算法。一部分原因是边界太松，另一部分原因是很难确定深度学习算法的容量。确定深度学习模型容量的问题特别困难是由于有效容量受限于优化算法的能力。对于深度学习中的一般非凸优化问题，我们只

深度学习之maxout 单元

{(i − 1)k + 1, . . . , ik}。这提供了一种方法来学习对输入 x 空间中多个方向响应的分段线性函数。maxout 单元可以学习具有多达 k 段的分段线性的凸函数。maxout 单元因此可以视为学习激活函数本身而不仅仅是单元之间的关系。使用足够大的 k，maxout

[深度学习]测距

系列内容深度学习CNN 文章目录 ADAS摄像头成像需具备的两大特点单目镜头的测距原理双目镜头的测距原理 ADAS摄像头成像需具备的两大特点 是要看得足够远 看的越远就能有更加充裕的时间做出判断和反应，从而 避免或者降低事故发生造成的损失。 是要求高动态

深度学习之验证集

测试集可以用来估计学习过程完成之后的学习器的泛化误差。其重点在于测试样本不能以任何形式参与到模型的选择，包括设定超参数。基于这个原因，测试集中的样本不能用于验证集。因此，我们总是从训练数据中构建验证集。特别地，我们将训练数据分成两个不相交的子集。其中一个用于学习参数。另一个作为验

深度学习模型训练流程思考

使用超参优化工具（NNI）寻找最优超参组合 模型初步训练 改进：根据初步训练的效果指标判断是数据集问题还是模型结构或深度问题 数据集问题，想办法进一步清洗补充数据集 模型结构问题，尝试更换或者NNI搜索更优模型；模型深度问题，尝试增加backbone的卷积通道层数或者复制增加layers 如需进一步提升，根据上一步中的改进设计一个更大的模型

机器学习——深度学习(Deep Learning)

Learning是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，最近研究了机器学习中一些深度学习的相关知识，本文给出一些很有用的资料和心得。 Key Words：有监督学习与无监督学习，分类、回归，密度估计、聚类，深度学习，Sparse DBN，

浅谈深度学习模型压缩

teacher-student模型是迁移学习的一种，迁移学习也就是将一个模型的性能迁移到另一个模型上，对于教师网络往往是一个更加复杂的网络，具有非常好的性能和泛化能力，可以用这个网络来作为一个soft target来指导另外一个更加简单的学生网络来学习，使得更加简单、参数运算量更少的学生模型也能够具有和教师网络相近的性能  

深度学习之动量举例

为什么要特别使用 −v(t) 和粘性阻力呢？部分原因是因为 −v(t) 在数学上的便利——速度的整数幂很容易处理。然而，其他物理系统具有基于速度的其他整数幂的其他类型的阻力。例如，颗粒通过空气时会受到正比于速度平方的湍流阻力，而颗粒沿着地面移动时会受到恒定大小的摩擦力。这些选择都

深度学习之计算图

为了更精确地描述反向传播算法，使用更精确的计算图（computational graph）语言是很有帮助的。将计算形式化为图形的方法有很多。这里，我们使用图中的每一个节点来表示一个变量。变量可以是标量、向量、矩阵、张量、或者甚至是另一类型的变量。为了形式化我们的图形，我们还需引入

深度学习——常用评价指标

准确率 （Accuracy），混淆矩阵 （Confusion Matrix），精确率（Precision），召回率（Recall），平均正确率（AP），mean Average Precision(mAP)，交除并（IoU），ROC + AUC，非极大值抑制（NMS）。1、准确率

深度学习之交叉验证

在给定的任务上做得更好。当数据集有十万计或者更多的样本时，这不会是一个严重的问题。当数据集太小时，也有替代方法允许我们使用所有的样本估计平均测试误差，代价是增加了计算量。这些过程是基于在原始数据上随机采样或分离出的不同数据集上重复训练和测试的想法。最常见的是 k-折交叉验证过程，如算法5.1所示，将数据集分成

深度学习之交叉验证

当数据集有十万计或者更多的样本时，这不会是一个严重的问题。当数据集太小时，也有替代方法允许我们使用所有的样本估计平均测试误差，代价是增加了计算量。这些过程是基于在原始数据上随机采样或分离出的不同数据集上重复训练和测试的想法。最常见的是 k-折交叉验证过程，如算法5.1所示，将数据集分成

《深度学习入门》笔记 - 02

最常用的矩阵运算是矩阵的转置。转置就像是翻转。就像是一个扑克牌，原来是竖着拿的，把它变成翻面横着拿了。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20227/27/1658883526687508822

深度学习Sigmoid 激活函数

Sigmoid 函数的图像看起来像一个 S 形曲线。

深度学习GoogLeNet结构

《深度学习入门》笔记 - 10

59535760107353372.png) 好了我们上面说的是最简单的情况，因为为了学习，是一个权重或叫参数w，一个自变量x，并且只有一个观测点(x,y)。 在实际情况中，一般就不仅仅是学习的那么简单的情况。 数据会包含多个自变量，多个权重，很多个观测点。 用 $L(w)=L(w_1