深度学习Sigmoid 激活函数

Sigmoid 函数的图像看起来像一个 S 形曲线。

深度学习之交叉验证

        将数据集分成固定的训练集和固定的测试集后，若测试集的误差很小，这将是有问题的。一个小规模的测试集意味着平均测试误差估计的统计不确定性，使得很难判断算法 A 是否比算法 B 在给定的任务上做得更好。        当数据集有十万计或者更多的样本时，这不会是一个严重的

深度学习GoogLeNet结构

深度学习之计算图

为了更精确地描述反向传播算法，使用更精确的计算图（computational graph）语言是很有帮助的。将计算形式化为图形的方法有很多。这里，我们使用图中的每一个节点来表示一个变量。变量可以是标量、向量、矩阵、张量、或者甚至是另一类型的变量。为了形式化我们的图形，我们还需引入

《深度学习入门》笔记 - 02

最常用的矩阵运算是矩阵的转置。转置就像是翻转。就像是一个扑克牌，原来是竖着拿的，把它变成翻面横着拿了。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20227/27/1658883526687508822

深度学习——常用评价指标

准确率 （Accuracy），混淆矩阵 （Confusion Matrix），精确率（Precision），召回率（Recall），平均正确率（AP），mean Average Precision(mAP)，交除并（IoU），ROC + AUC，非极大值抑制（NMS）。1、准确率

深度学习之提前终止

循环次数内没有进一步改善时，算法就会终止。此过程在算法中有更正式的说明。这种策略被称为提前终止（early stopping）。这可能是深度学习中最常用的正则化形式。它的流行主要是因为有效性和简单性。

【开源模型学习】AlexNet深度学习模型总结

复训练，选取出合适的a，LReLU的表现出的结果才比ReLU好。因此有人提出了一种自适应地从数据中学习参数的PReLU。PReLU是LeakyRelu的改进，可以自适应地从数据中学习参数。PReLU具有收敛速度快、错误率低的特点。PReLU可以用于反向传播的训练，可以与其他层同时优化。2

《深度学习入门》笔记 - 11

化`。 标准化后所有自变量的均值是0，方差是1。中心化后因变量的均值是0。 这样做可以让梯步下降法的数值更加稳定，更容易找到合适的初始值和学习步长。 一个标准化的方法就是让数据的每一列减去该列的均值，然后除以该列的样本标准差（$sd(x)$）: ![image.png](https://bbs-img

《深度学习入门》笔记 - 18

网络的目的是建立输入层与输出层之间的关系，进而利用建立的关系得到预测值。通过增加隐藏层，神经网络可以找到输入层与输出层之间较复杂的关系。深度学习是拥有多个隐藏层的神经网络，在神经网络中，我们通过正向传播算法得到预测值，并通过反向传播算法得到参数梯度，然后利用梯度下降法更新参数，使

深度学习模型轻量化

硬件层加速。这个维度主要在AI硬件芯片层，目前有GPU、FPGA、ASIC等多种方案，各种TPU、NPU就是ASIC这种方案，通过专门为深度学习进行芯片定制，大大加速模型运行速度。

《深度学习入门》笔记 - 16

层，这种关系无法表达。同时可以通过增加隐藏层的数量和每个隐藏层的节点数，来处理更加复杂的问题。拥有多个隐藏层的神经网络就可以实现深度学习。而数量越多，就需要更多的技巧来训练并发挥这些隐藏层的作用。

《深度学习入门》笔记 - 08

208189864369.png) 这个算法就是梯度下降法，在更新w的过程中，加入了一个系数$\alpha$，他是一个比较小的正数，叫做`学习步长`，这样可以让w更新的速度变慢一些，使得w更容易收敛。

深度学习: 学习率 (learning rate)

         深度学习: 学习率 (learning rate)    作者：liulina603        致敬 原文：https://blog.csdn.net/liulina603/article/details/80604385   深度学习: 学习率 (learning

人工智能、机器学习、深度学习的关系

)领域。显然，“深度学习”是与机器学习中的“神经网络”是强相关，“神经网络”也是其主要的算法和手段；或者我们可以将“深度学习”称之为“改良版的神经网络”算法。深度学习又分为卷积神经网络（Convolutional neural networks，简称CNN）和深度置信网（Deep

浅谈深度学习常用术语

深度学习常用术语· 样本（sample）或输入（input）或数据点（data point）：训练集中特定的实例。我们在上一章中看到的图像分类问题，每个图像都可以被称为样本、输入或数据点。· 预测（prediction）或输出（output）：由算法生成的值称为输出。例如，在先前

机器学习（八）：深度学习简介

深度学习简介 一、神经网络简介 深度学习（Deep Learning）（也称为深度结构学习【Deep Structured Learning】、层次学习【Hierarchical Learning】或者是深度机器学习【Deep Machine Learning】）是一类算法集合，是机器学习的一个分支。

深度学习之权重比例

权重比例推断规则在其他设定下也是精确的，包括条件正态输出的回归网络以及那些隐藏层不包含非线性的深度网络。然而，权重比例推断规则对具有非线性的深度模型仅仅是一个近似。虽然这个近似尚未有理论上的分析，但在实践中往往效果很好。Goodfellow et al. (2013b) 实验发现

深度学习之任务 T

        机器学习可以让我们解决一些人为设计和实现固定程序很难解决的问题。从科学和哲学的角度来看，机器学习受到关注是因为提高我们对机器学习的认识需要提高我们对智能背后原理的理解。       如果考虑 “任务”比较正式的定义，那么学习的过程并不是任务。       在相对正式的

深度学习之正则化

没有免费午餐定理暗示我们必须在特定任务上设计性能良好的机器学习算法。我们建立一组学习算法的偏好来达到这个要求。当这些偏好和我们希望算法解决的学习问题相吻合时，性能会更好。        至此，我们具体讨论修改学习算法的方法只有，通过增加或减少学习算法可选假设空间的函数来增加或减少模型的容量。