深度学习之模板匹配

1999)。核机器的一个主要缺点是计算决策函数的成本关于训练样本的数目是线性的。因为第 i 个样本贡献 αik(x, x(i)) 到决策函数。支持向量机能够通过学习主要包含零的向量 α，以缓和这个缺点。那么判断新样本的类别仅需要计算非零 αi 对应的训练样本的核函数。这些训练样本被称为支持向量 (support

深度学习之贝叶斯统计

的已知知识表示成先验概率分布 (prior probability distribution)，p(θ)（有时简单地称为 “先验”）。一般而言，机器学习实践者会选择一个相当宽泛的（即，高熵的）先验分布，反映在观测到任何数据前参数 θ 的高度不确定性。例如，我们可能会假设先验 θ 在有限区间中均匀分布。许多先验偏好于“更简单”

深度学习之机器学习的算法效果

        当我们使用机器学习算法时，我们不会提前固定参数，然后从数据集中采样。我们会在训练集上采样，然后挑选参数去降低训练集误差，然后再在测试集上采样。在这个过程中，测试误差期望会大于或等于训练误差期望。以下是决定机器学习算法效果是否好的因素：        1. 降低训练误差 

学习笔记-如何提升深度学习性能？

特征选择 f. 重新定义问题2. 从算法上提升性能   a. 算法的筛选 b. 从文献中学习 c. 重采样的方法3. 从算法调优上提升性能   a. 模型可诊断性 b. 权重的初始化 c. 学习率 d. 激活函数 e. 网络结构 f. batch和epoch g. 正则项 h. 优化目标

《深度学习入门》笔记 - 11

化`。 标准化后所有自变量的均值是0，方差是1。中心化后因变量的均值是0。 这样做可以让梯步下降法的数值更加稳定，更容易找到合适的初始值和学习步长。 一个标准化的方法就是让数据的每一列减去该列的均值，然后除以该列的样本标准差（$sd(x)$）: ![image.png](https://bbs-img

深度学习之动量举例

为什么要特别使用 −v(t) 和粘性阻力呢？部分原因是因为 −v(t) 在数学上的便利——速度的整数幂很容易处理。然而，其他物理系统具有基于速度的其他整数幂的其他类型的阻力。例如，颗粒通过空气时会受到正比于速度平方的湍流阻力，而颗粒沿着地面移动时会受到恒定大小的摩擦力。这些选择都

深度学习之交叉验证

数据集分成固定的训练集和固定的测试集后，若测试集的误差很小，这将是有问题的。一个小规模的测试集意味着平均测试误差估计的统计不确定性，使得很难判断算法 A 是否比算法 B 在给定的任务上做得更好。当数据集有十万计或者更多的样本时，这不会是一个严重的问题。当数据集太小时，也有替代方法

深度学习Sigmoid 激活函数

Sigmoid 函数的图像看起来像一个 S 形曲线。

《深度学习入门》笔记 - 02

最常用的矩阵运算是矩阵的转置。转置就像是翻转。就像是一个扑克牌，原来是竖着拿的，把它变成翻面横着拿了。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20227/27/1658883526687508822

深度学习GoogLeNet结构

深度学习——常用评价指标

准确率 （Accuracy），混淆矩阵 （Confusion Matrix），精确率（Precision），召回率（Recall），平均正确率（AP），mean Average Precision(mAP)，交除并（IoU），ROC + AUC，非极大值抑制（NMS）。1、准确率

深度学习之交叉验证

        将数据集分成固定的训练集和固定的测试集后，若测试集的误差很小，这将是有问题的。一个小规模的测试集意味着平均测试误差估计的统计不确定性，使得很难判断算法 A 是否比算法 B 在给定的任务上做得更好。        当数据集有十万计或者更多的样本时，这不会是一个严重的

《深度学习入门》笔记 - 08

208189864369.png) 这个算法就是梯度下降法，在更新w的过程中，加入了一个系数$\alpha$，他是一个比较小的正数，叫做`学习步长`，这样可以让w更新的速度变慢一些，使得w更容易收敛。

机器学习（八）：深度学习简介

深度学习简介 一、神经网络简介 深度学习（Deep Learning）（也称为深度结构学习【Deep Structured Learning】、层次学习【Hierarchical Learning】或者是深度机器学习【Deep Machine Learning】）是一类算法集合，是机器学习的一个分支。

【开源模型学习】AlexNet深度学习模型总结

复训练，选取出合适的a，LReLU的表现出的结果才比ReLU好。因此有人提出了一种自适应地从数据中学习参数的PReLU。PReLU是LeakyRelu的改进，可以自适应地从数据中学习参数。PReLU具有收敛速度快、错误率低的特点。PReLU可以用于反向传播的训练，可以与其他层同时优化。2

适合新手的深度学习综述（6）--深度生成模型

进行文档处理的深度生成模型。6.3 深度信念网络深度信念网络 (Deep Belief Networks, DBN) 是具有多个潜在二元或真实变量层的生成模型。Ranzato 等人 (2011) 利用深度信念网络 (deep Belief Network, DBN) 建立了深度生成模型进行图像识别。6

机器学习之深度学习简介

深度学习 1. 深度学习介绍 2. 深度学习原理 3. 深度学习实现 深度学习 1. 深度学习介绍 深度学习（Deep learning）是机器学习的一个分支领域,其源于人工 神经网络的研究。 深度学习广泛应用在计算机视觉,音频处理,自然语言处理等诸多领 域。 人工神经网络（Artificial

深度学习之灾难遗忘

每个 maxout 单元现在由 k 个权重向量来参数化，而不仅仅是一个，所以 maxout单元通常比整流线性单元需要更多的正则化。如果训练集很大并且每个单元的块数保持很低的话，它们可以在没有正则化的情况下工作得不错 (Cai et al., 2013)。maxout 单元还有一些

《深度学习入门》笔记 - 28

线性回归模型相当于下面的简单神经网络模型，它没有隐藏层、输出层只有1个节点，激活函数是线性函数。使用 tf.keras.models.Sequential()构建模型使用 model.compile() 设置优化方法、损失函数、评价指标 （损失函数的值即 训练误差；评价指标的值即

《深度学习入门》笔记 - 04

然后就是Python的介绍。包括常见的数据类型，基本算术运算，比较和布尔运算，如何载入额外的模块和包。 基本数据结构有列表、元组、字典和集合。控制结构，内建函数和自定义函数。 然后介绍numpy库，他可以实现快速的算数运算，特别是矩阵运算，运算内部是通过C语言实现的，所以比较快。