深度学习之机器学习的算法效果

        当我们使用机器学习算法时，我们不会提前固定参数，然后从数据集中采样。我们会在训练集上采样，然后挑选参数去降低训练集误差，然后再在测试集上采样。在这个过程中，测试误差期望会大于或等于训练误差期望。以下是决定机器学习算法效果是否好的因素：        1. 降低训练误差 

深度学习之动量举例

为什么要特别使用 −v(t) 和粘性阻力呢？部分原因是因为 −v(t) 在数学上的便利——速度的整数幂很容易处理。然而，其他物理系统具有基于速度的其他整数幂的其他类型的阻力。例如，颗粒通过空气时会受到正比于速度平方的湍流阻力，而颗粒沿着地面移动时会受到恒定大小的摩擦力。这些选择都

深度学习之交叉验证

数据集分成固定的训练集和固定的测试集后，若测试集的误差很小，这将是有问题的。一个小规模的测试集意味着平均测试误差估计的统计不确定性，使得很难判断算法 A 是否比算法 B 在给定的任务上做得更好。当数据集有十万计或者更多的样本时，这不会是一个严重的问题。当数据集太小时，也有替代方法

深度学习Sigmoid 激活函数

Sigmoid 函数的图像看起来像一个 S 形曲线。

深度学习GoogLeNet结构

深度学习之计算图

它引入了对概念理解不重要的许多额外细节。如果变量 y 是变量 x 通过一个操作计算得到的，那么我们画一条从 x 到 y 的有向边。我们有时用操作的名称来注释输出的节点，当上下文很明确时，有时也会省略这个标注。

《深度学习入门》笔记 - 02

最常用的矩阵运算是矩阵的转置。转置就像是翻转。就像是一个扑克牌，原来是竖着拿的，把它变成翻面横着拿了。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20227/27/1658883526687508822

深度学习——常用评价指标

准确率 （Accuracy），混淆矩阵 （Confusion Matrix），精确率（Precision），召回率（Recall），平均正确率（AP），mean Average Precision(mAP)，交除并（IoU），ROC + AUC，非极大值抑制（NMS）。1、准确率

深度学习之交叉验证

        将数据集分成固定的训练集和固定的测试集后，若测试集的误差很小，这将是有问题的。一个小规模的测试集意味着平均测试误差估计的统计不确定性，使得很难判断算法 A 是否比算法 B 在给定的任务上做得更好。        当数据集有十万计或者更多的样本时，这不会是一个严重的

深度学习之维数灾难

 当数据的维数很高时，很多机器学习问题变得相当困难。这种现象被称为维数灾难 (curse of dimensionality)。特别值得注意的是，一组变量不同的可能配置数量会随着变量数目的增加而指数级增长。维数灾难发生在计算机科学的许多地方，在机器学习中尤其如此。       由维数灾难带来的一个挑战是统计挑战。如图5

图像视频压缩：深度学习，有一套

为编码器；qq 为量化器；GG 为解码和生成器；DD 为对抗器。 基于深度学习的视频压缩编码 基于深度学习的视频编码分为两种： • 采用深度学习替代传统视频编码中部分模块 • 端到端采用深度学习编码压缩 部分方案 采样深度神经网络可以替代传统视频编码中的模块包括：帧内/帧间预测、变换、上下采样、环路滤波、熵编码等6。

深度学习之信息论

的信道上用离散的字母表来发送消息，例如通过无线电传输来通信。在这种情况下，信息论告诉我们如何设计最优编码，以及计算从一个特定的概率分布上采样得到、使用多种不同的编码机制的消息的期望长度。在机器学习中，我们也可以把信息论应用在连续型变量上，而信息论中一些消息长度的解释不怎么使用。信

适合新手的深度学习综述（6）--深度生成模型

进行文档处理的深度生成模型。6.3 深度信念网络深度信念网络 (Deep Belief Networks, DBN) 是具有多个潜在二元或真实变量层的生成模型。Ranzato 等人 (2011) 利用深度信念网络 (deep Belief Network, DBN) 建立了深度生成模型进行图像识别。6

【开源模型学习】AlexNet深度学习模型总结

复训练，选取出合适的a，LReLU的表现出的结果才比ReLU好。因此有人提出了一种自适应地从数据中学习参数的PReLU。PReLU是LeakyRelu的改进，可以自适应地从数据中学习参数。PReLU具有收敛速度快、错误率低的特点。PReLU可以用于反向传播的训练，可以与其他层同时优化。2

深度学习之Dropout优点

Dropout的另一个显著优点是不怎么限制适用的模型或训练过程。几乎在所有使用分布式表示且可以用随机梯度下降训练的模型上都表现很好。包括前馈神经网络、概率模型，如受限玻尔兹曼机(Srivastava et al., 2014)，以及循环神经网络(Bayer and Osendorfer

机器学习之深度学习简介

深度学习 1. 深度学习介绍 2. 深度学习原理 3. 深度学习实现 深度学习 1. 深度学习介绍 深度学习（Deep learning）是机器学习的一个分支领域,其源于人工 神经网络的研究。 深度学习广泛应用在计算机视觉,音频处理,自然语言处理等诸多领 域。 人工神经网络（Artificial

深度学习之切面距离

一个利用流形假设的早期尝试是切面距离（tangent distance）算法 (Simard et al., 1993, 1998)。它是一种非参数的最近邻算法，其中使用的度量不是通用的欧几里德距离，而是根据邻近流形关于聚集概率的知识导出的。这个算法假设我们尝试分类的样本和同一流

深度学习笔记之矩阵

以不加粗的斜体形式，索引用逗号间隔。比如，A1;1 表示A 左上的元素，Am，n 表示A 右下的元素。我们表示垂直坐标i 中的所有元素时，用“:” 表示水平坐标。比如，Ai;: 表示A 中垂直坐标i 上的一横排元素。这也被称为A 的第i行(row)。同样地，A:;i 表示A 的第

深度学习之约束优化

有时候，在 x 的所有可能值下最大化或最小化一个函数 f(x) 不是我们所希望的。相反，我们可能希望在 x 的某些集合 S 中找 f(x) 的最大值或最小值。这被称为约束优化 (constrained optimization)。在约束优化术语中，集合 S 内的点 x 被称为可行

深度学习之参数共享

这种方法由Lasserre et al. (2006) 提出，正则化一个模型（监督模式下训练的分类器）的参数，使其接近另一个无监督模式下训练的模型（捕捉观察到的输入数据的分布）的参数。这种构造架构使得许多分类模型中的参数能与之对应的无监督模型的参数匹配。参数范数惩罚是正则化参数使