【转载】传统机器学习与深度学习

《深度学习应用开发》学习笔记-32

这里谈到了独热编码one-hot，独热编码是用来表示标签数据的。前面已经知道了，标签数据很简单，就是表示0-9范围内的一个数字。 说实话独热编码有什么用处，真的还没有理解。还有什么欧式空间的概念啊，都很陌生。 看看代码吧。 ```python #独热编码示例。 x=[3,4] tf

深度学习之虚拟对抗

由于它们被限制为线性而无法抵抗对抗样本。神经网络能够将函数从接近线性转化为局部近似恒定，从而可以灵活地捕获到训练数据中的线性趋势同时学习抵抗局部扰动。对抗样本也提供了一种实现半监督学习的方法。在与数据集中的标签不相关联的点 x 处，模型本身为其分配一些标签 yˆ。模型的标记 yˆ

深度学习之对抗样本

具有许多输入，那么它的值可以非常迅速地改变。如果我们用 ϵ 改变每个输入，那么权重为w 的线性函数可以改变 ϵ ∥w∥1 之多，如果 w 是高维的这会是一个非常大的数。对抗训练通过鼓励网络在训练数据附近的局部区域恒定来限制这一高度敏感的局部线性行为。这可以被看作是一种明确地向监督

深度学习神经网络

者目标等），再到更高层的目标、目标的行为等，即底层特征组合成了高层特征，由低到高的特征表示越来越抽象。深度学习借鉴的这个过程就是建模的过程。 深度神经网络可以分为3类，前馈深度网络(feed-forwarddeep networks, FFDN)，由多个编码器层叠加而成，如多层感知机(multi-layer

《深度学习入门》笔记 - 01

之前学了一个深度学习应用开发，学了一段时间，后来就没学了。 确实是"靡不有初，鲜克有终"，现在不愿意再继续之前的学。我又找了一本书从头开始，这本书的名字是深度学习入门与TensorFlow实践>。 `数（scalar）`是一个数字。 简直是废话。 不过这才刚开始嘛。 多个数字有序

深度学习之Dropout启发

须选择让神经网络能够学习对抗的修改类型。在理想情况下，我们也应该使用可以快速近似推断的模型族。我们可以认为由向量 µ 参数化的任何形式的修改，是对 µ 所有可能的值训练 p(y | x, µ) 的集成。注意，这里不要求 µ 具有有限数量的值。例如， µ 可以是实值。Srivastava

**Mac深度学习环境配置**

Mac深度学习环境配置安装组合：Anaconda+PyTorch(GPU版)开源贡献：马曾欧，伦敦大学2.1 安装AnacondaAnaconda 的安装有两种方式，这里仅介绍一种最直观的- macOS graphical install。https://www.anaconda

深度学习之噪声鲁棒性

项技术主要用于循环神经网络 (Jim et al., 1996; Graves, 2011)。这可以被解释为关于权重的贝叶斯推断的随机实现。贝叶斯学习过程将权重视为不确定的，并且可以通过概率分布表示这种不确定性。向权重添加噪声是反映这种不确定性的一种实用的随机方法。

《深度学习入门》笔记 - 16

因此，在此基础上，隐藏层到输出层的logistic模型就可以把其分开了：从这个例子可以看到，神经网络可以先通过隐藏层学习数据的不同特征，再根据隐藏层得到的特征做出更好的预测。也就是说通过增加隐藏层，神经网络可以找到输入层和因变量之间更复杂的关系；而不通过隐藏层，这种关系无法表达。同时可以通过增加隐藏层的数量和每

深度学习之任务T

机器学习可以让我们解决一些人为设计和实现固定程序很难解决的问题。从科学和哲学的角度来看，机器学习受到关注是因为提高我们对机器学习的认识需要提高我们对智能背后原理的理解。如果考虑“任务”比较正式的定义，那么学习的过程并不是任务。在相对正式的 “任务”定义中，学习过程本身并不是任务。

深度学习之模板匹配

非常相似。该模型进而会赋予相对应的训练标签 y 较大的权重。总的来说，预测将会组合很多这种通过训练样本相似性加权的训练标签。支持向量机不是唯一可以使用核策略来增强的算法。许多其他的线性模型可以通过这种方式来增强。使用核策略的算法类别被称为核机器 (kernel machine) 或核方法 (kernel method)(Williams

深度学习笔记之贡献

        深度学习的另一个最大的成就是其在强化学习 (reinforcement learning) 领域的扩展。在强化学习中，一个自主的智能体必须在没有人类操作者指导的情况下，通过试错来学习执行任务。DeepMind 表明，基于深度学习的强化学习系统能够学会玩Atari 视频游戏，并在多种任务中可与人类匹敌

深度学习之浅层网络

存在一些函数族能够在网络的深度大于某个值 d 时被高效地近似，而当深度被限制到小于或等于 d 时需要一个远远大于之前的模型。在很多情况下，浅层模型所需的隐藏单元的数量是 n 的指数级。这个结果最初被证明是在那些不与连续可微的神经网络类似的机器学习模型中出现，但现在已经扩展到了这些模型。第一个结果是关于逻辑门电路的

深度学习之贝叶斯统计

是未知的定值，而点估计θˆ 是考虑数据集上函数（可以看作是随机的）的随机变量。        贝叶斯统计的视角完全不同。贝叶斯用概率反映知识状态的确定性程度。数据集能够直接观测到，因此不是随机的。另一方面，真实参数 θ 是未知或不确定的，因此可以表示成随机变量。        在观察到数据前，我们将

《深度学习入门》笔记 - 12

学习步长$\alpha$是一个很重要的参数。 如果太小，算法会收敛的很慢。 如果太大，容易造成算法不收敛，甚至发散。 自变量的标准化，和因变量的中心化，是建立深度学习模型常用的数据预处理方法。 他们的好处，是不仅可以让梯度下降法的数值表现的更加稳定，还有助于我们找到合适的初始值和步长。

深度学习之历史小计

1847)。从 20 世纪 40 年代开始，这些函数近似技术被用于导出诸如感知机的机器学习模型。然而，最早的模型都是基于线性模型。来自包括 Marvin Minsky 的批评指出了线性模型族的几个缺陷，例如它无法学习 XOR 函数，这导致了对整个神经网络方法的抵制。

深度学习之超参数

大多数机器学习算法都有设置超参数，可以用来控制算法行为。超参数的值不是通过学习算法本身学习出来的（尽管我们可以设计一个嵌套的学习过程，一个学习算法为另一个学习算法学出最优超参数）。所示的多项式回归实例中，有一个超参数：多项式的次数，作为容量超参数。控制权重衰减程度的 λ 是另一个

深度学习的现实应用《深度学习与Mindspore实践》今天你读书了吗?

要成果就是词向量的学习。  医疗领域深度学习算法可以发现人类无法捕捉到的特征。研究人员利用这些算法对细胞图像进行分类，建立基因组连接，加速药物发明周期。在医疗领域，深度卷积神经网络被应用于癌细胞分类、病变检测、器官分割和图像增强等医疗图像分析金融领域，深度学习被应用于金融欺诈检测

深度学习时序图网络

序图网络(TGNs)，一个通用的，有效的框架，用于深度学习动态图表示为时间事件序列。由于内存模块和基于图的运算符的新组合，TGNs能够显著优于以前的方法，同时在计算效率上也更高。此外，我们还展示了之前几个用于学习动态图的模型可以转换为我们框架的具体实例。我们对框架的不同组件进行了