深度学习之经验E

根据学习过程中的不同经验，机器学习算法可以大致分类为无监督 (unsuper-vised) 和监督 (supervised)。大部分学习算法可以理解成在整个数据集 (dataset) 上获取经验。数据集是指很多样本组成的集合，如第5.1.1节的定义。有时我们也将样本称为数据点 (data

深度学习之浅层网络

存在一些函数族能够在网络的深度大于某个值 d 时被高效地近似，而当深度被限制到小于或等于 d 时需要一个远远大于之前的模型。在很多情况下，浅层模型所需的隐藏单元的数量是 n 的指数级。这个结果最初被证明是在那些不与连续可微的神经网络类似的机器学习模型中出现，但现在已经扩展到了这些模型。第一个结果是关于逻辑门电路的

深度学习=炼金术?

深度学习是目前人工智能最受关注的领域，但黑盒学习法使得深度学习面临一个重要的问题：AI能给出正确的选择，但是人类却并不知道它根据什么给出这个答案。本期将分享深度学习的起源、应用和待解决的问题；可解释AI的研究方向和进展。

深度学习训练过程

上升的非监督学习就是从底层开始，一层一层地往顶层训练。采用无标定数据（有标定数据也可）分层训练各层参数，这一步可以看作是一个无监督训练过程，这也是和传统神经网络区别最大的部分，可以看作是特征学习过程。具体的，先用无标定数据训练第一层，训练时先学习第一层的参数，这层可以看作是得到一

《深度学习笔记》三

然而在LeNet提出后的十几年里，由于神经网络的可解释性较差和计算资源的限制等原因，神经网络一直处于发展的低谷阶段。 转折点 2012年 也是现代意义的深度学习的元年 Alex Krizhevsky提出的神经网络结构，所以叫AlexNet 爆点在于在当年的ILSVRC挑战赛中获得冠军（错误率16

《深度学习笔记》一

有监督机器学习的核心哲学： 使用“数据驱动”方法让计算机可以学习输入/输出之间的正确映射。它需要一系列“标记”记录，其中包含训练集中的输入和期望的输出，以便将输入到输出的映射学习为一种准确的行为表现。 可以用下面这个图来表示： 无监督机器学习的核心哲学： 让计算机学习输入的内部

深度学习修炼（一）——从机器学习转向深度学习

在大部分的学习框架中实际上都有属于自己的方法来创建张量，这是因为深度学习一般用来处理大量的数据，而仅仅用电脑的CPU硬件已经不能满足我们深度学习的算力了，为此，我们需要使用GPU来加速我们的算法，而Numpy是不支持GPU加速的，而深度学习框架的张量可以。 换而言之，在深度学习框架

深度学习之正则化

机器学习中的一个核心问题是设计不仅在训练数据上表现好，并且能在新输入上泛化好的算法。在机器学习中，许多策略显式地被设计为减少测试误差（可能会以增大训练误差为代价）。这些策略被统称为正则化。我们将在后文看到，深度学习工作者可以使用许多不同形式的正则化策略。事实上，开发更有效的正则化

【转载】深度学习与人脑

深度学习是机器学习的一个子集，它通过接收大量数据并试图从中学习来模拟人脑。在IBM对该术语的定义中，深度学习使系统能够“聚集数据，并以令人难以置信的准确性做出预测。” 然而，尽管深度学习令人难以置信，但IBM尖锐地指出，它无法触及人脑处理和学习信息的能力。深度学习和 DNN（深度

深度学习之半监督学习

在深度学习的背景下，半监督学习通常指的是学习一个表示 h = f(x)。学习表示的目的是使相同类中的样本有类似的表示。无监督学习可以为如何在表示空间聚集样本提供有用线索。在输入空间紧密聚集的样本应该被映射到类似的表示。在许多情况下，新空间上的线性分类器可以达到较好的泛化 (Belkin

深度学习之经验E

        根据学习过程中的不同经验，机器学习算法可以大致分类为无监督(unsuper-vised) 和监督(supervised)。        大部分学习算法可以理解成在整个数据集(dataset) 上获取经验。数据集是指很多样本组成的集合，如第5.1.1节的定义。有时我们也将样本称为数据点(data

《深度学习应用开发》学习笔记汇总

因为算力跟上了，这样可以在可接受的时间里可以完成任务。 还有一个是vggnet，他的问题是参数太大。 深度学习的问题：1面向任务单一，依赖于大规模有标签数据，几乎是个黑箱模型。 现在人工智能基本由深度学习代表了，但人工智能还有更多。。。 然后就开始讲深度学习的开发框架。先整了了

矩阵和向量相乘“深度学习”笔记

法可被定义，矩阵A的列数必须和矩阵B的行数相等。如果矩阵A的形状是m x n，矩阵B的形状是n x p，那么矩阵C的形状是m x p。我们可以通过将两个或多个矩阵并列放置以书写矩阵乘法，列如 C=AB需要注意的是，两个矩阵的标准乘积不是指两个矩阵中对应元素的乘积。不过，那样的矩阵

深度学习之经验风险

机器学习算法的目标是降低式 (8.2) 所示的期望泛化误差。这个数据量被称为风险（risk）。在这里，我们强调该期望取自真实的潜在分布 pdata。如果我们知道了真实分布 pdata(x, y)，那么最小化风险变成了一个可以被优化算法解决的优化问题。然而，我们遇到的机器学习问题，通常是不知道

AI、机器学习、深度学习的关系

深度学习笔记之支持向量机

为负时，支持向量机预测属于负类。支持向量机的一个重要创新是核技巧 (kernel trick)。核策略观察到许多机器学习算法都可以写成样本间点积的形式。例如，支持向量机中的线性函数可以重写为其中，x(i) 是训练样本，α 是系数向量。学习算法重写为这种形式允许我们将 x替换为特征函数 φ(x) 的输出，点积替换为被称为核函数

深度学习之平滑先验

距离拉大时而减小。局部核可以看作是执行模版匹配的相似函数，用于度量测试样本 x 和每个训练样本 x(i) 有多么相似。近年来深度学习的很多推动力源自研究局部模版匹配的局限性，以及深度学习如何克服这些局限性 (Bengio et al., 2006a)。决策树也有平滑学习的局限性，因为它将

深度学习基本概念

们发现从数据的原始形式直接学得数据表示这件事很难。深度学习是目前最成功的表示学习方法，因此，目前国际表示学习大会（ICLR）的绝大部分论文都是关于深度学习的。深度学习是把表示学习的任务划分成几个小目标，先从数据的原始形式中先学习比较低级的表示，再从低级表示学得比较高级的表示。这样

【转载】传统机器学习与深度学习