深度学习笔记之归纳准则

除了最大似然估计，还有其他的归纳准则，其中许多共享一致估计的性质。然而，一致估计的统计效率(statistic efficiency) 可能区别很大。某些一致估计可能会在固定数目的样本上获得一个较低的泛化误差，或者等价地，可能只需要较少的样本就能达到一个固定程度的泛化误差。通常，统计效率研究于有参情况(parametric

线性代数“深度学习”笔记

线性代数作为数学的一个分支，广泛应用于科学和工程中。然而，因为线性代数是主要面向连续数学，而非离散数学。掌握好线性代数对于理解和从事机器学习算法相关工作是很有必要的，尤其是深度学习算法而言。线性代数提供了被称为矩阵逆（matrix inversion）的强大工具。对于大多数矩阵A，我们都能通过矩阵逆解析地求解式(2

深度学习模型结构

对信息的处理是分级的。从低级的提取边缘特征到形状（或者目标等），再到更高层的目标、目标的行为等，即底层特征组合成了高层特征，由低到高的特征表示越来越抽象。深度学习借鉴的这个过程就是建模的过程。 深度神经网络可以分为3类，前馈深度网络(feed-forwarddeep networks

部署深度学习模型

虽然modelarts能够帮助我们在线上完成深度学习的模型，但是训练好的深度学习模型是怎么部署的

张量的常用操作“深度学习”笔记

张量的常用操作在机器学习和深度学习中，我们往往将待处理的数据规范化为特定维度的张量。列如，在不进行批处理时，彩**像可以看成一个三维张量——图像的三个颜色通道（红，绿，蓝），图像的高和图像的宽，视频可以看成一个四维张量——视频的时间帧方向，每一帧图像的颜色通道，高和宽，三维场景可

深度学习之过拟合

然而，经验风险最小化很容易导致过拟合。高容量的模型会简单地记住训练集。在很多情况下，经验风险最小化并非真的可行。最有效的现代优化算法是基于梯度下降的，但是很多有用的损失函数，如 0 − 1 损失，没有有效的导数（导数要么为零，要么处处未定义）。这两个问题说明，在深度学习中我们很少使用经验风险最小化

深度学习VGG网络

VGG原理VGG16相比AlexNet的一个改进是采用连续的几个3x3的卷积核代替AlexNet中的较大卷积核（11x11，7x7，5x5）。对于给定的感受野（与输出有关的输入图片的局部大小），采用堆积的小卷积核是优于采用大的卷积核，因为多层非线性层可以增加网络深度来保证学习更复杂的模式，而且代价还比

深度学习之机器学习的挑战

        机器学习的主要挑战是我们的算法必须能够在先前未观测的新输入上表现良好，而不只是在训练集上效果好。在先前未观测到的输入上表现良好的能力被称为泛化(generalization)。通常情况下，当我们训练机器学习模型时，我们可以访问训练集，在训练集上计算一些度量误差，被称为训练误差(training

深度学习之机器学习的挑战

        机器学习的主要挑战是我们的算法必须能够在先前未观测的新输入上表现良好，而不只是在训练集上效果好。在先前未观测到的输入上表现良好的能力被称为泛化(generalization)。通常情况下，当我们训练机器学习模型时，我们可以访问训练集，在训练集上计算一些度量误差，被称为训练误差(training

深度学习笔记之约束优化

范围内搜索可行的新 x 点，或者我们可以将线上的每个点投影到约束区域。如果可能的话，在梯度下降或线搜索前将梯度投影到可行域的切空间会更高效 (Rosen, 1960)。       一个更复杂的方法是设计一个不同的、无约束的优化问题，其解可以转化成原始约束优化问题的解。例如，我们要在

深度学习笔记之标量、向量

说“让n ∈ N 表示元素的数目”。      向量(vector)：一个向量是一列数。这些数是有序排列的。通过次序中的索引，我们可以确定每个单独的数。通常我们赋予向量粗体的小写变量名称，比如x。向量中的元素可以通过带脚标的斜体表示。向量x 的第一个元素是x1，第二个元素是x2，

深度学习模型结构

对信息的处理是分级的。从低级的提取边缘特征到形状（或者目标等），再到更高层的目标、目标的行为等，即底层特征组合成了高层特征，由低到高的特征表示越来越抽象。深度学习借鉴的这个过程就是建模的过程。 深度神经网络可以分为3类：1.前馈深度网络(feed-forwarddeep networks

分享深度学习发展的学习范式——混合学习

为生成的图像，而且输出样本的类别（多输出学习）。这是基于这样的一个想法，通过判别器学习区分真实和生成的图像， 能够在没有标签的情况下学得具体的结构。通过从少量的标记数据中进行额外的增强，半监督模型可以在最少的监督数据量下获得最佳性能。    GAN也涉及了其他的混合学习的领域——自监督学习，

分享深度学习发展的学习范式——混合学习

为生成的图像，而且输出样本的类别（多输出学习）。这是基于这样的一个想法，通过判别器学习区分真实和生成的图像， 能够在没有标签的情况下学得具体的结构。通过从少量的标记数据中进行额外的增强，半监督模型可以在最少的监督数据量下获得最佳性能。    GAN也涉及了其他的混合学习的领域——自监督学习，

AI、机器学习、深度学习的关系

深度学习介绍

学习目标 目标 知道深度学习与机器学习的区别了解神经网络的结构组成知道深度学习效果特点 应用 无 1.1.1 区别   1.1.1.1 特征提取方面 机器学习的特征工程步骤是要靠手动完成的，而且需要大量领域专业知识深度学习通常由多个层

深度学习的现实应用

种语言的即时翻译，速度之快宛如魔法。谷歌翻译的背后，就是机器学习。此时，你可能会想，谷歌翻译已经经历了很长的时间，那么现在有些什么新意呢？实际上，在过去的两年时间里，谷歌已经完全将深度学习嵌入进了谷歌翻译中。事实上，这些对语言翻译知之甚少的深度学习研究人员正提出相对简单的机器学习

深度学习之噪声

Dropout的另一个重要方面是噪声是乘性的。如果是固定规模的加性噪声，那么加了噪声 ϵ 的整流线性隐藏单元可以简单地学会使 hi 变得很大（使增加的噪声 ϵ 变得不显著）。乘性噪声不允许这样病态地解决噪声鲁棒性问题。另一种深度学习算法——批标准化，在训练时向隐藏单元引入加性和乘

深度学习的模型介绍

深度神经网络：深度学习的模型有很多，目前开发者最常用的深度学习模型与架构包括卷积神经网络 (CNN)、深度置信网络 (DBN)、受限玻尔兹曼机 (RBM)、递归神经网络 (RNN & LSTM & GRU)、递归张量神经网络 (RNTN)、自动编码器 (AutoEncoder)、生成对抗网络

深度学习的特点

深度学习区别于传统的浅层学习，深度学习的不同在于： (1)强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；(2)明确了特征学习的重要性。也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更容易。与人工规则构造特征的方法相比，