深度学习之多任务学习

多任务学习 (Caruana, 1993) 是通过合并几个任务中的样例（可以视为对参数施加的软约束）来提高泛化的一种方式。额外的训练样本以同样的方式将模型的参数推向泛化更好的方向，当模型的一部分在任务之间共享时，模型的这一部分更多地被约束为良好的值（假设共享是合理的），往往能更好

部署深度学习模型

虽然modelarts能够帮助我们在线上完成深度学习的模型，但是训练好的深度学习模型是怎么部署的

深度学习初体验

通过对课程的学习，从对EI的初体验到对深度学习的基本理解，收获了很多，做出如下总结：深度学习是用于建立、模拟人脑进行分析学习的神经网络，并模仿人脑的机制来解释数据的一种机器学习技术。它的基本特点是试图模仿大脑的神经元之间传递，处理信息的模式。最显著的应用是计算机视觉和自然语言处理

深度学习之基于梯度的学习

我们到目前为止看到的线性模型和神经网络的最大区别，在于神经网络的非线性导致大多数我们感兴趣的损失函数都成为了非凸的。这意味着神经网络的训练通常使用的迭代的、基于梯度的优化，仅仅使得代价函数达到一个非常小的值；而不是像用于训练线性回归模型的线性方程求解器，或者用于训练逻辑回归或SVM的凸优化算

深度学习在环保

味着能源消耗正在随之增加。" 一次深度学习训练 =126 个丹麦家庭的年度能源消耗 深度学习训练是数学模型识别大型数据集中的模式的过程。这是一个能源密集型的过程，需要电力密集型专用硬件，每天 24 小时连续运行。

什么是AI、机器学习与深度学习？

上，提出“深度学习”概念的Hinton教授加入了google，而Alpha go也是google家的。在一个新兴的行业，领军人才是多么的重要啊！ 总结：人工智能是一个很老的概念，机器学习是人工智能的一个子集，深度学习又是机器学习的一个子集。机器学习与深度学习都是需

深度学习模型结构

对信息的处理是分级的。从低级的提取边缘特征到形状（或者目标等），再到更高层的目标、目标的行为等，即底层特征组合成了高层特征，由低到高的特征表示越来越抽象。深度学习借鉴的这个过程就是建模的过程。 深度神经网络可以分为3类：1.前馈深度网络(feed-forwarddeep networks

分享深度学习发展的学习范式——混合学习

为生成的图像，而且输出样本的类别（多输出学习）。这是基于这样的一个想法，通过判别器学习区分真实和生成的图像， 能够在没有标签的情况下学得具体的结构。通过从少量的标记数据中进行额外的增强，半监督模型可以在最少的监督数据量下获得最佳性能。    GAN也涉及了其他的混合学习的领域——自监督学习，

深度学习是表示学习的经典代表（浅谈什么是深度学习）

目录   先来看机器学习： 什么是特征？ 深度学习是表示学习的经典代表： 深度学习的过程： 深度学习与传统机器学习差别： 深度学习代表算法： 先来看机器学习： 机器学习是利用经验experience来改善 计算机系统自身的性能，通过经验获取知识knowledge。

分享深度学习发展的学习范式——混合学习

为生成的图像，而且输出样本的类别（多输出学习）。这是基于这样的一个想法，通过判别器学习区分真实和生成的图像， 能够在没有标签的情况下学得具体的结构。通过从少量的标记数据中进行额外的增强，半监督模型可以在最少的监督数据量下获得最佳性能。    GAN也涉及了其他的混合学习的领域——自监督学习，

分享深度学习算法

种架构的所有方法之间的异同。其分析的角度包括训练的数据集、网络结构的设计、它们在重建性能、训练策略和泛化能力上的效果。对于一些关键的方法，作者还使用了公开数据集和私有数据进行总结和比较，采用私有数据的目的是测试各类方法在全新场景下的泛化性能。这篇论文能够为研究深度立体匹配的研究人

分享深度学习笔记

限速。负责任的简化学习不仅使模型足够轻，可以使用，而且还确保它能够适应数据集中未出现的拐角情况。在深度学习的研究中，简化学习可能是最不受关注的，因为“我们通过一个可行的架构尺寸实现了良好的性能”不如“我们通过一个由成千上万个参数组成的架构实现了最先进的性能”。不可避免地，当高分成

AI、机器学习、深度学习的关系

深度学习之噪声

Dropout的另一个重要方面是噪声是乘性的。如果是固定规模的加性噪声，那么加了噪声 ϵ 的整流线性隐藏单元可以简单地学会使 hi 变得很大（使增加的噪声 ϵ 变得不显著）。乘性噪声不允许这样病态地解决噪声鲁棒性问题。另一种深度学习算法——批标准化，在训练时向隐藏单元引入加性和乘

深度学习模型结构

对信息的处理是分级的。从低级的提取边缘特征到形状（或者目标等），再到更高层的目标、目标的行为等，即底层特征组合成了高层特征，由低到高的特征表示越来越抽象。深度学习借鉴的这个过程就是建模的过程。 深度神经网络可以分为3类，前馈深度网络(feed-forwarddeep networks

深度学习之机器学习的挑战

        机器学习的主要挑战是我们的算法必须能够在先前未观测的新输入上表现良好，而不只是在训练集上效果好。在先前未观测到的输入上表现良好的能力被称为泛化(generalization)。通常情况下，当我们训练机器学习模型时，我们可以访问训练集，在训练集上计算一些度量误差，被称为训练误差(training

深度学习之机器学习的挑战

        机器学习的主要挑战是我们的算法必须能够在先前未观测的新输入上表现良好，而不只是在训练集上效果好。在先前未观测到的输入上表现良好的能力被称为泛化(generalization)。通常情况下，当我们训练机器学习模型时，我们可以访问训练集，在训练集上计算一些度量误差，被称为训练误差(training

深度学习之过拟合

然而，经验风险最小化很容易导致过拟合。高容量的模型会简单地记住训练集。在很多情况下，经验风险最小化并非真的可行。最有效的现代优化算法是基于梯度下降的，但是很多有用的损失函数，如 0 − 1 损失，没有有效的导数（导数要么为零，要么处处未定义）。这两个问题说明，在深度学习中我们很少使用经验风险最小化

深度学习VGG网络

VGG原理VGG16相比AlexNet的一个改进是采用连续的几个3x3的卷积核代替AlexNet中的较大卷积核（11x11，7x7，5x5）。对于给定的感受野（与输出有关的输入图片的局部大小），采用堆积的小卷积核是优于采用大的卷积核，因为多层非线性层可以增加网络深度来保证学习更复杂的模式，而且代价还比

人工智能、机器学习、深度学习的关系

数据的一种机器学习技术。它的基本特点，是试图模仿大脑的神经元之间传递，处理信息的模式。最显著的应用是计算机视觉和自然语言处理(NLP)领域。显然，“深度学习”是与机器学习中的“神经网络”是强相关，“神经网络”也是其主要的算法和手段；或者我们可以将“深度学习”称之为“改良版的神经网