PyTorch深度学习实战 | 深度学习框架（PyTorch）

业化的很难看懂的底层代码，PyTorch的源代码就要友好得多，更容易看懂。深入API，理解PyTorch底层肯定是一件令人高兴的事。 3、PyTorch概述 由于在后文中还会详细介绍PyTorch的特点，在此处就不详细介绍了。PyTorch最大的优势是建立的神经网络是动态的，可以

分享深度学习算法

种架构的所有方法之间的异同。其分析的角度包括训练的数据集、网络结构的设计、它们在重建性能、训练策略和泛化能力上的效果。对于一些关键的方法，作者还使用了公开数据集和私有数据进行总结和比较，采用私有数据的目的是测试各类方法在全新场景下的泛化性能。这篇论文能够为研究深度立体匹配的研究人

分享深度学习笔记

限速。负责任的简化学习不仅使模型足够轻，可以使用，而且还确保它能够适应数据集中未出现的拐角情况。在深度学习的研究中，简化学习可能是最不受关注的，因为“我们通过一个可行的架构尺寸实现了良好的性能”不如“我们通过一个由成千上万个参数组成的架构实现了最先进的性能”。不可避免地，当高分成

深度学习之机器学习的挑战

        机器学习的主要挑战是我们的算法必须能够在先前未观测的新输入上表现良好，而不只是在训练集上效果好。在先前未观测到的输入上表现良好的能力被称为泛化(generalization)。通常情况下，当我们训练机器学习模型时，我们可以访问训练集，在训练集上计算一些度量误差，被称为训练误差(training

深度学习之机器学习的挑战

        机器学习的主要挑战是我们的算法必须能够在先前未观测的新输入上表现良好，而不只是在训练集上效果好。在先前未观测到的输入上表现良好的能力被称为泛化(generalization)。通常情况下，当我们训练机器学习模型时，我们可以访问训练集，在训练集上计算一些度量误差，被称为训练误差(training

深度学习模型结构

对信息的处理是分级的。从低级的提取边缘特征到形状（或者目标等），再到更高层的目标、目标的行为等，即底层特征组合成了高层特征，由低到高的特征表示越来越抽象。深度学习借鉴的这个过程就是建模的过程。 深度神经网络可以分为3类，前馈深度网络(feed-forwarddeep networks

部署深度学习模型

虽然modelarts能够帮助我们在线上完成深度学习的模型，但是训练好的深度学习模型是怎么部署的

深度学习之过拟合

然而，经验风险最小化很容易导致过拟合。高容量的模型会简单地记住训练集。在很多情况下，经验风险最小化并非真的可行。最有效的现代优化算法是基于梯度下降的，但是很多有用的损失函数，如 0 − 1 损失，没有有效的导数（导数要么为零，要么处处未定义）。这两个问题说明，在深度学习中我们很少使用经验风险最小化

什么是AI、机器学习与深度学习？

事实上，提出“深度学习”概念的Hinton教授加入了google，而Alpha go也是google家的。在一个新兴的行业，领军人才是多么的重要啊！ 总结：人工智能是一个很老的概念，机器学习是人工智能的一个子集，深度学习又是机器学习的一个子集。机器学习与深度学习都是需要大量数据

人工智能、机器学习、深度学习的关系

数据的一种机器学习技术。它的基本特点，是试图模仿大脑的神经元之间传递，处理信息的模式。最显著的应用是计算机视觉和自然语言处理(NLP)领域。显然，“深度学习”是与机器学习中的“神经网络”是强相关，“神经网络”也是其主要的算法和手段；或者我们可以将“深度学习”称之为“改良版的神经网

深度学习VGG网络

VGG原理VGG16相比AlexNet的一个改进是采用连续的几个3x3的卷积核代替AlexNet中的较大卷积核（11x11，7x7，5x5）。对于给定的感受野（与输出有关的输入图片的局部大小），采用堆积的小卷积核是优于采用大的卷积核，因为多层非线性层可以增加网络深度来保证学习更复杂的模式，而且代价还比

深度学习模型结构

对信息的处理是分级的。从低级的提取边缘特征到形状（或者目标等），再到更高层的目标、目标的行为等，即底层特征组合成了高层特征，由低到高的特征表示越来越抽象。深度学习借鉴的这个过程就是建模的过程。 深度神经网络可以分为3类：1.前馈深度网络(feed-forwarddeep networks

深度学习中的Normalization模型

很快被作为深度学习的标准工具应用在了各种场合。BN**虽然好，但是也存在一些局限和问题，诸如当BatchSize太小时效果不佳、对RNN等**络无法有效应用BN等。针对BN的问题，最近两年又陆续有基于BN思想的很多改进Normalization模型被提出。BN是深度学习进展中里程

分享深度学习发展的学习范式——混合学习

为生成的图像，而且输出样本的类别（多输出学习）。这是基于这样的一个想法，通过判别器学习区分真实和生成的图像， 能够在没有标签的情况下学得具体的结构。通过从少量的标记数据中进行额外的增强，半监督模型可以在最少的监督数据量下获得最佳性能。    GAN也涉及了其他的混合学习的领域——自监督学习，

分享深度学习发展的学习范式——混合学习

为生成的图像，而且输出样本的类别（多输出学习）。这是基于这样的一个想法，通过判别器学习区分真实和生成的图像， 能够在没有标签的情况下学得具体的结构。通过从少量的标记数据中进行额外的增强，半监督模型可以在最少的监督数据量下获得最佳性能。    GAN也涉及了其他的混合学习的领域——自监督学习，

AI、机器学习、深度学习的关系

深度学习随机取样、学习率

得到更好的性能。学习率，即参数到达最优值过程的速度快慢，当你学习率过大，即下降的快，很容易在某一步跨过最优值，当你学习率过小时，长时间无法收敛。因此，学习率直接决定着学习算法的性能表现。可以根据数据集的大小来选择合适的学习率，当使用平方误差和作为成本函数时，随着数据量的增多，学

深度学习随机取样、学习率

得到更好的性能。学习率，即参数到达最优值过程的速度快慢，当你学习率过大，即下降的快，很容易在某一步跨过最优值，当你学习率过小时，长时间无法收敛。因此，学习率直接决定着学习算法的性能表现。可以根据数据集的大小来选择合适的学习率，当使用平方误差和作为成本函数时，随着数据量的增多，学

深度学习之噪声

Dropout的另一个重要方面是噪声是乘性的。如果是固定规模的加性噪声，那么加了噪声 ϵ 的整流线性隐藏单元可以简单地学会使 hi 变得很大（使增加的噪声 ϵ 变得不显著）。乘性噪声不允许这样病态地解决噪声鲁棒性问题。另一种深度学习算法——批标准化，在训练时向隐藏单元引入加性和乘