检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
动微分技术实现自动求导，解决这个复杂、关键的过程。深度学习框架的自动微分技术根据实现原理的不同，分为以Google的TensorFlow为代表的图方法，以Facebook的PyTorch为代表的运算符重载，以及以MindSpore为代表的源码转换方法（Source to Source，S2S自动微分技术），如图1
区别最大的部分，可以看作是特征学习过程。具体的，先用无标定数据训练第一层，训练时先学习第一层的参数，这层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层，由于模型容量的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学
是统计学家和机器学习研究者使用很久的数据集。它是150 个鸢尾花卉植物不同部分测量结果的集合。每个单独的植物对应一个样本。每个样本的特征是该植物不同部分的测量结果：萼片长度，萼片宽度，花瓣长度和花瓣宽度。这个数据集记录了每个植物属于什么品种，其**有三个不同的品种。 无监督学习算法(unsupervised
是统计学家和机器学习研究者使用很久的数据集。它是 150 个鸢尾花卉植物不同部分测量结果的集合。每个单独的植物对应一个样本。每个样本的特征是该植物不同部分的测量结果：萼片长度，萼片宽度，花瓣长度和花瓣宽度。这个数据集记录了每个植物属于什么品种，其**有三个不同的品种。无监督学习算法 (unsupervised
最有效的现代优化算法是基于梯度下降的，但是很多有用的损失函数，如 0 − 1 损失，没有有效的导数（导数要么为零，要么处处未定义）。这两个问题说明，在深度学习中我们很少使用经验风险最小化。反之，我们会使用一个稍有不同的方法，我们真正优化的目标会更加不同于我们希望优化的目标。
的著作《行为的组织》中，他提出神经是通过正向强化来学习的，即赫布理论 [2]。赫布理论是感知机学习算法的原型，并成为支撑今日深度学习的随机梯度下降算法的基石：强化合意的行为、惩罚不合意的行为，最终获得优良的神经网络参数。 来源于生物学的灵感是神经网络名字的由来。这类研究者可以追溯
下：深度学习通常被描述为一个实验驱动的领域，并且不断被指责缺乏相应的理论基础。这个问题已被目前大量尚未整理好的文献部分地解决。本文回顾和整理了深度学习理论的最新进展。这些理论文献被分为六类：(1)分析深度学习泛化的复杂性和能力的方法；(2)用于建模随机梯度下降及其变量的随机微分方
png) 这是一个三维的张量，维度是3x4x2。 TensorFlow里的`Tensor`就是张量。 如果把维度对应到现实世界，那么我们所处的物质世界明显是一个三维世界。再加上不断流淌的时间，可以视为四维的。我能够理解到的最大维数就是四维了。在一些学习中，好像可以简单抽象的推到为五维、六维
接下来就是讲线性模型了。线性模型相对比较简单，但是他是学习比较复杂的深度学习模型的一个基础，而且线性模型本身也具有广泛的用途。 这里讲了线性模型中的线性回归模型和logistic模型。线性回归模型用于处理`回归问题`。logistic模型用于处理`分类问题`。 线性回归模型可以写作如下的形式：  或者Bishop (20
我们到目前为止看到的线性模型和神经网络的最大区别，在于神经网络的非线性导致大多数我们感兴趣的损失函数都成为了非凸的。这意味着神经网络的训练通常使用的迭代的、基于梯度的优化，仅仅使得代价函数达到一个非常小的值；而不是像用于训练线性回归模型的线性方程求解器，或者用于训练逻辑回归或SVM的凸优化算
看到自己下载好的应用程序，左上角“Applications on”应该指向的是“base (root)”，左边点击“Environments”就可以看到自己建立的虚拟环境和对应的包了。点击左下角的Create 即可创建一个新的虚拟环境。输入环境名称和python 的版本，点击create
并不一定能带来加速的效果，有时候又是相辅相成的。压缩重点在于减少网络参数量，加速则侧重在降低计算复杂度、提升并行能力等。模型压缩和加速可以从多个角度来优化。总体来看，个人认为主要分为三个层次：1. 算法层压缩加速。这个维度主要在算法应用层，也是大多数算法工程师的工作范畴。主要包括
参数梯度的方法。我早就已经开始看不懂了，这个图还没完。这个正向传播算法和反向传播算法干啥用的呢？我的理解是用来训练神经网络模型的。因为中间加了很多隐藏层，隐藏层也是需要将损失最小化的呀，所以需要引入这两个算法。神经网络的目的是建立输入层与输出层之间的关系，进而利用建立的关系得到预
学习步长$\alpha$是一个很重要的参数。 如果太小，算法会收敛的很慢。 如果太大，容易造成算法不收敛，甚至发散。 自变量的标准化，和因变量的中心化，是建立深度学习模型常用的数据预处理方法。 他们的好处，是不仅可以让梯度下降法的数值表现的更加稳定，还有助于我们找到合适的初始值和步长。 
