PyTorch深度学习实战 | 深度学习框架（PyTorch）

实地执行，所以当用户的代码出现缺陷（bug）的时候，可以通过这些信息轻松快捷地找到出错的代码，不会让用户在调试（Debug）的时候因为错误的指向或者异步和不透明的引擎浪费太多的时间。 PyTorch的代码相对于TensorFlow而言，更加简洁直观，同时对于TensorFlow高

深度学习之噪声

Dropout的另一个重要方面是噪声是乘性的。如果是固定规模的加性噪声，那么加了噪声 ϵ 的整流线性隐藏单元可以简单地学会使 hi 变得很大（使增加的噪声 ϵ 变得不显著）。乘性噪声不允许这样病态地解决噪声鲁棒性问题。另一种深度学习算法——批标准化，在训练时向隐藏单元引入加性和乘性噪声

深度学习模型结构

对信息的处理是分级的。从低级的提取边缘特征到形状（或者目标等），再到更高层的目标、目标的行为等，即底层特征组合成了高层特征，由低到高的特征表示越来越抽象。深度学习借鉴的这个过程就是建模的过程。 深度神经网络可以分为3类，前馈深度网络(feed-forwarddeep networks

JS基础知识学习--JS知识体系

β的深度学习笔记（二）机器学习和神经网络

”的特征，第二个隐藏层学习到的是由“边缘”组成的“形状”的特征，第三个隐藏层学习到的是由“形状”组成的“图案”的特征，最后的隐藏层学习到的是由“图案”组成的“目标”的特征。通过抽取更抽象的特征来对事物进行区分，从而获得更好的区分与分类能力。 所以是一层一层进行不断递进，不断优化。

适合新手的深度学习综述（1）

层次的非线性信息处理和抽象，用于有监督或无监督的特征学习、表示、分类和模式识别。深度学习即表征学习是机器学习的一个分支或子领域，大多数人认为近代深度学习方法是从 2006 开始发展起来的。本文是关于最新的深度学习技术的综述，主要推荐给即将涉足该领域的研究者。本文包括 DL 的基本

深度学习VGG网络

VGG原理VGG16相比AlexNet的一个改进是采用连续的几个3x3的卷积核代替AlexNet中的较大卷积核（11x11，7x7，5x5）。对于给定的感受野（与输出有关的输入图片的局部大小），采用堆积的小卷积核是优于采用大的卷积核，因为多层非线性层可以增加网络深度来保证学习更复杂的模式，而且代价还比

《深度学习应用开发》学习笔记－12

数据不是收集的，是自己生成的，好吧~一个简单的例子学习用的没关系%matplotlib inline这个是为了让在jupyter在浏览器里能够显示图像。生成y=2x+1的随机数据，数据加背景噪声限值0.4生成等差数列,100个x_data=np.linspace(-1,1,100)y_data=2*x_data+1

深度学习之过拟合

然而，经验风险最小化很容易导致过拟合。高容量的模型会简单地记住训练集。在很多情况下，经验风险最小化并非真的可行。最有效的现代优化算法是基于梯度下降的，但是很多有用的损失函数，如 0 − 1 损失，没有有效的导数（导数要么为零，要么处处未定义）。这两个问题说明，在深度学习中我们很少使用经验风险最小化

学习Node的基础知识-总结

在这之前我们已经学习了 Node 的安装环境和配置，对其已经有了一定的了解和认识，这次我们主要来学习一下它的基础知识和常用函数、模块等内容。作为一个前端开发的我们，增加 Node 这方面的学习对我们是有很大帮助，自己也可以做一些小的服务端应用开发，写API接口，文件上传服务等。 NPM使用

深度学习之正切传播

1992)训练带有额外惩罚的神经网络分类器，使神经网络的每个输出 f(x) 对已知的变化因素是局部不变的。这些变化因素对应于沿着的相同样本聚集的流形的移动。这里实现局部不变性的方法是要求 ∇xf(x) 与已知流形的切向 v(i) 正交，这个正则化项当然可以通过适当的超参数缩放，并且对于大多数神经网络，我们需要对许多输出求和

机器学习、数据科学、人工智能、深度学习和统计学之间的区别

方法之间的结合。这些都是数据科学的分支。当这些算法被用于自动化的时候，就像在自动飞行或无人驾驶汽车中，它被称为人工智能，更具体的细说，就是深度学习。如果数据收集自传感器，通过互联网进行传输，那就是机器学习或数据科学或深度学习应用到了 IoT 上。有些人对深度学习有不同的定义。他们

深度学习随机取样、学习率

得到更好的性能。学习率，即参数到达最优值过程的速度快慢，当你学习率过大，即下降的快，很容易在某一步跨过最优值，当你学习率过小时，长时间无法收敛。因此，学习率直接决定着学习算法的性能表现。可以根据数据集的大小来选择合适的学习率，当使用平方误差和作为成本函数时，随着数据量的增多，学

深度学习随机取样、学习率

得到更好的性能。学习率，即参数到达最优值过程的速度快慢，当你学习率过大，即下降的快，很容易在某一步跨过最优值，当你学习率过小时，长时间无法收敛。因此，学习率直接决定着学习算法的性能表现。可以根据数据集的大小来选择合适的学习率，当使用平方误差和作为成本函数时，随着数据量的增多，学

深度学习模型结构

对信息的处理是分级的。从低级的提取边缘特征到形状（或者目标等），再到更高层的目标、目标的行为等，即底层特征组合成了高层特征，由低到高的特征表示越来越抽象。深度学习借鉴的这个过程就是建模的过程。 深度神经网络可以分为3类：1.前馈深度网络(feed-forwarddeep networks

《深度学习应用开发》学习笔记－02

看看，是和图灵相关的三次浪潮就是三个时代，三盘棋。分别是1962年的国际跳棋，1997年的国际象棋，以及2016年的围棋。从这个难易程度也可以看出，围棋是最强调系统性思维的，所以 AI想要战胜人类也是最难的。第一讲到这里就结束了，第二讲看了一点，其中关于人工智能机器学习概念，除了

《深度学习应用开发》学习笔记－13

先定义训练数据的占位符，定义了2个，1个是特征值x，1个是标签值y然后定义模型函数，这个函数有3个参数，1个就是上面说的x，还有2个是参数，分别是w和b，就是2个参数斜率和位移而上面的2个参数，要用tf.Variable来声明来创建变量，它是会变的，在训练中学习到的，所以给它的初值是多

【云驻共创】机器学习、深度学习和强化学习的关系和区别是什么

对动作的奖励（反馈）获得学习信息并更新模型参数。 强化学习是另外一种重要的机器学习方法，强调如何基于环境而行动，以取得最大化的预期利益。强化学习和深度学习的主要区别在于：1、相比深度学习，强化学习的训练不需要标签，它通过环境给出的奖惩来学习。2、深度学习的学习过程是静态的，强化学

深度学习库 JAX

JAX是一个似乎同时具备Pytorch和Tensorflow优势的深度学习框架。 JAX 是 Google Research 开发的机器学习库，被称为“在 GPU/TPU上运行的具有自动微分功能的Numpy”，该库的核心是类似 Numpy 的向量和矩阵运算。我个人认为，与Numpy和PyTorch/T

深度学习数据收集

深度学习需要大量的数据集，但是现实是只有零星的数据，大家有什么收集数据的经验和经历，还有什么收集数据的好办法