深度学习的学习路线

经网络的基本结构和原理对于深度学习的学习非常重要。 推荐教程： 《神经网络与深度学习》（Neural Networks and Deep Learning）（英）Michael Nielsen 著 三、进阶学习 1.深度学习模型 深度学习模型是深度学习中的核心，包括卷积神经网络、

深度学习之噪声

ϵ 的整流线性隐藏单元可以简单地学会使 hi 变得很大（使增加的噪声 ϵ 变得不显著）。乘性噪声不允许这样病态地解决噪声鲁棒性问题。另一种深度学习算法——批标准化，在训练时向隐藏单元引入加性和乘性噪声重新参数化模型。批标准化的主要目的是改善优化，但噪声具有正则化的效果，有时没必要再使用Dropout。

《深度学习与图像识别：原理与实践》—2.3.3　获取Numpy属性

2.3.3　获取Numpy属性首先，我们通过Numpy中的一个方法arange(n)，生成0到n-1的数组。比如，我们输入np.arange(15)，可以看到返回的结果是array([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 1

《深度学习应用开发》学习笔记－07

还有一个是vggnet，他的问题是参数太大。深度学习的问题：1面向任务单一，依赖于大规模有标签数据，几乎是个黑箱模型。现在人工智能基本由深度学习代表了，但人工智能还有更多。。。然后就开始讲深度学习的开发框架。先整了了Theano，开始于2007年的加拿大的蒙特利尔大学。随着ten

《深度学习与图像识别：原理与实践》—3.4　模型参数调优

4　模型参数调优机器学习方法（深度学习是机器学习中的一种）往往涉及很多参数甚至超参数，因此实践过程中需要对这些参数进行适当地选择和调整。本节将以KNN为例介绍模型参数调整的一些方法。这里的方法不局限于图像识别，属于机器学习通用的方法。本节的知识既可以完善读者的机器学习知识体系，也可以

深度学习库 JAX

    JAX是一个似乎同时具备Pytorch和Tensorflow优势的深度学习框架。 JAX 是 Google Research 开发的机器学习库，被称为“在 GPU/TPU上运行的具有自动微分功能的Numpy”，该库的核心是类似 Numpy 的向量和矩阵运算。我个人认为，与

深度学习数据收集

深度学习需要大量的数据集，但是现实是只有零星的数据，大家有什么收集数据的经验和经历，还有什么收集数据的好办法

《深度学习应用开发》学习笔记－03

有监督学习，无监督学习，半监督学习，强化学习。强化学习说的非常厉害，适用于下棋和游戏这一类领域，基本逻辑是正确就奖励，错误就惩罚来做一个学习。那么无监督学习的典型应用模式是什么呢？说出来之后你就会觉得无监督学习没有那么神秘了，那就是聚类。一个比较典型的例子就是超市里货架商品摆放，

深度学习之构建机器学习算法

这就要求我们选择一个迭代数值优化过程，如梯度下降等。组合模型，损失函数和优化算法来构建学习算法的配方同时适用于监督学习和无监督学习。线性回归实例说明了如何适用于监督学习的。无监督学习时，我们需要定义一个只包含 X 的数据集，一个合适的无监督损失函数和一个模型。例如，通过指定如下

深度学习之构建机器学习算法

闭解。这就要求我们选择一个迭代数值优化过程，如梯度下降等。组合模型，损失函数和优化算法来构建学习算法的配方同时适用于监督学习和无监督学习。线性回归实例说明了如何适用于监督学习的。无监督学习时，我们需要定义一个只包含 X 的数据集，一个合适的无监督损失函数和一个模型。例如，通过指定

《深度学习应用开发》学习笔记－11

太快步子大了容易扯着蛋，也没有必要。这里的用学习率/步长来描述这个节奏，如果梯度是2.5，学习率是0.01，那下一个尝试的点是距离前一个点2.5*0.01=0.0025的位置。（梯度是固定的，还是每走一步都会变的呢？）个人认为好的学习率，不应该是一个固定值，而应该是先大后小。也就

基于深度学习的声纹识别介绍：以ECAPA-TDNN 为例

《深度学习与图像识别：原理与实践》—2.3.11　Numpy数组比较

2.3.11　Numpy数组比较Numpy有一个强大的功能是数组或矩阵的比较，数据比较之后会产生boolean值。示例代码如下：import numpy as npmatrix = np.array([ [5, 10, 15],[20, 25, 30],[35, 40, 45]])m

《深度学习与图像识别：原理与实践》—2.3.4　Numpy数组索引

2.3.4　Numpy数组索引Numpy支持类似list的定位操作，示例代码如下：import numpy as npmatrix = np.array([[1,2,3],[20,30,40]])print(matrix[0,1])得到的结果是2。上述代码中的matrix[0,1

《深度学习应用开发》学习笔记－10

征,?}，用于对新数据做出预测模型可将样本映射到预测标签，由模型的内部参数定义，内部参数通过学习得到具体到这里，参数就是 y=wx+b里的w和b，也叫权重和偏差？在监督式学习中，机器学习算法通过以下方式构建模型：检查多个样本并尝试找出可最大限度的减少损失的模型。这一过程称为经验风

深度学习典型模型

Cun等人在该思想的基础上，用误差梯度设计并训练卷积神经网络，在一些模式识别任务上得到优越的性能。至今，基于卷积神经网络的模式识别系统是最好的实现系统之一，尤其在手写体字符识别任务上表现出非凡的性能。 深度信任网络模型 DBN可以解释为贝叶斯概率生成模型，由多层随机隐变量组成，上

深度学习之动量

虽然随机梯度下降仍然是非常受欢迎的优化方法，但其学习过程有时会很慢。动量方法 (Polyak, 1964) 旨在加速学习，特别是处理高曲率、小但一致的梯度，或是带噪声的梯度。动量算法积累了之前梯度指数级衰减的移动平均，并且继续沿该方向移动。动量的效果。动量的主要目的是解决两个问题：Hessian

深度学习之基于梯度的学习

复杂一些，但仍然可以很高效而精确地实现。会介绍如何用反向传播算法以及它的现代扩展算法来求得梯度。       和其他的机器学习模型一样，为了使用基于梯度的学习方法我们必须选择一个代价函数，并且我们必须选择如何表示模型的输出。现在，我们重温这些设计上的考虑，并且特别强调神经网络的情景。

啥是AI、机器学习与深度学习？

也造就了深度学习的蓬勃发展，“深度学习”才一下子火热起来。击败李世石的Alpha go即是深度学习的一个很好的示例。Google的TensorFlow是开源深度学习系统一个比较好的实现，支持CNN、RNN和LSTM算法，是目前在图像识别、自然语言处理方面最流行的深度神经网络模型

《深度学习应用开发》学习笔记－12

数据不是收集的，是自己生成的，好吧~一个简单的例子学习用的没关系%matplotlib inline这个是为了让在jupyter在浏览器里能够显示图像。生成y=2x+1的随机数据，数据加背景噪声限值0.4生成等差数列,100个x_data=np.linspace(-1,1,100)y_data=2*x_data+1