《深度学习应用开发》学习笔记-30

规模：训练集55000，验证集5000，测试集10000。大小约10M。 数据集可以在网站上去下载，同时tf自己里面已经集成了这个数据集。 在notebook里试试： ```python %matplotlib inline import tensorflow.compat.v1 as

《深度学习应用开发》学习笔记-24

上一节训练不出结果，都是nan的原因找到了，就是因为特征数据没有做归一化，那归一化是个什么概念呢？这里有一个很好的例子，做一道菜，准备好材料鸭、笋、....盐、酱油...水，再加上烹饪火候，可以做出一道菜。上面做菜的每一个要素，都可以看做一个特征变量，而重量可以看做是特征变量的值，比如鸭肉xxg

《深度学习应用开发》学习笔记－04

在1904年的时候，生物学家了解了神经元的结构然后在1945年的时候发明了神经元模型。那么这个神经元的模型真的可以模拟生物的神经功能吗，个人觉得有点奇妙，不过动物植物本来都是很奇妙的存在。所谓的全连接层，就是说某层的一个节点，和他上一层的所有节点都有连接。就像连接的边长不同，每条

【转载】传统机器学习与深度学习

《深度学习应用开发》学习笔记-27

用matplot将列表值画出来，调用非常简单 plt.plot(loss_list) 横坐标是列表中的索引，纵坐标是列表值，也就是loss值。 可以看到，曲线在收敛了，还有下降空间，但是空间越来越小，抠一点出来也越来越难， 所以我就适可而止，跑10轮就不跑了。 代码如下： ```python plt

《深度学习应用开发》学习笔记-32

constant([3,9,22,60,8,9]) print(tf.argmax(A).numpy()) #二维数组 axis轴为0时，在每列中取值最大者，结果长度为列数。 B=tf.constant([[3,20,33,99,11], [2,99,33,12,3], [14,90

《智能系统与技术丛书 深度学习实践：基于Caffe的解析》—1深度学习简介

2013年之后，深度学习大规模发展，各个企业开始使用深度学习解决各种各样的任务，尤其是在人脸识别领域，深度学习让之前不可用的人脸识别变得可以应用于商业产品了。 2015年，Hinton、LeCun、Bengio论证了局部极值问题对于深度学习技术的影响，结果是Loss的局部极值问题对于深层网络来说其影响是可以忽略

《深度学习应用开发》学习笔记-25

5935032] [ -3.555479 ] [ -5.6394696] [-15.602908 ]] 跑了5轮，训练结果里不会再有nan了。 损失还是在慢慢下降中，所以还是有继续跑以减少损失的空间。

《深度学习应用开发》学习笔记－14

plt.plot(x_data,w0temp*x_data+b0temp)然后打印参数结果：print("w:"sess.run(w))还有b在把结果可视化plt.scatter(x_data,y_data,label='Original data')plt.plot(x_data,x_data*sess

《深度学习应用开发》学习笔记－08

环境然后是第三讲python的基础，这一讲可以先跳过。第四讲的开头插入了一个课程导学，说明tensorflow2.0在2019年已经推出了.虽然2.0和1.x，在本质上没有差别，但运行模式差异巨大，一个是eager execution动态图执行机制，一个是graph execut

《深度学习应用开发》学习笔记-29

square(err) return tf.reduce_mean(squared_err) def grad(x,y,w,b): #计算样本数据[x,y]在参数[w,b]点上的梯度 with tf.GradientTape() as tape: loss_=loss(x,y,w,b) return

适合新手的深度学习综述（1）

引言 「深度学习」（DL）一词最初在 1986 被引入机器学习（ML），后来在 2000 年时被用于人工神经网络（ANN）。深度学习方法由多个层组成，以学习具有多个抽象层次的数据特征。DL 方法允许计算机通过相对简单的概念来学习复杂的概念。对于人工神经网络（ANN），深度学习（DL

深度学习中的Normalization模型

法有效应用BN等。针对BN的问题，最近两年又陆续有基于BN思想的很多改进Normalization模型被提出。BN是深度学习进展中里程碑式的工作之一，无论是希望深入了解深度学习，还是在实践中解决实际问题，BN及一系列改进Normalization工作都是绕不开的重要环节。

PyTorch深度学习技术生态

runtimeONNX Runtime是一种跨平台深度学习训练和推理机加速器，与深度学习框架，可以兼容TensorFlow、Keras和PyTorch等多种深度学习框架。ONNX (Open Neural Network Exchange) 是一种用于表示深度学习模型的开放格式，ONNX定义了一组

深度学习之权重比例推断规则

inference rule）。目前还没有在深度非线性网络上对这种近似推断规则的准确性作任何理论分析，但经验上表现得很好。然后像平常一样使用模型。实现相同结果的另一种方法是在训练期间将单元的状态乘 2。无论哪种方式，我们的目标是确保在测试时一个单元的期望总输入与在训练时该单元的期望总输入是大致相同的（即使近半单位在训练时丢失）。

深度学习之梯度消失和爆炸

度来讲，不同的层学习的速度差异很大，表现为网络中靠近输出的层学习的情况很好，靠近输入的层学习的很慢，有时甚至训练了很久，前几层的权值和刚开始随机初始化的值差不多。因此，梯度消失、爆炸，其根本原因在于反向传播训练法则，本质在于方法问题，另外多说一句，对于人来说，在大脑的思考机制里是

【开源模型学习】AlexNet深度学习模型总结

小心谨慎地重复训练，选取出合适的a，LReLU的表现出的结果才比ReLU好。因此有人提出了一种自适应地从数据中学习参数的PReLU。PReLU是LeakyRelu的改进，可以自适应地从数据中学习参数。PReLU具有收敛速度快、错误率低的特点。PReLU可以用于反向传播的训练，可以与其他层同时优化。2

深度学习的模型介绍

深度神经网络：深度学习的模型有很多，目前开发者最常用的深度学习模型与架构包括卷积神经网络 (CNN)、深度置信网络 (DBN)、受限玻尔兹曼机 (RBM)、递归神经网络 (RNN & LSTM & GRU)、递归张量神经网络 (RNTN)、自动编码器 (AutoEncoder)、生成对抗网络

深度学习的特点

深度学习区别于传统的浅层学习，深度学习的不同在于： (1)强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；(2)明确了特征学习的重要性。也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更容易。与人工规则构造特征的方法相比，

机器学习和深度学习的区别是什么？

深度学习是机器学习算法的子类，其特殊性是有更高的复杂度。因此，深度学习属于机器学习，但它们绝对不是相反的概念。我们将浅层学习称为不是深层的那些机器学习技术。让我们开始将它们放到我们的世界中：这种高度复杂性基于什么？在实践中，深度学习由神经网络中的多个隐藏层组成。我们在《从神经元到