检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Goodfellow et al. (2014b) 表明，这些对抗样本的主要原因之一是过度线性。神经网络主要是基于线性块构建的。因此在一些实验中，它们实现的整体函数被证明是高度线性的。这些线性函数很容易优化。不幸的是，如果一个线性函数具有许多输入，那么它的值可以非常迅速地改变。如果我们用
参数添加约束或惩罚时，一直是相对于固定的区域或点。例如，L2正则化（或权重衰减）对参数偏离零的固定值进行惩罚。然而，有时我们可能需要其他的方式来表达我们对模型参数适当值的先验知识。有时候，我们可能无法准确地知道应该使用什么样的参数，但我们根据领域和模型结构方面的知识得知模型参数之间应该存在一些相关性
解决欠拟合问题的方法比较简单，增加模型复杂度就可以了。常见的方法是增加隐藏层的数量或者增加隐藏层的节点数，或者二者同时增加。如果训练误差持续下降，接近于0。而测试误差在下降后变得平稳，甚至略有上升。训练误差和测试误差的差距较大。这就是典型的过拟合情况。在建立神经网络模型的初始阶段，
当计算图变得极深时，神经网络优化算法会面临的另外一个难题就是长期依赖问题——由于变深的结构使模型丧失了学习到先前信息的能力，让优化变得极其困难。深层的计算图不仅存在于前馈网络，还存在于之后介绍的循环网络中（在第十章中描述）。因为循环网络要在很长时间序列的各个时刻重复应用相同操作来构建非常深的计算图
```python #定义sigmoid函数 def sigmoid(input): return 1.0/(1+np.exp(-input)) #通过随机梯度下降法估计参数 def logit_model(x,y,w,b,lr=0.1): for iter in range(60
促使我们从小数目样本中获得梯度的统计估计的动机是训练集的冗余。在最坏的情况下，训练集中所有的 m 个样本都是彼此相同的拷贝。基于采样的梯度估计可以使用单个样本计算出正确的梯度，而比原来的做法少花了 m 倍时间。实践中，我们不太可能真的遇到这种最坏情况，但我们可能会发现大量样本都对梯度做出了非常相似的贡献
人们相信，通过独特的信息组合或输入（包括静态和动态），深度学习可以比单一模式更深入地理解和表现。迁移学习是组件学习的一个非常明显的例子。基于这一思想，对类似问题预先训练的模型权重可用于对特定问题进行微调。
第1章讨论深度学习与机器学习的关系、深度学习与统计学的关系、深度学习框架、深度学习中涉及的优化方法以及对深度学习的展望五个方面的内容，从理论上对深度学习进行全面深刻的剖析，旨在为后续学习提供理论铺垫与指导。
所以深度学习的良好效果在很大程度上归功于第一步的特征学习的过程。
1.5 本章小结数据的爆发和计算力的提升极大地推动了人工智能的发展，其中以深度学习为代表的算法在大多数领域都超越了传统算法，成为学术界和工业界持续研究和关注的对象。深度学习的热潮带来了深度学习框架的不断发展和进步，通过这些框架，我们可以更加灵活且高效地设计网络结构和训练模型。
FCN的基本概念：FCN是应用在图像分割的代表作, 是一种端到端(end to end)的图像分割方法, 让网络做像素级别的预测直接得出label map。因为FCN网络中所有的层都是卷积层，故称为全卷积网络。第一个图是原图第二个图识别出人第三个图在识别人的基础上，分别出人是谁。FCN
而深度学习往往是基于大数据通过多层网络实现机器自动识别的有效的特征，一般数据越多其效果相对就会越好，在没有大数据的情况下，深度学习的效果将会显著下降。深度学习近年来取得了举世瞩目的成就，被广泛应用在许多领域，例如内容搜索、语音识别、图像识别等。
1.3 关于MXNet在众多主流的深度学习框架中，很难说哪一个在各方面都占有绝对优势，但是假如你选择MXNet进行深度学习算法的开发和部署，相信你一定能体会到其运行速度快、省显存等优点。
那么在搭建或者训练一个深度学习算法时，这三者到底扮演了一个什么样的角色呢？
流形 (manifold) 指连接在一起的区域。数学上，它是指一组点，且每个点都有其邻域。给定一个任意的点，其流形局部看起来像是欧几里得空间。日常生活中，我们将地球视为二维平面，但实际上它是三维空间中的球状流形。 每个点周围邻域的定义暗示着存在变换能够从一个位置移动到其邻域位置
通过本书的指引，你将会通过实例由浅入深逐步上手，直到最终掌握深度学习的相关知识。下面就来说下如何通过本书来学习深度学习。1.5.1 深度学习怎么学 这个问题完全是主观回答，因为不同的人有不同的领悟。所以笔者也只能聊聊自己对学习深度学习方法的理解。
1.4 其他深度学习框架特点及介绍 下面再来了解一下深度学习领域中的其他常见框架。* Theano：是一个十余年的Python深度学习和机器学习框架，用来定义、优化和模拟数学表达式计算，用于高效地解决多维数组的计算问题，有较好的扩展性。
而深度学习往往是基于大数据通过多层网络实现机器自动识别的有效的特征，一般数据越多其效果相对就会越好，在没有大数据的情况下，深度学习的效果将会显著下降。深度学习近年来取得了举世瞩目的成就，被广泛应用在许多领域，例如内容搜索、语音识别、图像识别等。
机器学习算法和一般优化算法不同的一点是，机器学习算法的目标函数通常可以分解为训练样本上的求和。机器学习中的优化算法在计算参数的每一次更新时通常仅使用整个代价函数中一部分项来估计代价函数的期望值。另一个促使我们从小数目样本中获得梯度的统计估计的动机是训练集的冗余。在最坏的情况下，训练集中所有的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
