检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
没有免费午餐定理暗示我们必须在特定任务上设计性能良好的机器学习算法。我们建立一组学习算法的偏好来达到这个要求。当这些偏好和我们希望算法解决的学习问题相吻合时，性能会更好。 至此，我们具体讨论修改学习算法的方法只有，通过增加或减少学习算法可选假设空间的函数来增加或减少模型的容量
深度神经网络设计中的一个重要方面是代价函数的选择。幸运的是，神经网络的代价函数或多或少是和其他的参数模型例如线性模型的代价函数相同的。 在大多数情况下，我们的参数模型定义了一个分布 p(y | x; θ) 并且我们简单地使用最大似然原理。这意味着我们使用训练数据和模型预测间的交叉熵作为代价函数
maxout 单元maxout 单元（maxout unit）(Goodfellow et al., 2013a) 进一步扩展了整流线性单元。maxout 单元将 z 划分为每组具有 k 个值的组，而不是使用作用于每个元素的函数 g(z)。每个maxout 单元则输出每组中的最大元素
这种方法由Lasserre et al. (2006) 提出，正则化一个模型（监督模式下训练的分类器）的参数，使其接近另一个无监督模式下训练的模型（捕捉观察到的输入数据的分布）的参数。这种构造架构使得许多分类模型中的参数能与之对应的无监督模型的参数匹配。参数范数惩罚是正则化参数使其彼此接近的一种方式
常见的模型压缩方法有以下几种： 模型蒸馏 Distillation，使用大模型的学到的知识训练小模型，从而让小模型具有大模型的泛化能力 量化 Quantization，降低大模型的精度，减小模型 剪枝 Pruning，去掉模型中作用比较小的连接 参数共享，共享网络中部分参数
下面是一个简单的例子来介绍线性回归模型。 数据是在多个市场的3个不同渠道的广告投入以及商品销量。 这个模型的意义也就很明白了，那就是找出在这3个不同渠道广告投入与最终的商品销量之间的关系。 先把数据可视化： ```python %config InlineBackend.figure_format
接下来是概率论的一些基本的概念。 `随机变量`就是一个取值不确定的变量。 这个在工作生活中应用的实在是太广泛了。比如老板问你这件事情明天能不能搞完？一般情况下，你的回答可能就是一个随机变量。 随机变量可以分为两种类型：连续型和离散型。 `随机变量的分布`用来描述随机变量出现某种结果的可能性
在许多情况下，神经网络在独立同分布的测试集上进行评估已经达到了人类表现。因此，我们自然要怀疑这些模型在这些任务上是否获得了真正的人类层次的理解。为了探索网络对底层任务的理解层次，我们可以探索这个模型错误分类的例子。 Szegedy et al. (2014b) 发现，在精度达到人类水平的神经网络上通过优化过程故意构造数据点
第一个支持流形假设 (manifold hypothesis) 的观察是现实生活中的图像，文本，声音的概率分布都是高度集中的。均匀的噪扰从来没有和这类领域的结构化输入相似过。显示均匀采样的点看上去像是没有信号时模拟电视上的静态模式。同样，如果我们均匀地随机抽取字母来生成文件，能有多大的概率得到一个有意义的英语文档
如果没有激活函数，神经网络会变成什么呢？ 答案是如果没有激活函数，那么无论神经网络的结构有多复杂，它都将退化为一个线性模型。现实的回归问题或者分类问题的决策边界通常都是复杂且非线性的。这要求模型具有产生复杂的非线性决策边界的能力，在这一点上激活函数在神经网络中扮演了非常重要的角色，
在实际中训练误差常常偏小, 不是模型真实误差的好的估计值。这是因为如果考试题目是我们做过的作业题，那么我们更容易得高分。所以我们要有一些测试数据是不要参加模型训练的，需要搁置在一旁，直到模型完全建立好，再用来计算模型的测试误差。模型的预测效果较差，经常是由于两类问题导致的。那就是
接着看梯度下降，用循环来实现。 ```python #循环迭代20次 x,y=0.5,0.8 w=0;lr=0.5 #lr学习率=0.5 w_record=[] loss_record=[] for iter in range(20): pred=x*w loss=((pred-y
这种方法由Lasserre et al. (2006) 提出，正则化一个模型（监督模式下训练的分类器）的参数，使其接近另一个无监督模式下训练的模型（捕捉观察到的输入数据的分布）的参数。这种构造架构使得许多分类模型中的参数能与之对应的无监督模型的参数匹配。参数范数惩罚是正则化参数使其彼此接近的一种方式
机器学习可以让我们解决一些人为设计和实现固定程序很难解决的问题。从科学和哲学的角度来看，机器学习受到关注是因为提高我们对机器学习的认识需要提高我们对智能背后原理的理解。 如果考虑 “任务”比较正式的定义，那么学习的过程并不是任务。 在相对正式的
权重比例推断规则在其他设定下也是精确的，包括条件正态输出的回归网络以及那些隐藏层不包含非线性的深度网络。然而，权重比例推断规则对具有非线性的深度模型仅仅是一个近似。虽然这个近似尚未有理论上的分析，但在实践中往往效果很好。Goodfellow et al. (2013b) 实验发现，
流形 (manifold) 指连接在一起的区域。数学上，它是指一组点，且每个点都有其邻域。给定一个任意的点，其流形局部看起来像是欧几里得空间。日常生活中，我们将地球视为二维平面，但实际上它是三维空间中的球状流形。 每个点周围邻域的定义暗示着存在变换能够从一个位置移动到其邻域位置
流形 (manifold) 指连接在一起的区域。数学上，它是指一组点，且每个点都有其邻域。给定一个任意的点，其流形局部看起来像是欧几里得空间。日常生活中，我们将地球视为二维平面，但实际上它是三维空间中的球状流形。每个点周围邻域的定义暗示着存在变换能够从一个位置移动到其邻域位置。例如在地球表面这个流形中
该模型通常可以分为两类相关的参数：多任务学习在深度学习框架中可以以多种方式进行，该图说明了任务共享相同输入但涉及不同目标随机变量的常见情况。
本教程的知识点为：深度学习介绍 1.1 深度学习与机器学习的区别 TensorFlow介绍 2.4 张量 2.4.1 张量(Tensor) 2.4.1.1 张量的类型 TensorFlow介绍 1.2 神经网络基础 1.2.1 Logistic回归 1.2.1.1 Logistic
那个教授便是杰弗里·辛顿，他们使用的技术叫做深度学习。自20世纪80年代以来，辛顿一直致力于深度学习的研究工作，由于缺乏数据和计算能力，其有效性受到了限制，一直到2012年才取得成果。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
