检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一个经典的无监督学习任务是找到数据的 "最佳" 表示。 "最佳" 可以是不同的表示，但是一般来说，是指该表示在比本身表示的信息更简单或更易访问而受到一些惩罚或限制的情况下，尽可能保存关于 x 更多的信息。 有很多方式定义较简单的表示。最常见的三种包括低维表示，稀疏表示，独立表示。低维表示尝试将
几乎所有的深度学习算法都用到了一个非常重要的算法：随机梯度下降 (stochastic gradient descent, SGD)。随机梯度下降是第4.3节介绍的梯度下降算法的一个扩展。机器学习中的一个循环问题是大的数据集是好的泛化所必要的，但大的训练集的计算代价也更大。机器学
富，越来越多的人开始关注这个“崭新”的研究领域：深度学习。深度学习以神经网络为主要模型，一开始用来解决机器学习中的表示学习问题。但是由于其强大的能力，深度学习越来越多地用来解决一些通用人工智能问题，比如推理、决策等。目前，深度学习技术在学术界和工业界取得了广泛的成功，受到高度重视
取得绝对的最小值（相对所有其他值）的点是全局最小点 (globalminimum)。函数可能只有一个全局最小点或存在多个全局最小点，还可能存在不是全局最优的局部极小点。在深度学习的背景下，我们优化的函数可能含有许多不是最优的局部极小点，或许多被非常平坦的区域包围的鞍点。尤其是当输入是多维的时候，所有这些都将使优化变得困难。因此，我们通常寻找
代理只能访问其自身经验的结果。它能够根据在不同训练阶段收集的经验来学习最佳策略；但它也可能错过许多其他获得更好政策的最佳轨迹。强化学习还需要评估状态-动作对的轨迹；这比监督学习所要面对的，每个训练示例与其预期结果配对问题更难学习。这种复杂性增加了深度强化学习模型的数据要求。但与监督学习不同，深度强化学习模型在训
我们看到PCA算法提供了一种压缩数据的方式。我们也可以将PCA视为学习数据表示的无监督学习算法。这种表示基于上述简单表示的两个标准。PCA学习一种比原始输入低维的表示。它也学习了一种元素之间彼此没有线性相关的表示。这是学习表示中元素统计独立标准的第一步。要实现完全独立性，表示学习算法必须也去掉变量间的非线性关系。PCA将输入
一些软件框架支持使用高阶导数。在深度学习软件框架中，这至少包括 Theano和 TensorFlow。这些库使用一种数据结构来描述要被微分的原始函数，它们使用相同类型的数据结构来描述这个函数的导数表达式。这意味着符号微分机制可以应用于导数（从而产生高阶导数）。在深度学习的相关领域，很少会计
卷积神经网络由一个或多个卷积层、池化层以及全连接层等组成。与其他深度学习结构相比，卷积神经网络在图像等方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他浅层或深度神经网络，卷积神经网络需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。 我们来看一下卷积网络的整体结构什么样子。
我们几乎从未知晓真实数据的生成过程，所以我们永远不知道被估计的模型族是否包括生成过程。然而，深度学习算法的大多数应用都是针对这样的情况，其中真实数据的生成过程几乎肯定在模型族之外。深度学习算法通常应用于极为复杂的领域，如图像、音频序列和文本，本质上这些领域的真实生成过程涉及模拟整
于其他超参数的取值，并且深度神经网络中超参数的微调代价很大，所以有必要在超参数这个重要领域内做更进一步的研究。在许多领域深度学习都表现出巨大的潜力，但深度学习作为机器学习的一个新领域现在仍处于发展阶段，仍然有很多工作需要开展，很多问题需要解决，尽管深度学习的研究还存在许多问题，但
魏凯峰 著PREFACE前 言为什么要写这本书深度学习领域开始受到越来越多的关注，各大深度学习框架也孕育而生，在这个阶段，我被深度学习深深吸引并逐渐开始学习相关知识。研究生毕业后，我继续从事算法相关的工作，具体而言是深度学习算法在图像领域的应用，也就是常说的计算机视觉算法。MX
传统的机器学习需要人工提取数据特征，而深度学习通过层次化的表示来完成特征的提取。层次化的表示是指用简单的表示逐步表达较复杂的表示。1. 如何理解简单和复杂的表示？ 2. 这种所谓层次化的表示的理论依据是什么？
处，以抵消其带来的训练误差和测试误差间差距的增加。随着数据集的规模迅速增长，超越了计算能力的增速，机器学习应用每个样本只使用一次的情况变得越来越常见，甚至是不完整地使用训练集。在使用一个非常大的训练集时，过拟合不再是问题，而欠拟合和计算效率变成了主要的顾虑。读者也可以参考 Bottou
当输入向量的每个度量不被保证的时候，分类问题将会变得有挑战性。为了解决分类任务，学习算法只需要定义一个从输入向量映射到输出类别的函数。当一些输入可能丢失时，学习算法必须学习一组函数，而不是单个分类函数。每个函数对应着分类具有不同缺失输入子集的 x。这种情况在医疗诊断中经常出现，因为很多类型的医学测试是昂贵的，
对于如何处理估计不确定性的这个问题，贝叶斯派的答案是积分，这往往会防止过拟合。积分当然是概率法则的应用，使贝叶斯方法容易验证，而频率派机器学习基于相当特别的决定构建了一个估计，将数据集里的所有信息归纳到一个单独的点估计。贝叶斯方法和最大似然方法的第二个最大区别是由贝叶斯先验分布造
标记数据的迁移学习方法则面临模型漂移的挑战。为了实现数据高效的深度学习，本文提出的Self-Tuning方法设计了一种新的“伪标签组对比”机制，将标记和未标记数据的探索与预训练模型的迁移统一起来。在多个基准数据集中，Self-Tuning的性能取得大幅提升，例如，在标签比例为15%的Stanford
Osendorfer, 2014; Pascanu et al., 2014a)。许多效果差不多的其他正则化策略对模型结构的限制更严格。虽然Dropout在特定模型上每一步的代价是微不足道的，但在一个完整的系统上使用Dropout的代价可能非常显著。因为Dropout是一个正则化技术，它减少了模
有监督机器学习的核心哲学： 使用“数据驱动”方法让计算机可以学习输入/输出之间的正确映射。它需要一系列“标记”记录，其中包含训练集中的输入和期望的输出，以便将输入到输出的映射学习为一种准确的行为表现。 可以用下面这个图来表示： 无监督机器学习的核心哲学： 让计算机学习输入的内部
跨模态检索的主要挑战。随着深度学习技术的推广以及其在计算机视觉、自然语言处理等领域的显著成果，研究者提出了一系列以深度学习为基础的跨模态检索方法，极大地缓解了不同模态间相似性度量的挑战，本文称之为深度跨模态检索。本文将从以下角度综述近些年来代表性的深度跨模态检索论文，基于所提供的
1 损失，它能够从训练数据中抽取更多信息。一般的优化和我们用于训练算法的优化有一个重要不同：训练算法通常不会停止在局部极小点。反之，机器学习通常优化代理损失函数，但是在基于提前终止（第 7.8 节）的收敛条件满足时停止。通常，提前终止使用真实潜在损失函数，如验证集上的 0 − 1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
