深度学习之没有免费午餐定理

到的概率分布进行假设的话，那么我们可以设计在这些分布上效果良好的学习算法。       这意味着机器学习研究的目标不是找一个通用学习算法或是绝对最好的学习算法。反之，我们的目标是理解什么样的分布和人工智能获取经验的“真实世界”相关，什么样的学习算法在我们关注的数据生成分布上效果最好。

深度学习之表示容量

难的优化问题。实际中，学习算法不会真的找到最优函数，而仅是找到一个可以降低训练误差很多的函数。额外的限制因素，比如优化算法的不完美，意味着学习算法的有效容量 (effective capacity) 可能小于模型族的表示容量。提高机器学习模型泛化的现代思想可以追溯到早在托勒密时期的

深度学习之小批量误差

很多机器学习上的优化问题都可以分解成并行地计算不同样本上单独的更新。换言之，我们在计算小批量样本 X 上最小化 J(X) 的更新时，同时可以计算其他小批量样本上的更新。这类异步并行分布式方法将在进一步讨论。小批量随机梯度下降的一个有趣动机是，只要没有重复使用样本，它将遵循着真实泛

深度学习笔记之度量模型深度的方式（二）

     另一种是在深度概率模型中使用的方法，它不是将计算图的深度视为模型深度，而是将描述概念彼此如何关联的图的深度视为模型深度。在这种情况下，计算每个概念表示的计算流程图的深度 可能比概念本身的图更深。这是因为系统对较简单概念的理解在给出更复杂概念的信息后可以进一步精细化。例如，

深度学习之k-均值聚类

另外一个简单的表示学习算法是 k-均值聚类。k-均值聚类算法将训练集分成 k个靠近彼此的不同样本聚类。因此我们可以认为该算法提供了 k-维的one-hot编码向量 h 以表示输入 x。当 x 属于聚类 i 时，有 hi = 1，h 的其他项为零。k-均值聚类提供的one-hot编

【课程】深度学习课程无法加载

问题如图所示

深度学习之代理损失函数

函数时，在训练集上的 0 − 1 损失达到 0 之后，测试集上的 0 − 1 损失还能持续下降很长一段时间。这是因为即使 0 − 1 损失期望是零时，我们还能拉开不同类别的距离以改进分类器的鲁棒性，获得一个更强壮的、更值得信赖的分类器，从而，相对于简单地最小化训练集上的平均 0 −

深度学习之双反向传播

在这些点上产生与原来输入相同的输出。正切传播和手动指定转换的数据集增强都要求模型在输入变化的某些特定的方向上保持不变。双反向传播和对抗训练都要求模型对输入所有方向中的变化（只要该变化较小）都应当保持不变。正如数据集增强是正切传播非无限小的版本，对抗训练是双反向传播非无限小的版本。

深度学习注意力机制

Attention机制最重要的步骤是如何在每一时刻产生不同的语言编码向量 ，表示接下来输出的时候要重点关注输入序列中的哪些部分，然后根据关注的区域来产生下一个输出。

深度学习之病态条件数

条件数表明函数相对于输入的微小变化而变化的快慢程度。输入被轻微扰动而迅速改变的函数对于科学计算来说是可能是有问题的，因为输入中的舍入误差可能导致输出的巨大变化。考虑函数 f(x) = A−1x。当 A ∈ Rn×n 具有特征值分解时，其条件数为：这是最大和最小特征值的模之比。当该

深度学习算法中的集成学习（Ensemble Learning）与深度学习的结合

数据，深度学习可以从中学习到更加准确和鲁棒的模型。 适应复杂任务：深度学习模型可以适应各种复杂任务，包括计算机视觉、自然语言处理和语音识别等。 集成学习在深度学习中的应用 集成学习可以与深度学习相结合，以提高深度学习算法的性能和鲁棒性。以下是一些常见的集成学习方法在深度学习中的应用：

深度学习计算框架选择-PyTorch

PyTorch是一款可以媲美于TensorFlow的优秀深度学习计算框架，而且相比于TensorFlow在语法上更具灵活性。PyTorch原生于一款小众语言Lua，而后基于Python版本具备了强大的生命力。作为一款基于Python的深度学习计算库，PyTorch提供了高于Num

深度学习之梯度消失和爆炸

更明显了，第四隐藏层比第一隐藏层的更新速度慢了两个数量级图片来自网络总结：从深层网络角度来讲，不同的层学习的速度差异很大，表现为网络中靠近输出的层学习的情况很好，靠近输入的层学习的很慢，有时甚至训练了很久，前几层的权值和刚开始随机初始化的值差不多。因此，梯度消失、爆炸，其根本原因

为什么是深度强化学习？

对问题更难学习。这种复杂性增加了深度强化学习模型的数据要求。但与监督学习不同，深度强化学习模型在训练期间收集数据，而监督学习需要人工提前策划和准备训练数据。深度强化学习和通用人工智能AI 社区对深度强化学习的发展方向存在分歧。一些科学家认为，使用正确的 RL 架构，可以解决任何类

深度学习历史

Some sources point out that Frank Rosenblatt developed and explored all of the basic ingredients of the deep learning systems of today

深度学习因果和相关关系

深度学习系统，学习的是输入和输出之间复杂的相关性，但是学习不到其间的因果关系。虽然有人工神经网络通过构建和加强联系，深度学习从数学上近似了人类神经元和突触的学习方式。训练数据被馈送到神经网络，神经网络会逐渐进行调整，直到以正确的方式做出响应为止。只要能够看到很多训练图像并具有足够

张量的常用操作“深度学习”笔记

张量的常用操作在机器学习和深度学习中，我们往往将待处理的数据规范化为特定维度的张量。列如，在不进行批处理时，彩**像可以看成一个三维张量——图像的三个颜色通道（红，绿，蓝），图像的高和图像的宽，视频可以看成一个四维张量——视频的时间帧方向，每一帧图像的颜色通道，高和宽，三维场景可以看成一个四

深度学习计算框架选择-tf

对于初次踏入深度学习领域的人员而言，选择哪种计算框架是一个值得思考的问题。 如果一定要选出一个框架作为你的深度学习入门工具，那么建议选择Keras，Keras具备搭建神经网络各个零部件高度集成的API，并且对新手非常友好，基于Keras进行一次快速的深度学习试验几乎是分分钟的事。

深度学习最大池化演示

深度学习中多层复合函数

从数学上来看，深度神经网络仅仅是一种函数的表达形式，是复杂的多层复合函数。由于它有大量的可调参数，而且近年来随着大数据、优化算法和并行计算GPU硬件的发展，使得用大规模的神经网络来逼近和拟合大数据成为可能。