深度学习概述

少正则化参数；使用非线性模型，比如核SVM、决策树、深度学习等模型；调整模型的容量(capacity)，通俗地，模型的容量是指其拟合各种函数的能力；容量低的模型可能很难拟合训练；使用集成学习方法，如Bagging，将多个弱学习器Bagging。 产生过拟合的具体原因数据噪声干扰过

《深度学习：主流框架和编程实战》——1.5　深度学习展望

于其他超参数的取值，并且深度神经网络中超参数的微调代价很大，所以有必要在超参数这个重要领域内做更进一步的研究。在许多领域深度学习都表现出巨大的潜力，但深度学习作为机器学习的一个新领域现在仍处于发展阶段，仍然有很多工作需要开展，很多问题需要解决，尽管深度学习的研究还存在许多问题，但

【转载】深度学习简介

要重点探讨的深度学习是具有多级表示的表征学习方法。在每一级（从原始数据开始），深度学习通过简单的函数将该级的表示变换为更高级的表示。因此，深度学习模型也可以看作是由许多简单函数复合而成的函数。当这些复合的函数足够多时，深度学习模型就可以表达非常复杂的变换。 深度学习可以逐级表示越

《深度学习应用开发》学习笔记-21

说道：矩阵运算，是机器学习的基本手段，必须要掌握。 所以后面有线性代数、矩阵运算的基本介绍。 标量是一个特殊的向量（行向量、列向量），向量是一个特殊的矩阵；这样说来，标量，也是一个特殊的矩阵，一行一列的矩阵。 看代码吧 ```python import numpy as np ```

【转载】深度学习与人脑

深度学习是机器学习的一个子集，它通过接收大量数据并试图从中学习来模拟人脑。在IBM对该术语的定义中，深度学习使系统能够“聚集数据，并以令人难以置信的准确性做出预测。” 然而，尽管深度学习令人难以置信，但IBM尖锐地指出，它无法触及人脑处理和学习信息的能力。深度学习和 DNN（深度

深度学习笔记之理解

        我们今天知道的一些最早的学习算法，是旨在模拟生物学习的计算模型，即大脑怎样学习或为什么能学习的模型。其结果是深度学习以人工神经网络 (artificial neural network, ANN) 之名而淡去。彼时，深度学习模型被认为是受生物大脑（无论人类大脑或其他

《深度学习应用开发》学习笔记-30

终于进了一步，看到了MNIST手写数字识别，使用一个神经元。 MNIST数据集来自于NIST 美国国家标准和技术研究所。 找学生和工作人员手写的。 规模：训练集55000，验证集5000，测试集10000。大小约10M。 数据集可以在网站上去下载，同时tf自己里面已经集成了这个数据集。

AI、机器学习、深度学习的关系

《深度学习应用开发》学习笔记-28

这个房价预测的例子基本就结束了，下面是用TensorBoard来将算法，和模型训练过程的一些信息进行可视化。可视化是一件有意见的工作，有助于信息的理解和推广。可视化在modelarts的老版的训练作业下，是收费的，但这个服务在新版的训练作业里已经没有了，也行是因为这个可视化服务的

《深度学习应用开发》学习笔记-23

从人的角度来看，12个特征比1个特征要复杂了很多， 但对计算机来说，无所谓。 在tf里，12元的线性回归方程的实现，比1元的线性方程的实现，代码上也只是多了一点点复杂度而已。 这就是计算机的优势。 只是最后训练的结果，为什么都是nan，像老师说的，脸都黑了哦~ 这次先到这里，请听下回分解~

《深度学习应用开发》学习笔记-20

落了很长时间没学，捡起来继续。编号也忘了从哪里接上，就从20开始吧。 前面弄完了一元线性回归，现在是波士顿房价预测-多元线性回归。 数据方面，12+1共13个指标，506行数据。 前面12个是多个维度的数据，维度还是比较全面的，是输入值/特征。 比如：城镇人均犯罪率、师生比例、住宅比例、边界是否为河流等

《深度学习入门》笔记 - 26

欠拟合、过拟合的总结如下:接下来是TensorFlow框架部分，之前有个帖子 基于TensorFlow 2建立深度学习的模型 - 快速入门 cid:link_0然后会使用它来建立线性回归模型和神经网络分类模型敬请期待

深度学习之正则化

机器学习中的一个核心问题是设计不仅在训练数据上表现好，并且能在新输入上泛化好的算法。在机器学习中，许多策略显式地被设计为减少测试误差（可能会以增大训练误差为代价）。这些策略被统称为正则化。我们将在后文看到，深度学习工作者可以使用许多不同形式的正则化策略。事实上，开发更有效的正则化

深度学习之经验E

什么品种，其**有三个不同的品种。        无监督学习算法(unsupervised learning algorithm) 训练含有很多特征的数据集，然后学习出这个数据集上有用的结构性质。在深度学习中，我们通常要学习生成数据集的整个概率分布，显式地，比如密度估计，或是隐式

深度学习的学习路线

经网络的基本结构和原理对于深度学习的学习非常重要。 推荐教程： 《神经网络与深度学习》（Neural Networks and Deep Learning）（英）Michael Nielsen 著 三、进阶学习 1.深度学习模型 深度学习模型是深度学习中的核心，包括卷积神经网络、

深度学习之经验风险

机器学习算法的目标是降低式 (8.2) 所示的期望泛化误差。这个数据量被称为风险（risk）。在这里，我们强调该期望取自真实的潜在分布 pdata。如果我们知道了真实分布 pdata(x, y)，那么最小化风险变成了一个可以被优化算法解决的优化问题。然而，我们遇到的机器学习问题，通常是不知道

机器学习——深度学习(Deep Learning)

Learning是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，最近研究了机器学习中一些深度学习的相关知识，本文给出一些很有用的资料和心得。 Key Words：有监督学习与无监督学习，分类、回归，密度估计、聚类，深度学习，Sparse DBN，

《深度学习入门》笔记 - 21

的梯度消失问题。tanh函数也有梯度消失问题。ReLU(Rectified Linear Unit）函数出现和流行的时间都比较晚，但却是深度学习常用的激活函数。它非常简单： ReLU(x)=max(x,0) 是一个折线函数，所有负的输入值都变换成0，所有非负的输入值，函数值都等于

深度学习笔记之贡献

        深度学习的另一个最大的成就是其在强化学习 (reinforcement learning) 领域的扩展。在强化学习中，一个自主的智能体必须在没有人类操作者指导的情况下，通过试错来学习执行任务。DeepMind 表明，基于深度学习的强化学习系统能够学会玩Atari 视频游戏，并在多种任务中可与人类匹敌

深度学习之平滑先验

用于度量测试样本 x 和每个训练样本 x(i) 有多么相似。近年来深度学习的很多推动力源自研究局部模版匹配的局限性，以及深度学习如何克服这些局限性 (Bengio et al., 2006a)。决策树也有平滑学习的局限性，因为它将输入空间分成和叶节点一样多的区间，并在每个区间使用