过拟合

机器学习的问题中，过拟合是一个很常见的问题。过拟合指的是只能拟合训练数据，但不能很好地拟合不包含在训练数据中的其他数据的状态。机器学习的目标是提高泛化能力，即便是没有包含在训练数据里的未观测数据，也希望模型可以进行正确的识别。我们可以制作复杂的、表现力强的模型，但是相应地，抑制过

深度学习之灾难遗忘

每个 maxout 单元现在由 k 个权重向量来参数化，而不仅仅是一个，所以 maxout单元通常比整流线性单元需要更多的正则化。如果训练集很大并且每个单元的块数保持很低的话，它们可以在没有正则化的情况下工作得不错 (Cai et al., 2013)。maxout 单元还有一些

《深度学习入门》笔记 - 28

线性回归模型相当于下面的简单神经网络模型，它没有隐藏层、输出层只有1个节点，激活函数是线性函数。使用 tf.keras.models.Sequential()构建模型使用 model.compile() 设置优化方法、损失函数、评价指标 （损失函数的值即 训练误差；评价指标的值即

《深度学习入门》笔记 - 04

然后就是Python的介绍。包括常见的数据类型，基本算术运算，比较和布尔运算，如何载入额外的模块和包。 基本数据结构有列表、元组、字典和集合。控制结构，内建函数和自定义函数。 然后介绍numpy库，他可以实现快速的算数运算，特别是矩阵运算，运算内部是通过C语言实现的，所以比较快。

深度学习之快速 Dropout

使用Dropout训练时的随机性不是这个方法成功的必要条件。它仅仅是近似所有子模型总和的一个方法。Wang and Manning (2013) 导出了近似这种边缘分布的解析解。他们的近似被称为快速 Dropout（fast dropout），减小梯度计算中的随机性而获得更快的收

《深度学习入门》笔记 - 17

正向传播（Forward Propagation FP）算法指输入值通过神经网络得到输出值的方法。正向传播算法的计算图如下：$sigma$表示sigmoid函数，也就是激活函数。包含损失函数的计算图如下：得到$l_2$，通过$l$计算损失函数L，其中$l$表示求解损失函数的运算。

深度学习之批量算法

促使我们从小数目样本中获得梯度的统计估计的动机是训练集的冗余。在最坏的情况下，训练集中所有的 m 个样本都是彼此相同的拷贝。基于采样的梯度估计可以使用单个样本计算出正确的梯度，而比原来的做法少花了 m 倍时间。实践中，我们不太可能真的遇到这种最坏情况，但我们可能会发现大量样本都对

深度学习图卷积

深度学习之梯度下降

对于牛顿法而言，鞍点显然是一个问题。梯度下降旨在朝“下坡”移动，而非明确寻求临界点。而牛顿法的目标是寻求梯度为零的点。如果没有适当的修改，牛顿法就会跳进一个鞍点。高维空间中鞍点的激增或许解释了在神经网络训练中为什么二阶方法无法成功取代梯度下降。Dauphin et al. (2014)

《深度学习入门》笔记 - 25

L2惩罚法也是一个经典的正则化方法。 它是在原有损失函数的基础上，在构造一个新的损失函数。（带有惩罚项 是一个超参数）模型集成（model ensemble)可以提供模型的预测准确度，思想就是， 先训练大量结构不同的模型，通过平均、或投票方式综合所有模型的结构，得到最终预测。在实际中，有较大限制，原因很简单，

深度学习之聚类问题

关于聚类的一个问题是聚类问题本身是病态的。这是说没有单一的标准去度量聚类的数据对应真实世界有多好。我们可以度量聚类的性质，例如每个聚类的元素到该类中心点的平均欧几里得距离。这使我们可以判断能够多好地从聚类分配中重建训练数据。然而我们不知道聚类的性质多好地对应于真实世界的性质。此外

《深度学习入门》笔记 - 22

神经网络模型建立好了之后，必然要进行模型的评估来了解神经网络的表现。 神经网络的因变量通常有两种数据类型，定量数据和定性数据。不同因变量数据类型对应的模型误差的定义也不一样。当因变量为定性数据时，模型误差可以进一步分为两个类型： 假阳性率， FPR False Positive Rate

《深度学习入门》笔记 - 27

下面用之前的广告数据，来建立线性回归模型，看看tensorflow2的一般建模过程。import numpy as np #1. 数据预处理：装载广告数据 def loadDataSet(): x=[];y=[] f=open('./Ad.csv')

深度学习之快速 Dropout

使用Dropout训练时的随机性不是这个方法成功的必要条件。它仅仅是近似所有子模型总和的一个方法。Wang and Manning (2013) 导出了近似这种边缘分布的解析解。他们的近似被称为快速 Dropout（fast dropout），减小梯度计算中的随机性而获得更快的收

深度学习之参数绑定

参数添加约束或惩罚时，一直是相对于固定的区域或点。例如，L2正则化（或权重衰减）对参数偏离零的固定值进行惩罚。然而，有时我们可能需要其他的方式来表达我们对模型参数适当值的先验知识。有时候，我们可能无法准确地知道应该使用什么样的参数，但我们根据领域和模型结构方面的知识得知模型参数之

《深度学习入门》笔记 - 15

```python #定义sigmoid函数 def sigmoid(input): return 1.0/(1+np.exp(-input)) #通过随机梯度下降法估计参数 def logit_model(x,y,w,b,lr=0.1): for iter in range(60):

深度学习之任务分类

什么是深度学习

同的特征置于哪一层。也就是说，相比于传统机器学习算法需要提供人工定义的特征，深度学习可以自己学习如何提取特征。因此，相比于传统的机器学习算法，深度学习并不依赖复杂且耗时的手动特征工程。 深度学习中的“深度”体现在将数据转换为所需要数据的层数之深。给定模型进行数据输入，可以将描述模

人工智能深度学习

1. 深度学习引言 近年来，深度学习 (Deep Learning， DL) 在多个领域中都取得了突破性进展，尤其是在图像识别、目标检测以及自然语言处理等领域。深度学习的相关内容并非一篇或几篇博客能够详尽的介绍完整，本文的目的也并非介绍所有深度学习概念与模型。本文的主要

《scikit-learn机器学习常用算法原理及编程实战》—3.4.2 过拟合和欠拟合的特征

3.4.2 过拟合和欠拟合的特征　　到此，我们可以总结过拟合和欠拟合的特点如下。* 过拟合：模型对训练数据集的准确性比较高，其成本Jtrain(θ)比较低，对交叉验证数据集的准确性比较低，其成本Jcv(θ)比较高。* 欠拟合：模型对训练数据集的准确性比较低，其成本Jtrain(θ