深度学习之决策树

点和输入区域之间形成一一对应的关系。每个叶结点将其输入区域的每个点映射到相同的输出。决策树通常有特定的训练算法，超出了本书的范围。如果允许学习任意大小的决策树，那么可以被视作非参数算法。然而实践中通常有大小限制作为正则化项将其转变成有参模型。由于决策树通常使用坐标轴相关的拆分，并

深度学习之Dropout优点

Osendorfer, 2014; Pascanu et al., 2014a)。许多效果差不多的其他正则化策略对模型结构的限制更严格。虽然Dropout在特定模型上每一步的代价是微不足道的，但在一个完整的系统上使用Dropout的代价可能非常显著。因为Dropout是一个正则化技术，它减少了模

深度学习基础-优化算法详解

0001) 二，自适应学习率算法 神经网络研究员早就意识到学习率肯定是难以设置的超参数之一，因为它对深度学习模型的性能有着显著的影响。 2.1，AdaGrad 在 AdaGrad 提出之前，我们对于所有的参数使用相同的学习率进行更新，它是第一个自适应学习率算法，通过所有梯度历史

深度学习-语义数据集

常见的语义分割算法属于有监督学习，因此标注好的数据集必不可少。公开的语义分割数据集有很多，目前学术界主要有三个benchmark（数据集）用于模型训练和测试。第一个常用的数据集是Pascal VOC系列。这个系列中目前较流行的是VOC2012，Pascal Context等类似的

深度学习算法中的集成学习（Ensemble Learning）与深度学习的结合

数据，深度学习可以从中学习到更加准确和鲁棒的模型。 适应复杂任务：深度学习模型可以适应各种复杂任务，包括计算机视觉、自然语言处理和语音识别等。 集成学习在深度学习中的应用 集成学习可以与深度学习相结合，以提高深度学习算法的性能和鲁棒性。以下是一些常见的集成学习方法在深度学习中的应用：

人工智能深度学习

1. 深度学习引言 近年来，深度学习 (Deep Learning， DL) 在多个领域中都取得了突破性进展，尤其是在图像识别、目标检测以及自然语言处理等领域。深度学习的相关内容并非一篇或几篇博客能够详尽的介绍完整，本文的目的也并非介绍所有深度学习概念与模型。本文的主要

深度学习框架指南

h 的几何深度学习扩展库 3 TensorFlow TensorFlow - Google 使用数据流图进行可扩展机器学习的计算 TensorLayer - 面向研究人员和工程师的深度学习和强化学习库。 TFLearn - 深度学习库，具有更高级别的

深度学习方法在 NER 中的应用

NLP 领域中的研究热点，从早期基于词典和规则的方法，到传统机器学习的方法，到近年来基于深度学习的方法，NER 研究进展的大概趋势大致如下图所示。在基于机器学习的方法中，NER 被当作序列标注问题。利用大规模语料来学习出标注模型，从而对句子的各个位置进行标注。**NER 任务中的常用模型包括生成式模型

分享深度学习在经济学中的应用

的预测。有提出了一种新的学习遗传算法，该算法利用R-NN模型来模拟人类的行为。具体采用了复杂的深度学习结构，包括：强化学习用于快速决策，深度学习用于构建股票身份，聚类用于整体决策目的，遗传用于转移目的。也有通过超参数的多样化选择使模型更加准确。实验结果表明，该模型可以在误差较小的

《深度学习笔记》的笔记（一）

性不可分的情况，在感知机基础上一般有两个解决方向。 线性不可分是指一组线性数据点，这些数据点上无法划分一条直线来分开类别内的所有数据点。一个是著名的支持向量机(SVM)，旨在通过核函数映射来处理非线性的情况。 使用核技巧，将特征空间映射到一个维度更高的空间，然后在该空间中构建特征

深度学习之提前终止举例

这个超参数在验证集上具有 U 型性能曲线。很多控制模型容量的超参数在验证集上都是这样的 U 型性能曲线。在提前终止的情况下，我们通过拟合训练集的步数来控制模型的有效容量。大多数超参数的选择必须使用高代价的猜测和检查过程，我们需要在训练开始时猜测一个超参数，然后运行几个步骤检查它的训练效果。‘‘训练时间’’

深度学习笔记之Multinoulli 分布

之类的。因此，我们通常不需要去计算Multinoulli 分布的随机变量的期望和方差。        Bernoulli 分布和Multinoulli 分布足够用来描述在它们领域内的任意分布。它们能够描述这些分布，不是因为它们特别强大，而是因为它们的领域很简单；它们可以对那些，能够将所有的状态进行标号的离散型

深度学习之其他隐藏单元

数与流行的激活函数表现得一样好。为了提供一个具体的例子，作者在 MNIST 数据集上使用 h = cos(Wx + b) 测试了一个前馈网络，并获得了小于 1% 的误差率，这可以与更为传统的激活函数获得的结果相媲美。在新技术的研究和开发期间，通常会测试许多不同的激活函数，并且会发

深度学习笔记之逻辑回归

1。我们用于线性回归的实数正态分布是用均值参数化的。我们提供这个均值的任何值都是有效的。二元变量上的的分布稍微复杂些，因为它的均值必须始终在 0 和1 之间。解决这个问题的一种方法是使用logistic sigmoid函数将线性函数的输出压缩进区间 (0, 1)。该值可以解释为概率：p(y

深度学习最大池化演示

深度学习笔记之概率论

也提供了用于导出新的不确定性陈述的公理。在人工智能领域，我们主要以两种方式来使用概率论。首先，概率法则告诉我们AI系统应该如何推理，所以我们设计一些算法来计算或者近似由概率论导出的表达式。其次，我们可以用概率和统计从理论上分析我们提出的AI系统的行为。      概率论是众多科

深度学习的进展

方向五：深度学习与人类的智能交互 深度学习在与人类的智能交互方面有着广阔的应用前景。目前，深度学习主要关注于模式识别和预测任务，如图像识别、语音识别和自然语言处理等。然而，深度学习也在模拟人类的认知和感知过程方面取得了一些进展。 在图像识别领域，深度学习模型可以学习到从原始像素

《深度学习应用开发》学习笔记汇总

在2021年3月份开始学习《深度学习应用开发》，写了一些学习笔记，大概学到8月份就停止了。这里先把一些学习笔记汇总一下。 之前好像有听人介绍说吴明辉的课程很不错，最近刚好在中国大学APP上看到他的一个人工智能相关的课程，看了一下确实很不错。 课程名称叫做《深度学习应用开发 基于

分享深度学习在经济学中的应用

强化学习在高维经济学问题中的应用前面介绍的是深度学习在经济学领域的应用。对比传统的深度学习，深度强化学习能够有效处理高维问题。所以，在一些包含高维动态数据的经济学问题上，深度强化学习表现更加优秀。1、深度强化学习下的股票交易由于缺乏处理高维问题的能力，传统强化学习方法不足以找到最