已找到以下 10000 条记录
  • 学习笔记-如何提升深度学习性能?

    特征选择 f. 重新定义问题2. 从算法上提升性能   a. 算法的筛选 b. 从文献中学习 c. 重采样的方法3. 从算法调优上提升性能   a. 模型可诊断性 b. 权重的初始化 c. 学习率 d. 激活函数 e. 网络结构 f. batch和epoch g. 正则项 h. 优化目标

    作者: RabbitCloud
    632
    1
  • 深度学习入门》笔记 - 11

    化`。 标准化后所有自变量的均值是0,方差是1。中心化后因变量的均值是0。 这样做可以让梯步下降法的数值更加稳定,更容易找到合适的初始值和学习步长。 一个标准化的方法就是让数据的每一列减去该列的均值,然后除以该列的样本标准差($sd(x)$): ![image.png](https://bbs-img

    作者: 黄生
    201
    2
  • 深度学习入门》笔记 - 10

    59535760107353372.png) 好了我们上面说的是最简单的情况,因为为了学习,是一个权重或叫参数w,一个自变量x,并且只有一个观测点(x,y)。 在实际情况中,一般就不仅仅是学习的那么简单的情况。 数据会包含多个自变量,多个权重,很多个观测点。 用 $L(w)=L(w_1

    作者: 黄生
    219
    1
  • 深度学习中的Attention机制

    ntion机制:通过保留LSTM编码器对输入序列的中间输出结果,然后训练一个模型对这些输入进行选择性的学习并且在模型输出时将输出序列与之进行关联,即输出序列中的每一项的生成概率取决于在输入序列中选择的项。Attention机制广泛应用于序列预测任务上,包括文本翻译、语音识别等。

    作者: 玉箫然
    1035
    0
  • 深度学习入门》笔记 - 08

    208189864369.png) 这个算法就是梯度下降法,在更新w的过程中,加入了一个系数$\alpha$,他是一个比较小的正数,叫做`学习步长`,这样可以让w更新的速度变慢一些,使得w更容易收敛。

    作者: 黄生
    148
    3
  • 深度学习之动量举例

    为什么要特别使用 −v(t) 和粘性阻力呢?部分原因是因为 −v(t) 在数学上的便利——速度的整数幂很容易处理。然而,其他物理系统具有基于速度的其他整数幂的其他类型的阻力。例如,颗粒通过空气时会受到正比于速度平方的湍流阻力,而颗粒沿着地面移动时会受到恒定大小的摩擦力。这些选择都

    作者: 小强鼓掌
    420
    2
  • 深度学习之交叉验证

    数据集分成固定的训练集和固定的测试集后,若测试集的误差很小,这将是有问题的。一个小规模的测试集意味着平均测试误差估计的统计不确定性,使得很难判断算法 A 是否比算法 B 在给定的任务上做得更好。当数据集有十万计或者更多的样本时,这不会是一个严重的问题。当数据集太小时,也有替代方法

    作者: 小强鼓掌
    935
    3
  • 深度学习Sigmoid 激活函数

    Sigmoid 函数的图像看起来像一个 S 形曲线。

    作者: 我的老天鹅
    422
    4
  • 深度学习入门》笔记 - 02

    最常用的矩阵运算是矩阵的转置。转置就像是翻转。就像是一个扑克牌,原来是竖着拿的,把它变成翻面横着拿了。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20227/27/1658883526687508822

    作者: 黄生
    54
    0
  • 深度学习GoogLeNet结构

    作者: 我的老天鹅
    426
    7
  • 深度学习之计算图

    为了更精确地描述反向传播算法,使用更精确的计算图(computational graph)语言是很有帮助的。将计算形式化为图形的方法有很多。这里,我们使用图中的每一个节点来表示一个变量。变量可以是标量、向量、矩阵、张量、或者甚至是另一类型的变量。为了形式化我们的图形,我们还需引入

    作者: 小强鼓掌
    950
    3
  • 深度学习之交叉验证

            将数据集分成固定的训练集和固定的测试集后,若测试集的误差很小,这将是有问题的。一个小规模的测试集意味着平均测试误差估计的统计不确定性,使得很难判断算法 A 是否比算法 B 在给定的任务上做得更好。        当数据集有十万计或者更多的样本时,这不会是一个严重的

    作者: 小强鼓掌
    828
    3
  • 深度学习之模板匹配

    1999)。核机器的一个主要缺点是计算决策函数的成本关于训练样本的数目是线性的。因为第 i 个样本贡献 αik(x, x(i)) 到决策函数。支持向量机能够通过学习主要包含零的向量 α,以缓和这个缺点。那么判断新样本的类别仅需要计算非零 αi 对应的训练样本的核函数。这些训练样本被称为支持向量 (support

    作者: 小强鼓掌
    550
    1
  • 深度学习之前馈网络的历史

    网络。前馈网络中基于梯度的学习自 2012年以来一直被视为一种强大的技术,并应用于许多其他机器学习任务,而不是被视为必须由其他技术支持的不可靠技术。在 2006 年,业内使用无监督学习来支持监督学习,现在更讽刺的是,更常见的是使用监督学习来支持无监督学习

    作者: 小强鼓掌
    533
    1
  • 深度学习之机器学习的算法效果

            当我们使用机器学习算法时,我们不会提前固定参数,然后从数据集中采样。我们会在训练集上采样,然后挑选参数去降低训练集误差,然后再在测试集上采样。在这个过程中,测试误差期望会大于或等于训练误差期望。以下是决定机器学习算法效果是否好的因素:        1. 降低训练误差 

    作者: 小强鼓掌
    726
    3
  • 深度学习:主流框架和编程实战》——1.5 深度学习展望

    于其他超参数的取值,并且深度神经网络中超参数的微调代价很大,所以有必要在超参数这个重要领域内做更进一步的研究。在许多领域深度学习都表现出巨大的潜力,但深度学习作为机器学习的一个新领域现在仍处于发展阶段,仍然有很多工作需要开展,很多问题需要解决,尽管深度学习的研究还存在许多问题,但

    作者: 华章计算机
    发表时间: 2019-06-04 19:32:31
    6790
    0
  • 机器学习(八):深度学习简介

    深度学习简介 一、神经网络简介 深度学习(Deep Learning)(也称为深度结构学习【Deep Structured Learning】、层次学习【Hierarchical Learning】或者是深度机器学习【Deep Machine Learning】)是一类算法集合,是机器学习的一个分支。

    作者: Lansonli
    发表时间: 2023-02-18 06:02:17
    62
    0
  • 深度学习之灾难遗忘

    每个 maxout 单元现在由 k 个权重向量来参数化,而不仅仅是一个,所以 maxout单元通常比整流线性单元需要更多的正则化。如果训练集很大并且每个单元的块数保持很低的话,它们可以在没有正则化的情况下工作得不错 (Cai et al., 2013)。maxout 单元还有一些

    作者: 小强鼓掌
    418
    0
  • 深度学习入门》笔记 - 28

    线性回归模型相当于下面的简单神经网络模型,它没有隐藏层、输出层只有1个节点,激活函数是线性函数。使用 tf.keras.models.Sequential()构建模型使用 model.compile() 设置优化方法、损失函数、评价指标 (损失函数的值即 训练误差;评价指标的值即

    作者: 黄生
    33
    5
  • 深度学习入门》笔记 - 04

    然后就是Python的介绍。包括常见的数据类型,基本算术运算,比较和布尔运算,如何载入额外的模块和包。 基本数据结构有列表、元组、字典和集合。控制结构,内建函数和自定义函数。 然后介绍numpy库,他可以实现快速的算数运算,特别是矩阵运算,运算内部是通过C语言实现的,所以比较快。

    作者: 黄生
    41
    1