内容选择
全部
内容选择
内容分类
  • 学堂
  • 博客
  • 论坛
  • 开发服务
  • 开发工具
  • 直播
  • 视频
  • 用户
时间
  • 一周
  • 一个月
  • 三个月
  • 深度学习典型模型

    型的深度学习模型有卷积神经网络( convolutional neural network)、DBN和堆栈自编码网络(stacked auto-encoder network)模型等,下面对这些模型进行描述。 卷积神经网络模型 在无监督预训练出现之前,训练深度神经网络通常非常困难

    作者: 某地瓜
    1673
    1
  • 深度学习入门》笔记 - 12

    学习步长$\alpha$是一个很重要的参数。 如果太小,算法会收敛的很慢。 如果太大,容易造成算法不收敛,甚至发散。 自变量的标准化,和因变量的中心化,是建立深度学习模型常用的数据预处理方法。 他们的好处,是不仅可以让梯度下降法的数值表现的更加稳定,还有助于我们找到合适的初始值和步长。

    作者: 黄生
    266
    1
  • 深度学习之小更新

    梯度下降和基本上所有的可以有效训练神经网络的学习算法,都是基于局部较也许能计算目标函数的一些性质,如近似的有偏梯度或正确方向估计的方差。在这些情况下,难以确定局部下降能否定义通向有效解的足够短的路径,但我们并不能真的遵循局部下降的路径。目标函数可能有诸如病态条件或不连续梯度的问题

    作者: 小强鼓掌
    419
    2
  • 深度学习入门》笔记 - 01

    之前学了一个深度学习应用开发,学了一段时间,后来就没学了。 确实是"靡不有初,鲜克有终",现在不愿意再继续之前的学。我又找了一本书从头开始,这本书的名字是深度学习入门与TensorFlow实践>。 `数(scalar)`是一个数字。 简直是废话。 不过这才刚开始嘛。 多个数字有序

    作者: 黄生
    283
    1
  • 深度学习之浅层网络

    存在一些函数族能够在网络的深度大于某个值 d 时被高效地近似,而当深度被限制到小于或等于 d 时需要一个远远大于之前的模型。在很多情况下,浅层模型所需的隐藏单元的数量是 n 的指数级。这个结果最初被证明是在那些不与连续可微的神经网络类似的机器学习模型中出现,但现在已经扩展到了这些模型。第一个结果是关于逻辑门电路的

    作者: 小强鼓掌
    423
    0
  • 深度学习入门》笔记 - 05

    接下来就是讲线性模型了。线性模型相对比较简单,但是他是学习比较复杂的深度学习模型的一个基础,而且线性模型本身也具有广泛的用途。 这里讲了线性模型中的线性回归模型和logistic模型。线性回归模型用于处理`回归问题`。logistic模型用于处理`分类问题`。 线性回归模型可以写作如下的形式:

    作者: 黄生
    145
    3
  • 深度学习入门》笔记 - 13

    52137365917.png) $f(x)=\frac{1}{1+e^{-x}}$函数在统计学文献中称为`logistic函数`,在机器学习文献中称为`sigmoid函数`。 ```python a=np.linspace(-10,10,100) plt.plot(a,1/(1+np

    作者: 黄生
    48
    1
  • 【开源模型学习】AlexNet深度学习模型总结

    复训练,选取出合适的a,LReLU的表现出的结果才比ReLU好。因此有人提出了一种自适应地从数据中学习参数的PReLU。PReLU是LeakyRelu的改进,可以自适应地从数据中学习参数。PReLU具有收敛速度快、错误率低的特点。PReLU可以用于反向传播的训练,可以与其他层同时优化。2

    作者: 小二中二大二
    1654
    0
  • 深度学习训练过程

    一步类似神经网络的随机初始化初值过程,由于第一步不是随机初始化,而是通过学习输入数据的结构得到的,因而这个初值更接近全局最优,从而能够取得更好的效果。所以深度学习的良好效果在很大程度上归功于第一步的特征学习的过程。 

    作者: QGS
    539
    1
  • 深度学习神经网络

        什么是神经网络    我们常常用深度学习这个术语来指训练神经网络的过程。有时它指的是特别大规模的神经网络训练。那么神经网络究竟是什么呢?在这个文章中,我会说一些直观的基础知识。让我们从一个房价预测的例子开始说起。    假设你有一个数据集,它包含了六栋房子的信息。所以,你

    作者: 运气男孩
    656
    2
  • 深度学习入门》笔记 - 14

    6253.png) 接下来实在是看不下去了,还有求偏导数的主要技巧用到了链式法则,还有其他的太难看了。所以这一小部分跳过。 接下来的内容是深度神经网络。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attach

    作者: 黄生
    60
    2
  • 深度学习之提前终止

    循环次数内没有进一步改善时,算法就会终止。此过程在算法中有更正式的说明。这种策略被称为提前终止(early stopping)。这可能是深度学习中最常用的正则化形式。它的流行主要是因为有效性和简单性。

    作者: 小强鼓掌
    325
    0
  • 深度学习入门》笔记 - 18

    网络的目的是建立输入层与输出层之间的关系,进而利用建立的关系得到预测值。通过增加隐藏层,神经网络可以找到输入层与输出层之间较复杂的关系。深度学习是拥有多个隐藏层的神经网络,在神经网络中,我们通过正向传播算法得到预测值,并通过反向传播算法得到参数梯度,然后利用梯度下降法更新参数,使

    作者: 黄生
    23
    1
  • 深度学习模型轻量化

    硬件层加速。这个维度主要在AI硬件芯片层,目前有GPU、FPGA、ASIC等多种方案,各种TPU、NPU就是ASIC这种方案,通过专门为深度学习进行芯片定制,大大加速模型运行速度。

    作者: 可爱又积极
    1259
    4
  • 深度学习入门》笔记 - 16

    层,这种关系无法表达。同时可以通过增加隐藏层的数量和每个隐藏层的节点数,来处理更加复杂的问题。拥有多个隐藏层的神经网络就可以实现深度学习。而数量越多,就需要更多的技巧来训练并发挥这些隐藏层的作用。

    作者: 黄生
    37
    4
  • 深度学习之函数估计

    可能具有过高的方差),k-折交叉验证算法可以用于估计学习算法 A 的泛化误差。数据集 D 包含的元素是抽象的样本 z(i) (对于第 i 个样本),在监督学习的情况代表(输入,目标)对 z(i) = (x(i), y(i)) ,或者无监督学习的情况下仅用于输入 z(i) = x(i)。该算法返回

    作者: 小强鼓掌
    836
    1
  • 分享深度学习未来发展的学习范式-——简化学习

        在深度学习领域, 特别是在NLP(深度学习领域研究最热潮激动人心的领域)中,模型的规模正在不断增长。最新的GPT-3模型有1750亿个参数。把它和BERT比较就像把木星比作蚊子一样(好吧,不是字面意思)。深度学习的未来会更大吗?    按理来说,不会,GPT-3是非常有说

    作者: 初学者7000
    1133
    1
  • 深度学习之历史小计

    1847)。从 20 世纪 40 年代开始,这些函数近似技术被用于导出诸如感知机的机器学习模型。然而,最早的模型都是基于线性模型。来自包括 Marvin Minsky 的批评指出了线性模型族的几个缺陷,例如它无法学习 XOR 函数,这导致了对整个神经网络方法的抵制。

    作者: 小强鼓掌
    414
    0
  • 深度学习之虚拟对抗

    性而无法抵抗对抗样本。神经网络能够将函数从接近线性转化为局部近似恒定,从而可以灵活地捕获到训练数据中的线性趋势同时学习抵抗局部扰动。对抗样本也提供了一种实现半监督学习的方法。在与数据集中的标签不相关联的点 x 处,模型本身为其分配一些标签 yˆ。模型的标记 yˆ 未必是真正的标签,但如果模型是高品质的,那么

    作者: 小强鼓掌
    679
    1
  • 浅谈深度学习常用术语

    深度学习常用术语· 样本(sample)或输入(input)或数据点(data point):训练集中特定的实例。我们在上一章中看到的图像分类问题,每个图像都可以被称为样本、输入或数据点。· 预测(prediction)或输出(output):由算法生成的值称为输出。例如,在先前

    作者: QGS
    22
    0