已找到以下 10000 条记录
  • 分享深度学习发展的混合学习

      这种学习范式试图跨越监督学习和非监督学习之间的界限。由于缺少标签数据和收集标签数据集的高成本,它通常用于业务环境中。从本质上讲,混合学习就是这个问题的答案。我们如何使用监督学习方法来解决或联系非监督学习问题?例如,半监督学习在机器学习领域正变得越来越流行,因为它可以很好地处理

    作者: 初学者7000
    933
    1
  • 深度学习之深度模型中的优化

    深度学习算法在许多情况下都涉及到优化。例如,模型中的进行推断(如 PCA)涉及到求解优化问题。我们经常使用解析优化去证明或设计算法。在深度学习涉及到的诸多优化问题中,最难的是神经网络训练。甚至是用几百台机器投入几天到几个月来解决单个神经网络训练问题,也是很常见的。因为这其中的优化

    作者: 小强鼓掌
    338
    1
  • 读书笔记:深度学习(1)

    欢迎来到深度学习的新世界本篇文章开始写一个关于深度学习的系列笔记,主要围绕《深度学习》这本书展开1.《深度学习》这本书为什么值得读?原因之一:作者是科技大咖,跨界牛人是深度学习发展的亲历者。名字叫做Terrence J. Sejnowski ,1947年出生,是普林斯顿大学的博士

    作者: 技术火炬手
    发表时间: 2019-02-26 17:48:04
    10155
    0
  • 深度学习之性能度量P

    为了评估机器学习算法的能力,我们必须设计其性能的定量度量。通常性能度量 P 是特定于系统执行的任务 T 而言的。对于诸如分类,缺失输入分类和转录任务,我们通常度量模型的准确率 (accu-racy)。准确率是指该模型输出正确结果的样本比例。我们也可以通过错误率 (error rate)

    作者: 小强鼓掌
    922
    2
  • 深度学习中的Attention机制

    Attention机制Attention mechanism 在序列学习任务上具有巨大的提升作用,在编码器框架内,通过编码端加入Attention模型,对源数据序列进行数据加权变换,或者在解码端引入Attention模型,对目标数据进行加权变化,可以有效提高序列对序列的自然方式下

    作者: 玉箫然
    1036
    0
  • 现代深度学习算法的扩展

    1. 从特征提取到特征“理解”与“重组”• 传统观点:算法(如CNN)通过卷积核提取局部特征,再通过池化保留关键信息。• 现代进展:◦ 动态特征交互:Transformer的注意力机制允许特征之间动态加权交互(如图像中某区域的特征可能影响另一区域的解读)。◦ 多尺度融合:FPN(

    作者: 黄生
    26
    7
  • 深度学习-语义数据集

    常见的语义分割算法属于有监督学习,因此标注好的数据集必不可少。公开的语义分割数据集有很多,目前学术界主要有三个benchmark(数据集)用于模型训练和测试。第一个常用的数据集是Pascal VOC系列。这个系列中目前较流行的是VOC2012,Pascal Context等类似的

    作者: @Wu
    731
    0
  • 深度学习笔记》的笔记(一)

    最近在看这本书,记一下笔记。感知机模型(perceptron model)的计算执行方向如下。感觉和线性回归很像呀。 但据说感知机模型不能用于线性回归问题,因为它只关注分类问题,而线性回归问题涉及到回归问题?对于线性不可分的情况,在感知机基础上一般有两个解决方向。 线性不可分是指

    作者: 黄生
    42
    4
  • 深度学习之提前终止举例

    这个超参数在验证集上具有 U 型性能曲线。很多控制模型容量的超参数在验证集上都是这样的 U 型性能曲线。在提前终止的情况下,我们通过拟合训练集的步数来控制模型的有效容量。大多数超参数的选择必须使用高代价的猜测和检查过程,我们需要在训练开始时猜测一个超参数,然后运行几个步骤检查它的训练效果。‘‘训练时间’’

    作者: 小强鼓掌
    523
    1
  • 深度学习笔记之Multinoulli 分布

            Multinoulli 分布 (multinoulli distribution) 或者分类分布 (categorical distri-bution) 是指在具有 k 个不同状态的单个离散型随机变量上的分布,k 是有限的。2 Multinoulli 分布的参数是向量

    作者: 小强鼓掌
    1823
    3
  • 深度学习之输入缺失分类

    当输入向量的每个度量不被保证的时候,分类问题将会变得有挑战性。为了解决分类任务,学习算法只需要定义一个从输入向量映射到输出类别的函数。当一些输入可能丢失时,学习算法必须学习一组函数,而不是单个分类函数。每个函数对应着分类具有不同缺失输入子集的 x。这种情况在医疗诊断中经常出现,因

    作者: 小强鼓掌
    1045
    5
  • 深度学习之Dropout优点

    Dropout的另一个显著优点是不怎么限制适用的模型或训练过程。几乎在所有使用分布式表示且可以用随机梯度下降训练的模型上都表现很好。包括前馈神经网络、概率模型,如受限玻尔兹曼机(Srivastava et al., 2014),以及循环神经网络(Bayer and Osendorfer

    作者: 小强鼓掌
    966
    4
  • 深度学习之语音识别

    我们必须要小心,不能使用会改变类别的转换。例如,光学字符识别任务需要认识到 “b’’ 和 “d’’ 以及 “6’’ 和 “9’’ 的区别,所以对这些任务来说,水平翻转和旋转180◦ 并不是合适的数据集增强方式。能保持我们希望的分类不变,但不容易执行的转换也是存在的。例如,平面外绕

    作者: 小强鼓掌
    831
    4
  • 深度学习之其他隐藏单元

    也存在许多其他种类的隐藏单元,但它们并不常用。一般来说,很多种类的可微函数都表现得很好。许多未发布的激活函数与流行的激活函数表现得一样好。为了提供一个具体的例子,作者在 MNIST 数据集上使用 h = cos(Wx + b) 测试了一个前馈网络,并获得了小于 1% 的误差率,这

    作者: 小强鼓掌
    644
    2
  • 深度学习笔记之逻辑回归

    我们可以使用最大似然估计找到对于有参分布族 p(y | x; θ) 最好的参数向量 θ。我们已经看到,线性回归对应于分布族p(y | x; θ) = N (y; θ⊤x, I).通过定义一族不同的概率分布,我们可以将线性回归扩展到分类情况中。如果我们有两个类,类 0 和类 1,那么我们只需要指定这两类之一的概率。类

    作者: 小强鼓掌
    729
    2
  • 深度学习之高威随机函数

    Baldi and Hornik (1989) 从理论上证明,不具非线性的浅层自编码器只有全局极小值和鞍点,没有代价比全局极小值更大的局部极小值。他们还发现这些结果能够扩展到不具非线性的更深的网络上,不过没有证明。这类网络的输出是其输入的线性函数,但它们仍然有助于分析非线性神经网

    作者: 小强鼓掌
    521
    2
  • 深度学习》拟合,欠拟合笔记

    过拟合,欠拟合过拟合(overfitting):学习能力过强,以至于把训练样本所包含的不太一般的特性都学到了。欠拟合(underfitting):学习能太差,训练样本的一般性质尚未学好。下面是直观解释:                                       

    作者: 运气男孩
    730
    1
  • 深度学习中多层复合函数

    从数学上来看,深度神经网络仅仅是一种函数的表达形式,是复杂的多层复合函数。由于它有大量的可调参数,而且近年来随着大数据、优化算法和并行计算GPU硬件的发展,使得用大规模的神经网络来逼近和拟合大数据成为可能。

    作者: 我的老天鹅
    875
    22
  • 深度学习之最近邻回归

    像线性回归有固定长度的向量作为权重,最近邻回归模型存储了训练集中所有的 X和 y。当需要为测试点 x 分类时,模型会查询训练集中离该点最近的点,并返回相关的回归目标。换言之,yˆ = yi 其中 i = arg min ∥Xi,: − x∥2。该算法也可以扩展成L2 范数以外的距离度量,例如学习距离度量

    作者: 小强鼓掌
    827
    2
提示

您即将访问非华为云网站,请注意账号财产安全