深度学习之动量

虽然随机梯度下降仍然是非常受欢迎的优化方法，但其学习过程有时会很慢。动量方法 (Polyak, 1964) 旨在加速学习，特别是处理高曲率、小但一致的梯度，或是带噪声的梯度。动量算法积累了之前梯度指数级衰减的移动平均，并且继续沿该方向移动。动量的效果。动量的主要目的是解决两个问题：Hessian

深度学习之无监督学习算法

没有客观的判断来区分监督者提供的值是特征还是目标。通俗地说，无监督学习是指从不需要人为注释样本的分布中抽取信息的大多数尝试。该术语通常与密度估计相关，学习从分布中采样，学习从分布中去噪，需要数据分布的流形，或是将数据中相关的样本聚类。        一个经典的无监督学习任务是找到数据的

使用Python实现深度学习模型：人脸识别与人脸表情分析

labels) # 训练模型 model.fit(train_generator, epochs=10) 步骤五：构建人脸表情分析模型 我们将使用卷积神经网络（CNN）来构建人脸表情分析模型。以下是模型定义的代码： # 构建人脸表情分析模型 expression_model

如何看待华为开源的深度学习框架 MindSpore？

深度学习笔记之评估方差

不确定性的方法是评估方差，估计的方差评估了观测数据重新从观测数据中采样后，估计可能如何变化。对于如何处理估计不确定性的这个问题，贝叶斯派的答案是积分，这往往会防止过拟合。积分当然是概率法则的应用，使贝叶斯方法容易验证，而频率派机器学习基于相当特别的决定构建了一个估计，将数据集里的所有信息归纳到一个

从0学CV：深度学习图像分类 模型综述(4)

这些图像大约属于22000个类别，这些图像从互联网收集并由人工使用亚马逊的机械土耳其众包工具贴上标签。深度卷积神经网络模型在ImageNet数据集上进行训练和测试，衡量模型优劣的指标为top-5错误率和top-1错误率。ImageNet通常有1000个类别，训练和测试时，对每幅

深度学习的现实应用

格的统计模型，再到如今的深度模型，语音识别技术已经经历了几代的更迭。在深度学习模型之前，自动语音识别的主流模型是隐马尔可夫模型（Hidden Markov Models，HMM）。在使用这些模型之前，所有的自动语音识别系统都需要经历四个步骤：特征提取、声学模型、语言模型和解码搜索

【机器学习基础】逻辑回归模型

逻辑回归模型　　Logit（逻辑回归）模型（Logit model，也译作“评定模型”，“分类评定模型”，又作Logistic regression，“逻辑回归”）是离散选择法模型之一，Logit模型是最早的离散选择模型，也是目前应用最广的模型。是社会学、生物统计学、临床、数量心

深度学习进阶篇-预训练模型[3]：XLNet、BERT、GPT,ELMO的区别优缺点，模型框架等原理详解

这里对传统的AR和AE模型简单总结一下，AR模型是生成式模型，是单向的；AE模型是判别式模型，是双向的。鉴于传统的AR模型和AE模型自身的优点和缺点，XLNet期望能够融合两者的优点同时又避免两者的缺点，这就是XLNet的设计思路。 整体上XLNet是基于AR模型的建模思路设计的，同

《深度学习模型在鸿蒙分布式框架下的跨设备高效之旅》

备的性能自动地分配计算任务和数据，实现资源的高效利用。 深度学习模型在鸿蒙分布式框架下的跨设备训练 - 模型拆分与分配：由于深度学习模型通常具有庞大的结构和大量的参数，单个设备可能无法承担整个模型的训练任务。因此，需要将模型进行拆分，将不同的层或模块分配到不同的设备上进行训练。鸿

GitHub热门项目：生产级深度学习项目如何构建？

在生产中部署深度学习模型可能很有挑战性，因为这远远不仅是训练出具有良好性能的模型就足够了。为了部署生产级深度学习系统，还需要正确设计和开发一众组件。本文介绍了 GitHub 上的一个工程指南，用于构建将部署在实际应用程序中的生产级深度学习系统。详情请点击博文链接：https://bbs

机器学习--模型评估、过拟合和欠拟合、模型验证

给定了数据与超参数并且已经训练好了模型，然后再来判断模型的好坏（与超参数与数据相关）  一、模型评估 模型指标 在监督学习中，我们常会使用最小化损失函数来训练模型，所以损失(loss value)是用来衡量模型质量的指标； 模型的质量要由多个指标来衡量 如分类时的 模型精度、目标检测时

如何在MindSpore中使用预训练模型进行迁移学习

如何在MindSpore中使用预训练模型进行迁移学习 当我们面临一个新的机器学习任务时，通常我们需要大量的数据和计算资源来从头开始训练一个深度神经网络模型。幸运的是，迁移学习可以帮助我们利用已经在大规模数据集上预训练的模型，在我们自己的任务上取得更好的性能。MindSpore提

深度学习之代理损失函数

function）。代理损失函数作为原目标的代理，还具备一些优点。例如，正确类别的负对数似然通常用作 0 − 1 损失的替代。负对数似然允许模型估计给定样本的类别的条件概率，如果该模型效果好，那么它能够输出期望最小分类误差所对应的类别。在某些情况下，代理损失函数比原函数学到的更多。例如，使用对数似然替代函数时，在训练集上的

深度学习之浅层网络

存在一些函数族能够在网络的深度大于某个值 d 时被高效地近似，而当深度被限制到小于或等于 d 时需要一个远远大于之前的模型。在很多情况下，浅层模型所需的隐藏单元的数量是 n 的指数级。这个结果最初被证明是在那些不与连续可微的神经网络类似的机器学习模型中出现，但现在已经扩展到了这些模型。第一个结果是关于逻辑门电路的

分享深度学习未来发展的学习范式-——简化学习

    在深度学习领域， 特别是在NLP（深度学习领域研究最热潮激动人心的领域）中，模型的规模正在不断增长。最新的GPT-3模型有1750亿个参数。把它和BERT比较就像把木星比作蚊子一样（好吧，不是字面意思）。深度学习的未来会更大吗？    按理来说，不会，GPT-3是非常有说

深度学习之机器学习的算法效果

这两个因素对应机器学习的两个主要挑战：欠拟合(underfitting) 和过拟合(overfitting)。欠拟合发生于模型不能在训练集上获得足够低的误差。过拟合发生于训练误差和和测试误差之间的差距太大。        通过调整模型的容量(capacity)，我们可以控制模型是否偏向于

深度学习笔记之理解

        我们今天知道的一些最早的学习算法，是旨在模拟生物学习的计算模型，即大脑怎样学习或为什么能学习的模型。其结果是深度学习以人工神经网络 (artificial neural network, ANN) 之名而淡去。彼时，深度学习模型被认为是受生物大脑（无论人类大脑或其他动

深度学习=炼金术?

深度学习是目前人工智能最受关注的领域，但黑盒学习法使得深度学习面临一个重要的问题：AI能给出正确的选择，但是人类却并不知道它根据什么给出这个答案。本期将分享深度学习的起源、应用和待解决的问题；可解释AI的研究方向和进展。

arXiv | 药物组合的深度生成模型

g Shen课题组首次提出使用生成模型来加速发现抗耐药性的药物组合。 2 研究方法 （1）层次变分图自编码器（HVGAE）学习基因和疾病表征 第一层输入为基因-基因网络数据，使用图神经网络(GNN)学习基因特征表示，将邻接张量和学习到的基因特征利用变分自编码器生成基因表征。