深度学习之反向传播算法

我们使用反向传播作为一种策略来避免多次计算链式法则中的相同子表达式。由于这些重复子表达式的存在，简单的算法可能具有指数运行时间。现在我们已经详细说明了反向传播算法，我们可以去理解它的计算成本。如果我们假设每个操作的执行都有大致相同的开销，那么我们可以依据执行操作的数量来分析计算成

分享深度学习算法——MetaHIN 模型

索了元学习的能力，同时在数据层面研究了异质信息网络的表达能力。在MetaHIN中，作者提出使用多方面的语义上下文来增强每个用户的任务，因此设计了一种新颖的语义增强型任务构建器，用于在元学习场景中捕获异质信息网络中的语义信息。进一步地，我们构建了一个协同适应元学习器。该学习器既具有

元启发式算法（Meta-heuristics Algorithm）

based）的元启发式算法，例如： 模拟退火算法 （Simulated Annealing）和禁忌搜索算法（Tabu Search）； 另外是基于群体（Population based）的元启发式算法，比如遗传算法（Genetic Algorithm）,分散搜索算法（Scatter

元启发式算法（Meta-heuristics Algorithm）

solution based的元启发式算法，例如： Simulated Annealing和Tabu Search。　　另外是基于Population based的元启发式算法，比如Genetic Algorithm,Scatter Search Algorithm,Particle Swarm

【元启发式算法】基于序列优化的遗传算法常用变异算子

很多问题的优化可以建模为基于序列的优化，如旅行商问题（TSP）,排产问题，各类资源分配问题等，不同的序列有不同的优度。寻找最优序列的问题是NP难问题（其解空间为N!）。详情请点击博文链接：https://bbs.huaweicloud.com/blogs/160953

深度学习之小批量算法

比其他算法更敏感，这通常有两个可能原因。一个是它们使用了很难在少量样本上精确估计的信息，另一个是它们以放大采样误差的方式使用了信息。仅基于梯度 g的更新方法通常相对鲁棒，并能使用较小的批量获得成功，如 100。使用Hessian矩阵 H，计算如 H−1g 更新的二阶方法通常需要更大的批量，如

深度学习之最优化算法

2006)，如牛顿法。在本书大多数上下文中使用的优化算法适用于各种各样的函数，但几乎都没有保证。因为在深度学习中使用的函数族是相当复杂的，所以深度学习算法往往缺乏保证。在许多其他领域，优化的主要方法是为有限的函数族设计优化算法。在深度学习的背景下，限制函数满足Lipschitz 连续 (Lipschitz

分享深度学习算法——GPT-GNN

15437推荐原因该论文介绍的工作是致力于预训练图神经网络，以期GNN能够学习到图数据的结构和特征信息，从而能帮助标注数据较少的下游任务。  论文已经被KDD 2020 收录。文章提出用生成模型来对图分布进行建模，即逐步预测出一个图中一个新节点会有哪些特征、会和图中哪些节点相连。在第一步中，通过已经观测到的

深度学习: 反向传播和其他的微分算法

y 是函数的另外一组输入变量，但我们并不需要它们的导数。在学习算法中，我们最常需要的梯度是代价函数关于参数的梯度，即 ∇θJ(θ)。许多机器学习任务需要计算其他导数，来作为学习过程的一部分，或者用来分析学得的模型。反向传播算法也适用于这些任务，不局限于计算代价函数关于参数的梯度。通

【元启发式算法】基于序列优化的遗传算法常用变异算子

）。解决方法常用两种方法解决这类问题：一种是启发式算法，基于问题本身的规则得到较好的可行解，本质是贪心算法，这种方法速度较快，但因与问题本身联系紧密（problem-specific）,导致其通用性较差。另一种方法是元启发式算法，例如遗传算法、禁忌搜索算法、蚁群算法、模拟退火算法等。这类方法从进化，物

深度学习经典算法 | 模拟退火算法详解

接受，为当前温度。 ⑤在温度下，重复L，次的扰动和接受过程，即执行步骤③与④。 ⑥判断T是否已到达，是，则终止算法；否，则转到步骤②继续执行。 算法实质分两层循环，在任一温度随机扰动产生新解，并计算目标函数值的变化，决定是否被接受。由于算法初始温度比较高，这样，使E增大的新解在初始时也可能被接受

深度学习基础知识--梯度下降算法

）梯度下降的算法，这是介于批量梯度下降算法和随机梯度下降算法之间的折中算法。每次随机选取样本数量为b（b<m）的小批量样本。这样一方面节省了计算整个批量的时间，同时用小批量计算的梯度方向也会比基于一个样本的随机梯度方向更加准确。小批量梯度下降算法如算法2.1所示。算法2.1　小批量梯度下降算法输入:数据集

深度学习基础知识--分类问题算法

与回归问题不同的是，分类问题的输出不再是连续值，而是离散值，即样本的类别。分类问题在现实中的应用非常广泛，例如区分图片上的猫和狗、手写数字识别、垃圾邮件分类、人脸识别等。分类问题有二分类（“是”或“不是”）和多分类（多个类别中判别哪一类），而所有的多分类问题都可以转换成多个二分类问题，例如在分类动物的时候

深度学习经典算法 | 蚁群算法解析

因此，也可将蚂蚁王国理解为所谓的增强型学习系统。 在自然界中，蚁群的这种寻找路径的过程表现为一种正反馈过程，“蚁群算法”就是模仿生物学蚂蚁群觅食寻找最优路径原理衍生出来的。 蚁群算法数学模型 应该说前面介绍的蚁群算法只是一种算法思想，要是想真正应用该算法，还需要针对一个特定问题， 建

深度学习之反向传播和其他的微分算法

y 是函数的另外一组输入变量，但我们并不需要它们的导数。在学习算法中，我们最常需要的梯度是代价函数关于参数的梯度，即 ∇θJ(θ)。许多机器学习任务需要计算其他导数，来作为学习过程的一部分，或者用来分析学得的模型。反向传播算法也适用于这些任务，不局限于计算代价函数关于参数的梯度。通

机器学习算法选择

数据中同类样本之间的距离尽可能减小,而不同类别样本之间的距离尽可能增大,常用的度量学习方法分为全局度量学习和局部度量学习,深度学习也可以与度量学习相结合,利用深度神经网络自适应学习特征表达,当数据量较多时,推荐使用深度度量学习深度度量学习已经成功用于人脸识别等领域。    决策树通过递归划分样本特征

深度学习笔记之表示学习算法举例说明

        表示学习算法的典型例子是自编码器 (autoencoder)。自编码器由一个编码器 (encoder) 函数和一个解码器 (decoder) 函数组合而成。编码器函数将输入数据转换为一种不同的表示，而解码器函数则将这个新的表示转换到原来的形式。我们期望当输入数据经

机器学习算法介绍—回归算法

       回归算法比较简单，介绍它可以让人平滑地从统计学迁移到机器学习中。回归算法是后面若干强大算法的基石，如果不理解回归算法，无法学习那些强大的算法。回归算法有两个重要的子类：即线性回归和逻辑回归。       线性回归就是我们前面说过的房价求解问题。如何拟合出一条直线最佳

DeepMind用神经网络自动构建启发式算法，求解MIP问题

机器学习算法介绍—聚类算法

  前面的算法中的一个显著特征就是我的训练数据中包含了标签，训练出的模型可以对其他未知数据预测标签。在下面的算法中，训练数据都是不含标签的，而算法的目的则是通过训练，推测出这些数据的标签。这类算法有一个统称，即无监督算法(前面有标签的数据的算法则是有监督算法)。无监督算法中最典型的