李钊：如何入门深度学习个性化推荐

2017年3月9日，周四晚上8点30分，PaddlePaddle 官方开源社区成员李钊带来了主题为“深度学习第二课：个性化推荐”的交流。以下是主持人小冰整理的问答实录，记录了老师和读者问答的精彩时刻。问：看到你在生物信息学上使用深度学习技术，能分享一下深度学习在生物信息学、疾病预测等方面的应用吗？或者你们探索的经历？答：我们当初研究的是一种非编码

β的深度学习笔记（二）机器学习和神经网络

html#first 一、机器学习： 依据数据所做的判断跟机器学习的思想根本上是一致的。 机器学习方法是计算机利用已有的数据(经验)，得出了某种模型(迟到的规律)，并利用此模型预测未来(是否迟到)的一种方法。 机器学习的方法： 回归算法：线性回归和逻辑回归。线性回归处理的是数值问题，逻辑回归预测结果是离散的分类。

【云驻共创】深度学习概览

带着这些学习目标，让我们一起学习深度学习的内容吧～ 目录 深度学习简介 训练法则 正则化 优化器 神经网络类型 常见问题 1. 深度学习简介 首先，我们看下如下图传统机器学习和深度学习的一种比较。众所周知深度学习是属于机器学习，但是由于大多数深度学习的样本是没有标签的，而且在神

深度学习中的知识蒸馏技术

标签之间的域迁移假如使用狗和猫的数据集训练了一个teacher模型A，使用香蕉和苹果训练了一个teacher模型B，那么就可以用这两个模型同时蒸馏出一个可以识别狗、猫、香蕉以及苹果的模型，将两个不同域的数据集进行集成和迁移。因此，在工业界中对知识蒸馏和迁移学习也有着非常强烈的需求。补充模型压缩的知识模型压缩大体上可以分为

基于深度学习的标签分布学习介绍

背景 学习的本质是构建从实例到标签的映射关系，但有时候标签存在模糊性，即一个实例不一定映射到一个标签，现有的学习范式中，主要存在两种形式——单标签学习和多标签学习。单标签学习是指给一个实例分配一个标签，多标签学习是指给一个实例分配多个标签。 以上两种形式都在回答一个问题：“哪个

MATLAB深度学习 2019

深度学习之局部极小值

对于实际中感兴趣的网络，是否存在大量代价很高的局部极小值，优化算法是否会碰到这些局部极小值，都是尚未解决的公开问题。多年来，大多数从业者认为局部极小值是困扰神经网络优化的常见问题。如今，情况有所变化。这个问题仍然是学术界的热点问题，但是学者们现在猜想，对于足够大的神经网络而言，大

深度学习笔记之贝叶斯规则

        我们经常会需要在已知 P (y | x) 时计算 P (x | y)。幸运的是，如果还知道 P (x)，我们可以用贝叶斯规则 (Bayes’ rule) 来实现这一目的：        注意到 P (y) 出现在上面的公式中，它通常使用 P (y) = ∑x P (y

深度学习之病态条件数

条件数表明函数相对于输入的微小变化而变化的快慢程度。输入被轻微扰动而迅速改变的函数对于科学计算来说是可能是有问题的，因为输入中的舍入误差可能导致输出的巨大变化。考虑函数 f(x) = A−1x。当 A ∈ Rn×n 具有特征值分解时，其条件数为：这是最大和最小特征值的模之比。当该

深度学习之代理损失函数

有时，我们真正关心的损失函数（比如分类误差）并不能被高效地优化。例如，即使对于线性分类器而言，精确地最小化 0 − 1 损失通常是不可解的（复杂度是输入维数的指数级别）(Marcotte and Savard, 1992)。在这种情况下，我们通常会优化代理损失函数（surrogate

【课程】深度学习课程无法加载

问题如图所示

深度学习之提前终止策略

另一个策略是保持从第一轮训练获得的参数，然后使用全部的数据继续训练。在这个阶段，已经没有验证集指导我们需要在训练多少步后终止。相反，我们可以监控验证集的平均损失函数，并继续训练，直到它低于提前终止过程终止时的目标值。此策略避免了重新训练模型的高成本，但表现并没有那么好。例如，验证

深度学习基础——PyTorch简介和Tensor张量详解

支持GPU，有着更高级而又易用的功能，可以用来快捷地构建和训练深度神经网络。一经发布，PyTorch便受到深度学习和开发者们广泛关注和讨论。经过一年多的发展，目前PyTorch已经成为机器学习和深度学习者重要的研究和开发工具之一。 按照官方的说法，PyTorch 具有如下3个最关键的特性：

深度学习笔记之KL散度

分布的负对数似然，但那是用词不当的。任何一个由负对数似然组成的损失都是定义在训练集上的经验分布和定义在模型上的概率分布之间的交叉熵。例如，均方误差是经验分布和高斯模型之间的交叉熵。我们可以将最大似然看作是使模型分布尽可能和经验分布 pˆdata 相匹配的尝试。理想情况下，我们希望匹配真实的数据生成分布

深度学习笔记之逻辑回归

类 0 和类 1，那么我们只需要指定这两类之一的概率。类 1 的概率决定了类 0 的概率，因为这两个值加起来必须等于 1。我们用于线性回归的实数正态分布是用均值参数化的。我们提供这个均值的任何值都是有效的。二元变量上的的分布稍微复杂些，因为它的均值必须始终在 0 和1 之间。解

深度学习之其他隐藏单元

h = cos(Wx + b) 测试了一个前馈网络，并获得了小于 1% 的误差率，这可以与更为传统的激活函数获得的结果相媲美。在新技术的研究和开发期间，通常会测试许多不同的激活函数，并且会发现许多标准方法的变体表现非常好。这意味着，通常新的隐藏单元类型只有在被明确证明能够提供显著改

《MXNet深度学习实战》

魏凯峰　著PREFACE前　　言为什么要写这本书深度学习领域开始受到越来越多的关注，各大深度学习框架也孕育而生，在这个阶段，我被深度学习深深吸引并逐渐开始学习相关知识。研究生毕业后，我继续从事算法相关的工作，具体而言是深度学习算法在图像领域的应用，也就是常说的计算机视觉算法。MXNet和PyTorch这两个

深度学习算法中的深度强化学习（Deep Reinforcement Learning）

体问题和环境进行调整和优化。自动驾驶是一个复杂的领域，还有许多其他的算法和技术可以用于改进和扩展。 结论 深度强化学习作为一种结合了深度学习和强化学习的方法，已经在许多领域取得了重大突破。通过使用深度神经网络来近似值函数或策略函数，深度强化学习能够处理高维、复杂的状态和动作空间