【转载】深度学习简介

智能机理的探究也在情理之中。最早的算法之一是由唐纳德·赫布（1904--1985）正式提出的。在他开创性的著作《行为的组织》中，他提出神经是通过正向强化来学习的，即赫布理论 [2]。赫布理论是感知机学习算法的原型，并成为支撑今日深度学习的随机梯度下降算法的基石：强化合意的行为、惩

浅谈深度学习常用术语

的例子中，我们的算法对特定图像预测的结果为0，而0是给定的猫的标签，所以数字0就是我们的预测或输出。· 目标（target）或标签（label）：图像实际标注的标签。· 损失值（loss value）或预测误差（prediction error）：预测值与实际值之间的差距。数值越小，准确率越高。·

Ubuntu深度学习环境配置

7版本或其他版本的，根据自己的需要下载合适的安装包。下载链接：https://www.anaconda.com/download/#linux点击下面的64-Bit (x86) Installer (522 MB)，下载64位的版本。下载完后的文件名是：Anaconda3-2020.02-Linux-x86_64

深度学习之机器学习基础

深度学习是机器学习的一个特定分支。要想学好深度学习，必须对机器学习的基本原理有深刻的理解。本章将探讨贯穿本书其余部分的一些机器学习重要原理。我们建议新手读者或是希望更全面了解的读者参考一些更全面覆盖基础知识的机器学习参考书，例如Murphy (2012) 或者Bishop (20

**Mac深度学习环境配置**

看到自己下载好的应用程序，左上角“Applications on”应该指向的是“base (root)”，左边点击“Environments”就可以看到自己建立的虚拟环境和对应的包了。点击左下角的Create 即可创建一个新的虚拟环境。输入环境名称和python 的版本，点击create

深度学习训练过程

区别最大的部分，可以看作是特征学习过程。具体的，先用无标定数据训练第一层，训练时先学习第一层的参数，这层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层，由于模型容量的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学

《深度学习笔记》的笔记（一）

model）的计算执行方向如下。感觉和线性回归很像呀。 但据说感知机模型不能用于线性回归问题，因为它只关注分类问题，而线性回归问题涉及到回归问题？对于线性不可分的情况，在感知机基础上一般有两个解决方向。 线性不可分是指一组线性数据点，这些数据点上无法划分一条直线来分开类别内的所有数据

深度学习中的Attention机制

Attention，即Attention输出的向量分布是一种one-hot的独热分布或是soft的软分布，直接影响上下文的信息选择。加入Attention的原因：1、当输入序列非常长时，模型难以学到合理的向量表示2、序列输入时，随着序列的不断增长，原始根据时间步的方式的表现越来越差，由于原始的时间步模型设计的结构有缺

《深度学习笔记》的笔记（二）

神经网络的结构从普通的全连接神经网络，发展到卷积神经网络、循环神经网络、自编码器、生成式对抗网络和图神经网络等各种结构， 但BP算法一直是神经网络的一个经典和高效的寻优工具。附神经网络早期一些发展历程1943年，WarrenMcCulloch和WalterPitts于《神经元与行

由线性回归来理解深度学习的理论基础（4）

层），如果我们添加更多隐藏层，则可以拓展处更复杂的功能，即我们接下来要介绍的多层感知器（深度学习）。我们回顾一下：1）感知器是生物神经元的简化模型。2）感知器是用于学习二元分类器的算法：将其输入映射到输出值的函数。3）在神经网络的背景下，感知器是使用Heaviside阶跃函数作为

深度学习项目代码阅读建议

算法进行实现的过程，是一种需要你思维时刻在线的过程。又因为我们读的是深度学习项目代码，不是像Linux内核代码那样的鸿篇巨制，所以在代码性质上多少又有些不同。      笔者这里说的一份深度学习项目代码，小到几百行的测试demo，大到成千万行的开源项目，读起来方法肯定各有不同。如下图Mask

深度学习之多任务学习

是通过合并几个任务中的样例（可以视为对参数施加的软约束）来提高泛化的一种方式。额外的训练样本以同样的方式将模型的参数推向泛化更好的方向，当模型的一部分在任务之间共享时，模型的这一部分更多地被约束为良好的值（假设共享是合理的），往往能更好地泛化。展示了多任务学习中非常普遍的一种形式，其中不同的监督任务（给定

AI、机器学习、深度学习的关系

分享深度学习发展的混合学习

模型可以在监督数据最少的情况下获得最佳性能。  Gan还涉及混合学习的其他领域——自我监督学习。在自监督学习中，无监督问题被明确定义为有监督问题。Gans通过引入生成器手动创建监控数据；创建的标记用于识别真实/生成的图像。在无监督的前提下，创建一个有监督的任务。此外，考虑使用编码

分享深度学习笔记组件学习

组件学习组件学习不仅使用一个模型的知识，还使用多个模型的知识。人们相信，通过独特的信息组合或输入（包括静态和动态），深度学习可以比单一模式更深入地理解和表现。迁移学习是组件学习的一个非常明显的例子。基于这一思想，对类似问题预先训练的模型权重可用于对特定问题进行微调。为了区分不同类型的图像，构建了一

深度学习算法中的集成学习（Ensemble Learning）与深度学习的结合

深度学习相结合的方法。本文将介绍集成学习的基本概念和深度学习的优势，然后讨论集成学习在深度学习中的应用，并总结结合集成学习的深度学习算法的优势和挑战。 什么是集成学习 集成学习是一种通过将多个模型的预测结果进行组合来提高模型性能的方法。常见的集成学习方法包括投票法、平均法和堆叠法

深度学习之历史小计

前馈网络可以被视为一种高效的非线性函数近似器，它以使用梯度下降来最小化函数近似误差为基础。从这个角度来看，现代前馈网络是一般函数近似任务的几个世纪进步的结晶。处于反向传播算法底层的链式法则是 17 世纪发明的 (Leibniz, 1676; L’Hôpital, 1696)。微积

深度学习之隐藏单元

hi，要么是鼻子存在的冗余编码，要么是脸部的另一特征，如嘴。传统的噪声注入技术，在输入端加非结构化的噪声不能够随机地从脸部图像中抹去关于鼻子的信息，除非噪声的幅度大到几乎能抹去图像中所有的信息。破坏提取的特征而不是原始值，让破坏过程充分利用该模型迄今获得的关于输入分布的所有知识。

深度学习之梯度下降

经网络，但是如果这类无鞍算法能够扩展的话，还是很有希望的。除了极小值和鞍点，还存在其他梯度为零的点。例如从优化的角度看与鞍点很相似的极大值，很多算法不会被吸引到极大值，除了未经修改的牛顿法。和极小值一样，许多种类的随机函数的极大值在高维空间中也是指数级稀少。

深度学习图卷积