检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ReLU(Rectified Linear Unit）函数出现和流行的时间都比较晚，但却是深度学习常用的激活函数。它非常简单： ReLU(x)=max(x,0) 是一个折线函数，所有负的输入值都变换成0，所有非负的输入值，函数值都等于输入值本身。
在深度学习中，我们通常要学习生成数据集的整个概率分布，显式地，比如密度估计，或是隐式地，比如合成或去噪。还有一些其他类型的无监督学习任务，例如聚类，将数据集分成相似样本的集合。
深度学习中常用的backbone有resnet系列（resnet的各种变体）、NAS网络系列（RegNet）、Mobilenet系列、Darknet系列、HRNet系列、Transformer系列和ConvNeXt。
回想一下Bagging学习，我们定义 k 个不同的模型，从训练集有替换采样构造k 个不同的数据集，然后在训练集 i 上训练模型 i。Dropout的目标是在指数级数量的神经网络上近似这个过程。具体来说，在训练中使用Dropout时，我们会使用基于小批量的学习算法和较小的步长，如梯度下降等
为了使前馈网络的想法更加具体，我们首先从前馈网络充分发挥作用的一个简单例子说起：学习 XOR 函数。 XOR 函数（“异或” 逻辑）是两个二进制值 x1 和 x2 的运算。当这些二进制值中恰好有一个为 1 时，XOR 函数返回值为 1。其余情况下返回值为
这两个问题说明，在深度学习中我们很少使用经验风险最小化。反之，我们会使用一个稍有不同的方法，我们真正优化的目标会更加不同于我们希望优化的目标。
深度学习借鉴的这个过程就是建模的过程。
深度学习的进步也严重依赖于软件基础架构的进展。
到目前为止，面向自然语言处理任务的深度学习架构仍在不断进化，与强化学习、无监督学习等的结合应该会带来效果更优的模型。1.3.4 其他领域深度学习在其他领域（如生物学、医疗和金融等）也有很多应用。在生物学研究中，深度学习算法可以发现人类无法捕捉到的特征。
什么是神经网络 我们常常用深度学习这个术语来指训练神经网络的过程。有时它指的是特别大规模的神经网络训练。那么神经网络究竟是什么呢？在这个文章中，我会说一些直观的基础知识。让我们从一个房价预测的例子开始说起。 假设你有一个数据集，它包含了六栋房子的信息。
有趣的是，二十一世纪初，连接主义学习又卷上重来，掀起了以 “深度学习”为名的热潮．所谓深度学习，狭义地说就是 “很多层 ＂ 的神经网络．在若干测试和竞赛上，尤其是涉及语音、 图像等复杂对象的应用中，深度学习技术取得了优越性能以往机器学习技术在应用中要取得好性能，对使用者的要求较高；
方法一：找到CUDA跟英伟达驱动的匹配列表：如果不能解决问题见方法二（精准查找）：1594371552197070654.png方法二：直接查询相关显卡支持的CUDA具体版本：1594371578310078832.png相关链接：https://www.nvidia.com/Download
深度学习的核心是构建多层的神经网络，而卷积神经网络（CNN）的发展，尤其是AlexNet在2012年的突破，让我对深度学习的强大能力有了更深的认识。在学习过程中，我也了解到了不同的深度学习开发框架，包括Theano、Caffe、Torch、PyTorch以及Keras等。
深度学习框架有哪些？各有什么优势？
深度学习区别于传统的浅层学习，深度学习的不同在于： (1)强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；(2)明确了特征学习的重要性。也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更容易。
图像识别图像识别是深度学习最成功的应用之一。深度学习在计算机视觉领域的突破发生在2012年，Hinton教授的研究小组利用卷积神经网络架构（AlexNet）大幅降低了ImageNet ILSVRC挑战中图像分类任务的错误率并取得了冠军。
尽管在图上进行深度学习的不同模型太多了，但迄今为止，很少有人提出方法来处理呈现某种动态性质的图(例如，随着时间的推移而进化的特征或连通性)。在本文中，我们提出了时序图网络(TGNs)，一个通用的，有效的框架，用于深度学习动态图表示为时间事件序列。
深度学习主要应用于文字识别、人脸技术、语义分析、智能监控等领域。目前在智能硬件、教育、医疗等行业也在快速布局。2、所需数据量机器学习能够适应各种数据量，特别是数据量较小的场景。如果数据量迅速增加，那么深度学习的效果将更加突出，这是因为深度学习算法需要大量数据才能完美理解。
之前学了一个深度学习应用开发，学了一段时间，后来就没学了。 确实是"靡不有初，鲜克有终"，现在不愿意再继续之前的学。我又找了一本书从头开始，这本书的名字是深度学习入门与TensorFlow实践>。 `数（scalar）`是一个数字。 简直是废话。 不过这才刚开始嘛。
而深度学习是从原始特征出发， 自动学习高级特征组合， 整个过程是端到端的， 直接保证最终输出的是最优解。但中间的隐层是一个黑箱， 我们并不知道机器提取出了什么特征 。 !
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
