检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ReLU(Rectified Linear Unit）函数出现和流行的时间都比较晚，但却是深度学习常用的激活函数。它非常简单： ReLU(x)=max(x,0) 是一个折线函数，所有负的输入值都变换成0，所有非负的输入值，函数值都等于输入值本身。
深度学习的进步也严重依赖于软件基础架构的进展。
深度学习中常用的backbone有resnet系列（resnet的各种变体）、NAS网络系列（RegNet）、Mobilenet系列、Darknet系列、HRNet系列、Transformer系列和ConvNeXt。
到目前为止，面向自然语言处理任务的深度学习架构仍在不断进化，与强化学习、无监督学习等的结合应该会带来效果更优的模型。1.3.4 其他领域深度学习在其他领域（如生物学、医疗和金融等）也有很多应用。在生物学研究中，深度学习算法可以发现人类无法捕捉到的特征。
图 1.4: 维恩图展示了深度学习是一种表示学习，也是一种机器学习，可以用于许多（但不是全部） AI方法。
这两个问题说明，在深度学习中我们很少使用经验风险最小化。反之，我们会使用一个稍有不同的方法，我们真正优化的目标会更加不同于我们希望优化的目标。
深度学习框架有哪些？各有什么优势？
深度学习区别于传统的浅层学习，深度学习的不同在于： (1)强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；(2)明确了特征学习的重要性。也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更容易。
深度学习借鉴的这个过程就是建模的过程。
尽管在图上进行深度学习的不同模型太多了，但迄今为止，很少有人提出方法来处理呈现某种动态性质的图(例如，随着时间的推移而进化的特征或连通性)。在本文中，我们提出了时序图网络(TGNs)，一个通用的，有效的框架，用于深度学习动态图表示为时间事件序列。
图像识别图像识别是深度学习最成功的应用之一。深度学习在计算机视觉领域的突破发生在2012年，Hinton教授的研究小组利用卷积神经网络架构（AlexNet）大幅降低了ImageNet ILSVRC挑战中图像分类任务的错误率并取得了冠军。
什么是神经网络 我们常常用深度学习这个术语来指训练神经网络的过程。有时它指的是特别大规模的神经网络训练。那么神经网络究竟是什么呢？在这个文章中，我会说一些直观的基础知识。让我们从一个房价预测的例子开始说起。 假设你有一个数据集，它包含了六栋房子的信息。
之前学了一个深度学习应用开发，学了一段时间，后来就没学了。 确实是"靡不有初，鲜克有终"，现在不愿意再继续之前的学。我又找了一本书从头开始，这本书的名字是深度学习入门与TensorFlow实践>。 `数（scalar）`是一个数字。 简直是废话。 不过这才刚开始嘛。
有趣的是，二十一世纪初，连接主义学习又卷上重来，掀起了以 “深度学习”为名的热潮．所谓深度学习，狭义地说就是 “很多层 ＂ 的神经网络．在若干测试和竞赛上，尤其是涉及语音、 图像等复杂对象的应用中，深度学习技术取得了优越性能以往机器学习技术在应用中要取得好性能，对使用者的要求较高；
线性模型相对比较简单，但是他是学习比较复杂的深度学习模型的一个基础，而且线性模型本身也具有广泛的用途。 这里讲了线性模型中的线性回归模型和logistic模型。线性回归模型用于处理`回归问题`。logistic模型用于处理`分类问题`。 线性回归模型可以写作如下的形式： !
型的深度学习模型有卷积神经网络( convolutional neural network)、DBN和堆栈自编码网络(stacked auto-encoder network)模型等，下面对这些模型进行描述。
改善模型的步骤：1、根据人类表现估计贝叶斯最优错误率。贝叶斯最优错误率是理论上可能达到的最优错误率，也就是说没有办法设计出一个x到y的函数，让它能比这个最优错误率还低。比如一个猫狗识别训练集中有些图片确实很模糊，无论是人还是机器都无法判断某张图的类别，那么最优错误率就不可能是0。估计人类在某个数据集上的表现
名词解释1. 端到端: 端到端是网络连接网络要通信，必须建立连接，不管有多远，中间有多少机器，都必须在两头（源和目的）间建立连接，一旦连接建立起来，就说已经是端到端连接了，即端到端是逻辑链路，这条路可能经过了很复杂的物理路线，但两端主机不管，只认为是有两端的连接，而且一旦通信完成
过拟合，欠拟合 过拟合（overfitting）：学习能力过强，以至于把训练样本所包含的不太一般的特性都学到了。 欠拟合（underfitting）：学习能太差，训练样本的一般性质尚未学好。 下面是直观解释：
这可能是深度学习中最常用的正则化形式。它的流行主要是因为有效性和简单性。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
