检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
但是这个方法只适合少数结构比较简单的模型（比如线性回归模型），不能求解深度学习这类复杂模型的参数。 所以下面介绍的是深度学习中常用的优化算法：`梯度下降法`。其中有三个不同的变体：随机梯度下降法、全数据梯度下降法、和批量随机梯度下降法。
近年来深度学习的很多推动力源自研究局部模版匹配的局限性，以及深度学习如何克服这些局限性 (Bengio et al., 2006a)。决策树也有平滑学习的局限性，因为它将输入空间分成和叶节点一样多的区间，并在每个区间使用单独的参数（或者有些决策树的拓展有多个参数）。
深度神经网络：深度学习的模型有很多，目前开发者最常用的深度学习模型与架构包括卷积神经网络 (CNN)、深度置信网络 (DBN)、受限玻尔兹曼机 (RBM)、递归神经网络 (RNN & LSTM & GRU)、递归张量神经网络 (RNTN)、自动编码器 (AutoEncoder)、生成对抗网络
科技公司通过基于GAN的深度学习开发了一种名为“自动全身模型生成人工智能”的技术，他们完全是由人工智能虚拟而成，时尚品牌或广告代理商因而可以不用支付模特酬劳，也不用负担拍摄相关的人员、场地、灯光、设备、甚至是餐饮等成本，这意味着人工智能已经完全可以取代人类模特拍摄时尚宣传广告了。
回想一下Bagging学习，我们定义 k 个不同的模型，从训练集有替换采样构造k 个不同的数据集，然后在训练集 i 上训练模型 i。Dropout的目标是在指数级数量的神经网络上近似这个过程。具体来说，在训练中使用Dropout时，我们会使用基于小批量的学习算法和较小的步长，如梯度下降等
为了使前馈网络的想法更加具体，我们首先从前馈网络充分发挥作用的一个简单例子说起：学习 XOR 函数。 XOR 函数（“异或” 逻辑）是两个二进制值 x1 和 x2 的运算。当这些二进制值中恰好有一个为 1 时，XOR 函数返回值为 1。其余情况下返回值为
点击访问华为云深度学习官网
资深的深度学习开发者都体会过手动求解的过程，不仅求导过程复杂，结果还很容易出错。所以现有深度学习框架，都有自动微分的特性，帮助开发者利用自动微分技术实现自动求导，解决这个复杂、关键的过程。
所以深度学习的良好效果在很大程度上归功于第一步的特征学习的过程。
欠拟合、过拟合的总结如下:接下来是TensorFlow框架部分，之前有个帖子 基于TensorFlow 2建立深度学习的模型 - 快速入门 cid:link_0然后会使用它来建立线性回归模型和神经网络分类模型敬请期待
在深度学习中，我们通常要学习生成数据集的整个概率分布，显式地，比如密度估计，或是隐式地，比如合成或去噪。还有一些其他类型的无监督学习任务，例如聚类，将数据集分成相似样本的集合。
1第1章深度学习简介1.1 深度学习的历史讲解深度学习，不得不提到人工神经网络，本书就先从神经网络的历史讲起，我们首先来看一下第一代的神经网络。1.
深度学习对语音识别产生了巨大影响。语音识别在 20 世纪 90 年代得到提高后，直到约 2000 年都停滞不前。
深度学习的进步也严重依赖于软件基础架构的进展。
深度学习的出现就这个问题提出了一种解决方案。
ReLU(Rectified Linear Unit）函数出现和流行的时间都比较晚，但却是深度学习常用的激活函数。它非常简单： ReLU(x)=max(x,0) 是一个折线函数，所有负的输入值都变换成0，所有非负的输入值，函数值都等于输入值本身。
到目前为止，面向自然语言处理任务的深度学习架构仍在不断进化，与强化学习、无监督学习等的结合应该会带来效果更优的模型。1.3.4 其他领域深度学习在其他领域（如生物学、医疗和金融等）也有很多应用。在生物学研究中，深度学习算法可以发现人类无法捕捉到的特征。
深度学习中常用的backbone有resnet系列（resnet的各种变体）、NAS网络系列（RegNet）、Mobilenet系列、Darknet系列、HRNet系列、Transformer系列和ConvNeXt。
简介 深度学习中做量化提升运行速度是最常用的方法，尤其是大模型这类非常吃GPU显存的方法。一般是高精度浮点数表示的网络权值以及激活值用低精度（例如8比特定点）来近似表示达到模型轻量化，加速深度学习模型推理，目前8比特推理已经比较成熟。
图 1.4: 维恩图展示了深度学习是一种表示学习，也是一种机器学习，可以用于许多（但不是全部） AI方法。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
