- 学堂
- 博客
- 论坛
- 开发服务
- 开发工具
- 直播
- 视频
- 用户
- 一周
- 一个月
- 三个月
-
《深度学习：主流框架和编程实战》——1.2.2 基于统计的深度学习技术
theory）可知，对于任意的非线性函数一定可以找到一个深度学习网络来对其进行表示，但是“可表示”并不代表“可学习”，因此需要进一步了解深度学习的样本复杂度，即需要多少训练样本才能得到一个足够好的深度学习模型。这些问题都有待于从理论层面进行突破，统计学对深度学习的进一步发展有着十分重要的意义。
-
适合新手的深度学习综述（7）--训练和优化技术
Dropout，但保留了隐藏的单元而不是丢弃。7.4 深度残差学习He 等人 (2015) 提出了深度残差学习框架，该框架被称为低训练误差的 ResNet。7.5 批归一化Ioffe 和 Szegedy(2015) 提出了批归一化，通过减少内部协变量移位来加速深度神经网络训练的方法。Ioffe(2017)
-
一分钟带你认识深度学习中的知识蒸馏
一、知识蒸馏入门1.1 概念介绍知识蒸馏（knowledge distillation）是模型压缩的一种常用的方法，不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。最早是由Hinton
-
深度学习的学习路线
实战项目 深度学习是一门实践性很强的学科，需要通过实战项目来加深对理论知识的理解和应用。可以选择一些开源的深度学习项目进行学习和实践，如ImageNet、CIFAR-10等。 2.比赛竞赛 参加深度学习相关的比赛竞赛，可以锻炼自己的深度学习能力和实战经验，也可以与其他深度学习爱好者交
-
深度学习的现实应用
种语言的即时翻译，速度之快宛如魔法。谷歌翻译的背后，就是机器学习。此时，你可能会想，谷歌翻译已经经历了很长的时间，那么现在有些什么新意呢？实际上，在过去的两年时间里，谷歌已经完全将深度学习嵌入进了谷歌翻译中。事实上，这些对语言翻译知之甚少的深度学习研究人员正提出相对简单的机器学习
-
深度学习框架中自动微分的发展和比较
自动微分是深度学习框架的灵魂。一般而言，自动微分是指一种自动求某个函数的导数的方法。在机器学习中，这些导数可以更新权重。在更广泛的自然科学中，这些导数也能用于各种后续计算。自动微分的发展历程如图在自动微分的发展历程中，有以下3种自动微分技术。基于静态计算图的转换：将网络在编译时转
-
深度学习之悬崖和梯度爆炸
多层神经网络通常存在像悬崖一样的斜率较大区域，如图8.3所示。这是由于几个较大的权重相乘导致的。遇到斜率极大的悬崖结构时，梯度更新会很大程度地改变参数值，通常会完全跳过这类悬崖结构。不管我们是从上还是从下接近悬崖，情况都很糟糕，但幸运的是我们可以用使用介绍的启发式梯度截断（gradient
-
深度学习之上溢和下溢
(underflow)。当接近零的数被四舍五入为零时发生下溢。许多函数在其参数为零而不是一个很小的正数时才会表现出质的不同。例如，我们通常要避免被零除（一些软件环境将在这种情况下抛出异常，有些会返回一个非数字 (not-a-number) 的占位符）或避免取零的对数（这通常被视为 −∞，进一步的算术运算
-
深度学习的特点
深度学习区别于传统的浅层学习，深度学习的不同在于： (1)强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；(2)明确了特征学习的重要性。也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更容易。与人工规则构造特征的方法相比，
-
深度学习的模型介绍
深度神经网络：深度学习的模型有很多，目前开发者最常用的深度学习模型与架构包括卷积神经网络 (CNN)、深度置信网络 (DBN)、受限玻尔兹曼机 (RBM)、递归神经网络 (RNN & LSTM & GRU)、递归张量神经网络 (RNTN)、自动编码器 (AutoEncoder)、生成对抗网络
-
深度学习的现实应用
重要成果就是词向量的学习。词向量可以看作是一种运用深度神经网络将词转换成隐含空间中的一个向量化的位置表示的方法。将词向量作为循环神经网络的输入，能有效利用合成式的向量语法对句子和短语进行解析。合成式的向量语法可以被认为是由循环神经网络实施的上下文无关的概率语法。另一方面，以长短期
-
Google资深工程师深度讲解Go语言-迷宫的广度优先搜索(十二)
一.广度优先算法 为爬虫实战项目做好准备应用广泛,综合性强面试常见 探索顺序: 上左下右 节点三种状态: 已经发现,但没有探索过 已经发现,并探索完成没有发现 结束条件:(1)走到终点 (2)走到队列为空 maze
-
深度优先搜索（DFS）与广度优先搜索（BFS）及其应用场景
在算法领域中，深度优先搜索（DFS）和广度优先搜索（BFS）是两种常见且重要的图遍历算法。它们各自具有独特的特点和适用场景。本文将详细介绍这两种算法，并探讨它们的最佳应用场景。一、深度优先搜索（DFS）深度优先搜索是一种用于遍历或搜索树或图的算法。这个算法会尽可能深地搜索图的分支。当节
-
深度学习的特点
深度学习区别于传统的浅层学习，深度学习的不同在于： (1)强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；(2)明确了特征学习的重要性。也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更容易。与人工规则构造特征的方法相比，
-
机器学习以及深度学习
所谓“ 机器学习” ， 是指利用算法使计算机能够像人一样从数据中挖掘出信息； 而“ 深度学习”作为“机器学习”的一个**子集**， 相比其他学习方法， 使用了更多的参数、模型也更复杂， 从而使得模型对数据的理解更加深人， 也更加智能。 传统机器学习是分步骤来进行的， 每一步的最优解不一定带来结果的最优解；
-
神经网络和深度学习有什么关系？
最近在网上看到说神经网络就是深度学习，然后自己又在打算去学习这方面的知识。本来想着去买一本神经网络的书，和一本深度学习的书看看。看到这个后我就在想如果真是这样就只用买一本深度学习了。但是又不太确定。网上的说法不一，所以来问问各位大佬的意见
-
深度学习之反向传播和其他的微分算法
代价函数的信息通过网络向后流动，以便计算梯度。计算梯度的解析表达式是很直观的，但是数值化地求解这样的表达式在计算上的代价可能很大。反向传播算法使用简单和廉价的程序来实现这个目标。反向传播这个术语经常被误解为用于多层神经网络的整个学习算法。实际上，反向传播仅指用于计算梯度的方法，而
-
分享深度学习的BERT和微调NLP模型
须从头开始训练的模型表现得更好。同样地，一个已经学会预测句子里的下一个单词的模型，也应该对人类语言模式有一定的了解。我们可能期望这个模型可以作为翻译或情感分析等相关任务的好的初始化模型。 预训练和微调在计算机视觉和自然语言处理中都已有了成功的应用。虽然预训练和微调在计算机视
-
浅谈深度学习
学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。深度学习的思想：深度神经网络的基本思想是通过构建多层网络，对目标进行多层表示，以期通过多层的高层次特征来表示数据的抽象语义信息，获得更好的特征鲁棒性。深度学习应用
-
PyTorch深度学习实战 | 深度学习框架（PyTorch）
实地执行，所以当用户的代码出现缺陷（bug）的时候，可以通过这些信息轻松快捷地找到出错的代码，不会让用户在调试（Debug）的时候因为错误的指向或者异步和不透明的引擎浪费太多的时间。 PyTorch的代码相对于TensorFlow而言，更加简洁直观，同时对于TensorFlow高
