《深度学习笔记》四 - NLP部分

另一种是根据中间词来预测上下文的Skip-gram（跳字模型） 来看3个句子： I like deep learning. I like NLP. I enjoy flying. (这3个句子来自于斯坦福大学《深度学习与自然语言处理》CS224d) 先来统计上述词汇的共现矩阵。

MATLAB深度学习 2019

深度学习之梯度消失和爆炸

更明显了，第四隐藏层比第一隐藏层的更新速度慢了两个数量级图片来自网络总结：从深层网络角度来讲，不同的层学习的速度差异很大，表现为网络中靠近输出的层学习的情况很好，靠近输入的层学习的很慢，有时甚至训练了很久，前几层的权值和刚开始随机初始化的值差不多。因此，梯度消失、爆炸，其根本原因

数学物理与深度学习（1）【原创】

那么有没有合适的理论框架能够处理增加/减少参数以抑制欠拟合/过拟合的机制呢？ 这首先得回到深度学习的本质上来。学习的本质是在输入数据到输出数据之间建立映射关系。数学上即定义了输入到输出的函数关系。那么，这样的函数关系是如何建立的呢？实际上，深度学习的核心算法是反向传播算法，它与物理上的变分法求解经典运动方程是

深度学习之前馈网络的历史

网络。前馈网络中基于梯度的学习自 2012年以来一直被视为一种强大的技术，并应用于许多其他机器学习任务，而不是被视为必须由其他技术支持的不可靠技术。在 2006 年，业内使用无监督学习来支持监督学习，现在更讽刺的是，更常见的是使用监督学习来支持无监督学习。

深度学习常用损失函数总览（1）

深度学习中分类与回归常用的几种损失函数，包括均方差损失 Mean Squared Loss、平均绝对误差损失 Mean Absolute Error Loss、Huber Loss、分位数损失 Quantile Loss、交叉熵损失函数 Cross Entropy Loss、Hinge

深度学习中的知识蒸馏技术

和泛化能力，而小模型因为网络规模较小，表达能力有限。因此，可以利用大模型学习到的知识去指导小模型训练，使得小模型具有与大模型相当的性能，但是参数数量大幅降低，从而实现模型压缩与加速，这就是知识蒸馏与迁移学习在模型优化中的应用。Hinton等人最早在文章《Distilling the

深度学习的训练，验证，测试集

**和**CPU**的具体配置以及其他诸多因素。 目前为止，我觉得，对于很多应用系统，即使是经验丰富的深度学习行家也不太可能一开始就预设出最匹配的超级参数，所以说，应用深度学习是一个典型的迭代过程，需要多次循环往复，才能为应用程序找到一个称心的神经网络，因此循环该过程的效率是决定

深度学习算法中的深度强化学习（Deep Reinforcement Learning）

决这一问题，引入了深度强化学习（Deep Reinforcement Learning）的概念。本文将介绍深度强化学习的基本概念、算法原理以及在实际应用中的一些案例。 深度强化学习的基本概念 深度强化学习是将深度学习与强化学习相结合的一种方法。在深度强化学习中，智能体通过与环

《深度学习：主流框架和编程实战》——1.4　优化深度学习的方法

1.4　优化深度学习的方法目前，深度学习在多种目标分类和识别任务中取得优于传统算法的结果，并产生大量优秀的模型，使用迁移学习方法将优秀的模型应用在其他任务中，可以达到在减少深度学习训练时间的前提下，提升分类任务性能，同时降低对训练集规模的依赖，关于迁移学习及其实例分析将在第6章进

深度学习基础-机器学习基本原理

本文大部分内容参考《深度学习》书籍，从中抽取重要的知识点，并对部分概念和原理加以自己的总结，适合当作原书的补充资料阅读，也可当作快速阅览机器学习原理基础知识的参考资料。 前言 深度学习是机器学习的一个特定分支。我们要想充分理解深度学习，必须对机器学习的基本原理有深刻的理解。

学习笔记 - 解释深度神经网络

深度神经网络给人以一种神秘的力量，它为什么能有效地完成那么多出色的任务？如何解释网络中的特征含义是解密深度神经网络的一个有效方法。下面这篇论文《Shapley Explanation Networks》基于Shapley Values来进行网络特性的解释，其阐述如下：Shaple

《深度学习：主流框架和编程实战》——2TensorFlow深度学习框

第2章TensorFlow深度学习框架构建方法与图像分类的实现Google公司不仅是大数据和云计算的领导者，在机器学习和深度学习领域也有很好的实践和积累，其内部使用的深度学习框架TensorFlow使深度学习爱好者的学习门槛越来越低。TensorFlow作为一个用于机器智能的开源

深度学习之没有免费午餐定理

行假设的话，那么我们可以设计在这些分布上效果良好的学习算法。       这意味着机器学习研究的目标不是找一个通用学习算法或是绝对最好的学习算法。反之，我们的目标是理解什么样的分布和人工智能获取经验的“真实世界”相关，什么样的学习算法在我们关注的数据生成分布上效果最好。

机器学习、深度学习与神经网络：探索AI的核心概念

长，从而推动了深度学习的进步。总结：机器学习、深度学习和神经网络是人工智能领域的核心概念，它们相互关联并推动着彼此的发展。机器学习让计算机系统能够从数据中学习和做出决策；深度学习利用深度神经网络处理和分析大量数据，并自动提取和抽象高层次的特征；而神经网络则是深度学习的核心组件，模

你真正了解深度学习了吗？

书要重点探讨的深度学习是具有多级表示的表征学习方法。在每一级（从原始数据开始），深度学习通过简单的函数将该级的表示变换为更高级的表示。因此，深度学习模型也可以看作是由许多简单函数复合而成的函数。当这些复合的函数足够多时，深度学习模型就可以表达非常复杂的变换。深度学习可以逐级表示越

深度学习 | 深度学习算法中英文对照表

  Convolutional Neural Networks   (CNN)卷积神经网络AutoEncoder  自动编码器Sparse Coding  稀疏编码Restricted Boltzmann Machine(RBM) 

深度学习之局部极小值

发现了任何形式的临界点，我们都会知道已经找到了一个不错的可行解。对于非凸函数时，如神经网络，有可能会存在多个局部极小值。事实上，几乎所有的深度模型基本上都会有非常多的局部极小值。然而，我们会发现这并不是主要问题。

深度学习方法在 NER 中的应用

领域中的研究热点，从早期基于词典和规则的方法，到传统机器学习的方法，到近年来基于深度学习的方法，NER 研究进展的大概趋势大致如下图所示。在基于机器学习的方法中，NER 被当作序列标注问题。利用大规模语料来学习出标注模型，从而对句子的各个位置进行标注。**NER 任务中的常用模型包括生成式模型

基于深度学习的骨龄自动评估方法

随着深度学习技术在语义加工，人脸识别等领域的成功应用，深度学习方法在自动化骨龄评估中也有了一些尝试。深度学习方法与传统模式识别方法相比，其最大的优点在于无需构造手工特征，将特征提取和分类相结合。传统方法中，因依赖于手工调参，特征参数数量有限；而深度学习可以挖掘到的特征数量成千上万