深度学习之对抗样本

回归，由于它们被限制为线性而无法抵抗对抗样本。神经网络能够将函数从接近线性转化为局部近似恒定，从而可以灵活地捕获到训练数据中的线性趋势同时学习抵抗局部扰动。

《深度学习入门》笔记 - 08

(pred)) print('w=3时，残差平方和：'+str(round(rss,ndigits=3))) print('w=3时，RSS(w)的梯度：'+str(grad)) #w=3时，预测值：1.5 #w=3时，残差平方和：0.245 #w=3时，RSS(w)的梯度：0.35

深度学习Sigmoid 激活函数

Sigmoid 函数的图像看起来像一个 S 形曲线。

深度学习GoogLeNet结构

深度学习之计算图

为了更精确地描述反向传播算法，使用更精确的计算图（computational graph）语言是很有帮助的。将计算形式化为图形的方法有很多。这里，我们使用图中的每一个节点来表示一个变量。变量可以是标量、向量、矩阵、张量、或者甚至是另一类型的变量。为了形式化我们的图形，我们还需引入

感觉自动学习里的使用指南不够详细

最近想体验一下自动学习功能里的“预测分析”和“文本分类”功能，但操作指南里讲的并不详细，而且发现所有操作指南里的内容都是一摸一样的，起不到指南的作用（如图），希望内容能够再详细一些，例如：至少告诉使用者准备什么样的数据去训练，要标注哪些内容，训练得到什么样的结果，最好在指南里附有案例。

【问答官】学习深度学习需要懂的数据结构和算法有哪些？

想要从数据结构和算法的层面去理解深度学习，需要做哪些尝试？

深度学习之参数范数惩罚

正则化在深度学习的出现前就已经被使用了数十年。线性模型，如线性回归和逻辑回归可以使用简单、直接、有效的正则化策略。许多正则化方法通过对目标函数 J 添加一个参数范数惩罚 Ω(θ)，限制模型（如神经网络、线性回归或逻辑回归）的学习能力。我们将正则化后的目标函数记为˜(θ; X, y)

Buffer Pool缓存页不够时，如何淘汰缓存？

现有两个缓存页： 一个缓存页的数据，经常被修改和查询，都可以操作缓存，不需要从磁盘加载数据，这那缓存命中率就很高。这种高级员工就是啥脏活累活，都会接受。 另一个缓存页里的数据，刚从磁盘加载到缓存页后，被修改和查询过1次，之后100次请求再没有一次是修改和查询该缓存页数据的，那这缓存命中率就

【问答官】深度学习代码如何进行单元测试

深度学习代码如何进行单元测试

网络安全等级保护2.0建设咨询整改服务

设计安全保障体系方案，综合提升信息系统的安全保障能力和防护水平，确保信息系统的安全稳定运行。具体设计将遵循以下思路开展。 1、构建安全基因的设计思路 合规要求与业务风险分析相结合，信息安全风险分析是识别信息系统面临安全威胁和系统脆弱性的方法，通过风险分析方法可以全面掌握信息系统

智能算法、机器学习、深度学习简介

3、深度学习，可以说是基于人工神经网络的机器学习。区别于传统的机器学习，深度学习需要更多样本，换来更少的人工标注和更高的准确率。深度学习利用深度来取代广度，进一步降低参数，提高拟合能力，很多情况下比传统机器学习表现更好。深度学习常用的方法有：反向传播、随机梯度下降、学习率衰减、迁移学习等。

分享深度学习成果——BERT和微调NLP模型

BERT和微调NLP模型    预训练指的是事先训练一个模型来执行特定任务，然后将训练过程中学到的参数作为初始值以继续学习其他相关任务。直观来说，就是如果一个模型已经学会进行图像分类、区分猫猫和狗狗，也应当大概了解图像和毛茸动物的一般特征。当我们对这个能够区分猫猫狗狗的模型进行微

深度学习之切面距离

的样本和同一流形上的样本具有相同的类别。由于分类器应该对局部因素（对应于流形上的移动）的变化保持不变，一种合理的度量是将点 x1 和 x2 各自所在流形 M1 和 M2 的距离作为点 x1 和 x2 之间的最近邻距离。然而这可能在计算上是困难的（它需要解决一个寻找 M1 和 M2

《深度学习入门》笔记 - 03

Notebook`是WEB应用，可方便的创建、运行和分享python代码。conda install jupyter notebook就可以安装。安装好启动后就自动打开网页，就可以使用了。ctl-c按2次可以退出。有命令模式和编辑模式。有代码框和标记框（`markdown cell`）。

深度学习之流形假设

不足以说明数据位于一个相当小的流形中。我们还必须确定，我们遇到的样本和其他样本相互连接，每个样本被其他高度相似的样本包围，可以通过变换来遍历该流形。支持流形假设的第二个论点是，我们至少能够非正式地想象这些邻域和变换。在图像中，我们当然会认为有很多可能的变换允许我们描绘出图片空间的

动手学深度学习：优化与深度学习的关系

Smola）人工智能机器学习深度学习领域重磅教程图书亚马逊科学家作品动手学深度学习的全新模式，原理与实战紧密结合目前市面上有关深度学习介绍的书籍大多可分两类，一类侧重方法介绍，另一类侧重实践和深度学习工具的介绍。本书同时覆盖方法和实践。本书不仅从数学的角度阐述深度学习的技术与应用，还包

《深度学习入门》笔记 - 23

旁，直到模型完全建立好，再用来计算模型的测试误差。模型的预测效果较差，经常是由于两类问题导致的。那就是 欠拟合，underfitting 和 过拟合 overfitting欠拟合就是学生根本没有学好,根本没有理解知识点。考试的时候就是不会，当然考不好。 过拟合就是学生很刻苦，但是

深度学习之参数共享

些参数相等。由于我们将各种模型或模型组件解释为共享唯一的一组参数，这种正则化方法通常被称为参数共享（parameter sharing）。和正则化参数使其接近（通过范数惩罚）相比，参数共享的一个显著优点是，只有参数（唯一一个集合）的子集需要被存储在内存中。对于某些特定模型，如卷积