分享深度学习未来发展的学习范式-——简化学习

    在深度学习领域， 特别是在NLP（深度学习领域研究最热潮激动人心的领域）中，模型的规模正在不断增长。最新的GPT-3模型有1750亿个参数。把它和BERT比较就像把木星比作蚊子一样（好吧，不是字面意思）。深度学习的未来会更大吗？    按理来说，不会，GPT-3是非常有说

深度学习LSTM模型

长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。

椭圆曲线密码点乘、点加运算

深度学习之深度模型中的优化

深度学习算法在许多情况下都涉及到优化。例如，模型中的进行推断（如 PCA）涉及到求解优化问题。我们经常使用解析优化去证明或设计算法。在深度学习涉及到的诸多优化问题中，最难的是神经网络训练。甚至是用几百台机器投入几天到几个月来解决单个神经网络训练问题，也是很常见的。因为这其中的优化

啥是AI、机器学习与深度学习？

也造就了深度学习的蓬勃发展，“深度学习”才一下子火热起来。击败李世石的Alpha go即是深度学习的一个很好的示例。Google的TensorFlow是开源深度学习系统一个比较好的实现，支持CNN、RNN和LSTM算法，是目前在图像识别、自然语言处理方面最流行的深度神经网络模型

深度学习之随机梯度下降

     在深度学习之前，学习非线性模型的主要方法是结合核策略的线性模型。很多核学习算法需要构建一个 m × m 的矩阵 Gi,j = k(x(i), x(j))。构建这个矩阵的计算量是 O(m2)。当数据集是几十亿个样本时，这个计算量是不能接受的。在学术界，深度学习从 2006

深度学习之代理损失函数

个重要不同：训练算法通常不会停止在局部极小点。反之，机器学习通常优化代理损失函数，但是在基于提前终止（第 7.8 节）的收敛条件满足时停止。通常，提前终止使用真实潜在损失函数，如验证集上的 0 − 1 损失，并设计为在过拟合发生之前终止。与纯优化不同的是，提前终止时代理损失函数仍

PyTorch深度学习技术生态

runtimeONNX Runtime是一种跨平台深度学习训练和推理机加速器，与深度学习框架，可以兼容TensorFlow、Keras和PyTorch等多种深度学习框架。ONNX (Open Neural Network Exchange) 是一种用于表示深度学习模型的开放格式，ONNX定义了一组

【转载】深度学习与人脑

深度学习是机器学习的一个子集，它通过接收大量数据并试图从中学习来模拟人脑。在IBM对该术语的定义中，深度学习使系统能够“聚集数据，并以令人难以置信的准确性做出预测。” 然而，尽管深度学习令人难以置信，但IBM尖锐地指出，它无法触及人脑处理和学习信息的能力。深度学习和 DNN（深度

深度学习笔记之理解

        我们今天知道的一些最早的学习算法，是旨在模拟生物学习的计算模型，即大脑怎样学习或为什么能学习的模型。其结果是深度学习以人工神经网络 (artificial neural network, ANN) 之名而淡去。彼时，深度学习模型被认为是受生物大脑（无论人类大脑或其他

pytho作线性拟合、多项式拟合、对数拟合

python opencv拟合： width是总宽，height是总高： [vx, vy, x, y] = cv2.fitLine(np.float32(values[j]), cv2.DIST_L2, 0, 0.01, 0.01) lefty = int((-x

深度学习之无监督学习算法

供的值是特征还是目标。通俗地说，无监督学习是指从不需要人为注释样本的分布中抽取信息的大多数尝试。该术语通常与密度估计相关，学习从分布中采样，学习从分布中去噪，需要数据分布的流形，或是将数据中相关的样本聚类。        一个经典的无监督学习任务是找到数据的 “最佳”表示。“最佳

过拟合

机器学习的问题中，过拟合是一个很常见的问题。过拟合指的是只能拟合训练数据，但不能很好地拟合不包含在训练数据中的其他数据的状态。机器学习的目标是提高泛化能力，即便是没有包含在训练数据里的未观测数据，也希望模型可以进行正确的识别。我们可以制作复杂的、表现力强的模型，但是相应地，抑制过

深度学习之经验E

learning algorithm) 训练含有很多特征的数据集，然后学习出这个数据集上有用的结构性质。在深度学习中，我们通常要学习生成数据集的整个概率分布，显式地，比如密度估计，或是隐式地，比如合成或去噪。还有一些其他类型的无监督学习任务，例如聚类，将数据集分成相似样本的集合。

《深度学习》正则化笔记分享

正则化的主要目的是为了防止过拟合，而它的本质是约束（限制）要优化的参数。通常我们通过在Cost function误差函数中添加惩罚项来实现正则化。当然，正则化有其缺点，那就是引入正则化可能会引起“too much regularization”而产生误差。问：对于正则化，有使模型

深度学习训练过程

一步类似神经网络的随机初始化初值过程，由于第一步不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果。所以深度学习的良好效果在很大程度上归功于第一步的特征学习的过程。

讲解pytho作线性拟合、多项式拟合、对数拟合

讲解Python作线性拟合、多项式拟合、对数拟合 拟合（Fitting）是数据分析中常用的一种方法，它可以根据已有的数据，找到最适合这些数据的函数模型。Python提供了丰富的库和工具，可用于进行线性拟合、多项式拟合和对数拟合。本文将讲解如何使用Python实现这些拟合方法。 线性拟合 线性拟

《百面机器学习》第八问：精确率与召回率的权衡，P-R曲线

结果。 如何解决或者权衡？ 综合评估一个模型的好坏，不仅要看模型在不同Top N下的精确率和召回率，最好是要绘制出模型的P-R曲线。 P-R曲线 F1 score  是精确率和召回率的调和平均值 F1 = ( 2 * P * R ) / ( P + R)

深度学习基本概念

们发现从数据的原始形式直接学得数据表示这件事很难。深度学习是目前最成功的表示学习方法，因此，目前国际表示学习大会（ICLR）的绝大部分论文都是关于深度学习的。深度学习是把表示学习的任务划分成几个小目标，先从数据的原始形式中先学习比较低级的表示，再从低级表示学得比较高级的表示。这样

深度学习框架MindSpore介绍

了横向联邦学习、纵向联邦学习、联邦迁移学习以及联邦强化学习等方法及对应的框架。端侧推理、迁移学习和联邦学习属于端云协同的不同阶段1　编程简单MindSpore函数式可微分编程架构可以让用户聚焦模型算法数学原生表达。资深的深度学习开发者都体会过手动求解的过程，不仅求导过程复杂，结果