《深度学习应用开发》学习笔记-26

这样是不好的，因为就像学习训练时将考试题都让你做过一遍，再让你考试就不公平了，类似于作弊了。 应该是考你运用学到的知识，来做没做过的题。 那比较好的做法呢，是有一些数据，把这些数据分一分， 大部分做训练、一小部分做验证、再分一小部分做测试。 下面是模型应用，也就是预测的代码 ```python

深度学习数据收集

深度学习需要大量的数据集，但是现实是只有零星的数据，大家有什么收集数据的经验和经历，还有什么收集数据的好办法

深度学习中的Attention机制

Attention，即Attention输出的向量分布是一种one-hot的独热分布或是soft的软分布，直接影响上下文的信息选择。加入Attention的原因：1、当输入序列非常长时，模型难以学到合理的向量表示2、序列输入时，随着序列的不断增长，原始根据时间步的方式的表现越来越差，由于原始的时间步模型设计的结构有缺

《深度学习应用开发》学习笔记－04

在1904年的时候，生物学家了解了神经元的结构然后在1945年的时候发明了神经元模型。那么这个神经元的模型真的可以模拟生物的神经功能吗，个人觉得有点奇妙，不过动物植物本来都是很奇妙的存在。所谓的全连接层，就是说某层的一个节点，和他上一层的所有节点都有连接。就像连接的边长不同，每条

《深度学习应用开发》学习笔记-24

上一节训练不出结果，都是nan的原因找到了，就是因为特征数据没有做归一化，那归一化是个什么概念呢？这里有一个很好的例子，做一道菜，准备好材料鸭、笋、....盐、酱油...水，再加上烹饪火候，可以做出一道菜。上面做菜的每一个要素，都可以看做一个特征变量，而重量可以看做是特征变量的值，比如鸭肉xxg

《深度学习应用开发》学习笔记-27

可视化还是比较重要的，因为数据能在图形上看到，会更直观，更符合人的认知思维。 这里先来展示一下loss的可视化。 用matplot将列表值画出来，调用非常简单 plt.plot(loss_list) 横坐标是列表中的索引，纵坐标是列表值，也就是loss值。 可以看到，曲线在收敛了

《深度学习应用开发》学习笔记-32

这里谈到了独热编码one-hot，独热编码是用来表示标签数据的。前面已经知道了，标签数据很简单，就是表示0-9范围内的一个数字。 说实话独热编码有什么用处，真的还没有理解。还有什么欧式空间的概念啊，都很陌生。 看看代码吧。 ```python #独热编码示例。 x=[3,4] tf

深度学习时序图网络

一个通用的，有效的框架，用于深度学习动态图表示为时间事件序列。由于内存模块和基于图的运算符的新组合，TGNs能够显著优于以前的方法，同时在计算效率上也更高。此外，我们还展示了之前几个用于学习动态图的模型可以转换为我们框架的具体实例。我们对框架的不同组件进行了详细的消歧研究，并设计

深度学习之优化的理论限制

经网络单元输出光滑的连续值，使得局部搜索求解优化可行。一些理论结果表明，存在某类问题是不可解的，但很难判断一个特定问题是否属于该类。其他结果表明，寻找给定规模的网络的一个可行解是很困难的，但在实际情况中，我们通过设置更多参数，使用更大的网络，能轻松找到可接受的解。此外，在神经网络

计算化学的深度学习

在回顾深度神经网络的表现时，我们观察到在不同的研究课题中，针对非神经网络最先进的模型的一致表现优异，而基于深度神经网络的模型通常超出了各自任务的“玻璃天花板”预期。加上用于训练深度神经网络的GPU加速计算的成熟度以及用于训练这些网络的化学数据的指数增长，我们预计深度学习算法将成为计算化学的宝贵工具。

【转载】传统机器学习与深度学习

适合新手的深度学习综述（6）--深度生成模型

Models），在这些模型中，他们扩展了具有辅助变量的深层生成模型。辅助变量利用随机层和跳过连接生成变分分布。Rezende 等人 (2016) 开发了一种深度生成模型的单次泛化。6.1 玻尔兹曼机玻尔兹曼机是学习任意概率分布的连接主义方法，使用最大似然原则进行学习。6.2 受限玻尔兹曼机受限玻尔兹曼机

深度学习之隐藏单元

hi，要么是鼻子存在的冗余编码，要么是脸部的另一特征，如嘴。传统的噪声注入技术，在输入端加非结构化的噪声不能够随机地从脸部图像中抹去关于鼻子的信息，除非噪声的幅度大到几乎能抹去图像中所有的信息。破坏提取的特征而不是原始值，让破坏过程充分利用该模型迄今获得的关于输入分布的所有知识。

优秀的开发者为什么要学习研究新的编程语言？

很相近的语法结构，弄懂学会并不难。计算机算法也是共通的。但是考虑到它创建并依赖的生态环境、设计思想、开发模式和习惯用法，应用自如还是需要耗费很多精力的。这里链接几篇关于学习能力培养、学习方法的原创文章，供大家参考：学得快，记得牢，花的少 – 请尽快开发你的大脑职场人的学习方法IT

迁移学习(transfer learning)领域有哪些比较新的研究方向？

少样本学习和弱样本学习可以看成姊妹学习范式。少样本学习侧重于降低对新种类训练数据量的要求，而弱样本学习侧重于降低对新种类训练数据质的要求。零样本学习、少样本学习和弱样本学习的比较如图1所示： 点击并拖拽以移动​ 点击并拖拽以移动 图1: 零样本学习、少样本学习、弱样本学习的对比