深度学习读书笔记

深度学习读书笔记【篇一：深度学习文字识别论文综述】深度学习文字识别论文综述深度学习文字识别论文综述深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

深度学习是无监督学习的一种，深度学习采用了神经网络的分层结构，系统包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻的节点之间有连接，同一层以及跨层节点之间相互无连接。

深度学习通过建立类似于人脑的分层模型结构，对输入数据逐级提取从底层到高层的特征，从而能很好地建立从底层信号到高层语义的映射关系。

近年来，谷歌、微软、百度等拥有大数据的高科技公司相继投入大量资源进行深度学习技术研发，在语音、图像、自然语言、在线广告等领域取得显著进展。

从对实际应用的贡献来说，深度学习可能是机器学习领域最近这十年来最成功的研究方向。

深度学习模型不仅大幅提高了图像识别的精度，同时也避免了需要消耗大量的时间进行人工特征提取的工作，使得在线运算效率大大提升。

深度学习用于文字定位论文thai text localization in natural scene images using convolutional neural network主要采用cnn的方法进行自然场景中的文本分类，并根据泰字的特点进行分类后的后处理，得到更加精确的定位效果。

如图1所示为cnn网络模型，cnn网络由一个输入层，两个卷积层和两个下采样层以及一个全连接层组成，输出为一个二分类向量，即文本和非文本。

图1 cnn网络模型该文主要思路为将图像切块后进行训练，采用人工标注样本的方法，使得网络具有识别文本和非文本的能力。

由于样本数量较少，文中采用了根据已有字体生成训练数据集的方法，包括对字体随机添加背景、调整字体风格以及应用滤波器。

如图2为生成的泰字样本，文中在标签的过程中将半个字或者整个字都标记为文本，增加了网络对文字的识别率。

图2训练样本集在使用生成好的网络进行文字定位的过程中，论文采用的编组方法结合了泰字的特点，如图3为对图像文字的初步定位，其中被标记的区域被网络识别为文字。

图3图像文字的初步定位论文后期对标记的矩形小框区域进行了整合，结合了泰字本身的特点，如图图4所示为原始图像文字，图5为对识别结果进行的后处理，其中a,b,c将文字分为上、中、下三个部分。

文中指出泰字一般的最高不超过中心线b的50%，采用这个规律进行了文字编组，得到如图6的编组结果，其中白色区域为编组结果。

图4原始文本图像图5 后处理结果图6 编组结果同时论文也考虑了泰字的其他特点，如中心线与上边界和下边界的夹角不超过45度，根据这个规律又对编组结果进行调整。

如图7所示，当超过夹角限制是进行了微调。

如图8与图9为论文的最终定位结果。

图7 泰字编组调整图8定位结果图9定位结果论文reading numbers in natural scene images with convolutional neuralnetworks结合隐马尔可夫模型 (hidden markov model，hmm)和深度学习方法来实现对自然场景中的数字进行定位和识别。

首先采用cnn方法对原始的数字图像进行特征提取，将提取的结果输入至hmm模型进而得到数字的识别结果。

如图10为论文提出的识别方法模型。

图10 文字识别模型论文为了实现直接在原始的图像上进行识别，采用了动态窗口滑动的方法，提取一系列的图像块。

如图11为论文采用的cnn结构，包括4个卷积层，其中3个卷积层都有相邻的下采样层，每个卷积层都包含一个本地归一化，共2个全连接层。

网络的训练首先通过滑动窗口提取图像的骨架，然后采用主成分分析pca方法进行降维，然后将得到的主要特征作为gmm-hmm模型的输入，采用viterbi 译码对gmm-hmm的输出进行处理，最后采用cnn对生成的数据进行训练，数据的标签自动生成不需要人工参与。

图11cnn网络结构模型论文首先采用cnn对数字进行分类，其中分类数为11即数字0,1,2,3,4,5,6,7,8,9，以及标签10代表非数字，论文采用hmm模型对分类的【篇二：深度学习的9篇标志性论文】a fast learning algorithm for deep belief nets (2006)- 首次提出layerwise greedy pretraining的方法，开创deep learning方向。

layerwise pretraining的restricted boltzmann machine (rbm)堆叠起来构成 deep belief network (dbn)，其中训练最高层的rbm时加入了label。

之后对整个dbn进行fine-tuning。

在 mnist数据集上测试没有严重过拟合，得到了比neural network (nn)更低的test error。

reducing the dimensionality of data with neural networks (2006)- 提出deep autoencoder，作为数据降维方法发在science上。

autoencoder是一类通过最小化函数集对训练集数据的重构误差，自适应地编解码训练数据的算法。

deep autoencoder模型用contrastive divergence (cd)算法逐层训练重构输入数据的rbm，堆叠在一起fine-tuning最小化重构误差。

作为非线性降维方法在图像和文本降维实验中明显优于传统方法。

learning deep architectures for ai (2009)- bengio关于deep learning的tutorial，从研究背景到rbm和cd再到数种deep learning算法都有详细介绍。

还有丰富的reference。

于是也有个缺点就是太长了。

a practical guide to training restricted boltzmann machines (2010)- 如果想要自己实现deep learning算法，这篇是不得不看的。

我曾经试过自己写但是效果很不好，后来看到它才知道算法实现中还有很多重要的细节。

对照网上的代码看也能更好地理解代码。

greedy layer-wise training of deep networks (2007)- 对dbn的一些扩展，比如应用于实值输入等。

根据实验提出了对deep learning的performance的一种解释。

why does unsupervised pre-training help deep learning? (2010)- 总结了对deep learning的pretraining作用的两种解释：regularization和help optimization。

设计实验验证两种因素的作用。

autoencoders, unsupervised learning, and deep architectures (2011)- 从理论角度对不同的autoencoders作了统一分析的尝试。

on the quantitative analysis of deep belief networks (2008)- 用annealed importance sampling (ais)给出一种估计rbm的partition function的方法，从而能够估算p(x)以及比较不同的dbn。

training restricted boltzmann machines using approximationsto the likelihood gradient (2008)- 提出用persistent contrastive divergence (pcd)算法逼近maximum likelihood estimation的目标，从而可以得到更好的generative model。

传统cd算法并不是以最大化 p(x)为目标的，另有paper证明cd算法不对应任何优化目标函数【篇三：慕课读书笔记】读书笔记在认真研读了《慕课》与《高效课堂》两本书后，我内心引发深深地思考。

深度学习的灵魂是让孩子成为学习的主人，不能以教师的教代替学生的学，充分尊重学生，因材施教，注意每个孩子的个性化教育，而不是如工业产品一样用统一的尺度去衡量孩子，旨在推进孩子的自主学习。

身为教师的我们，习惯于用成人的思维去看待孩子，殊不知这完全违背了教育发展的规律，因为我们忽略了孩子们的体验。

学生的学习发生在学生身上，只有我们的教和孩子的经历架起一道桥梁，孩子们方才猛然醒悟，否则无论我们多么费尽心力讲解，都是无效的。

一个班级了50个孩子，他们拥有自己独特的学习过程，这个过程是他们自己进行知识创造的过程，我们需要根据他们的实际情况进行引导。

如同学习开车，教练认为简简单单的倒库动作，对于许多许多学员来说理解多有不同。

只有在实践中反复操作，才能真正领悟其中的精髓。

学习亦是如此，任何试图减少孩子出错的想法和做法都是错误的，孩子们只有在自己的动手学习、动脑思考过程中，方才可以生成属于自己的东西，这个东西才能转化为知识。

教师的工作是引领孩子自动地主动地学习，这才叫深度学习。

道德课堂要求我们要做一个有道德的教师，其主旨就在于充分尊重学生，按照教育的自然规律引导孩子学习人的行为准则。

教育的作用在于唤醒，而不是强加于人。

教育是基于人的行为，只有充分点燃孩子内心向上的火花，孩子才会有更为大的突破与提升。

我们生活在一个日新月异的时代，信息技术的发展使得知识更新闪电进行。

孩子们的学习资源不再是一本教科书而已，他们可以熟练的通过互联网获取更为广阔的学习资源。

过去的教材是学生的世界，而今天世界是学生的教材。

微课、慕课和翻转课堂在最近几年几乎已经可以颠覆世界，作为一个老师应该与时俱进，跟进时代的步伐，利用互联网为孩子们架起一道学习的桥梁。

充分培养孩子的研究兴趣和研究能力，以活动为主体，培养学生的创造性，通过创新的方式向学生提供丰富的学习内容，而且使其学以致用。

教学要不断钻研，创新教学方法，创新学习方法，每节课都有新内容，每节课都有新形成，用发展的眼光培养孩子发现问题和解决问题的能力，让孩子们充满智慧的学习和生活，这将是我今后不懈努力的方向。

曹群2017年1月2日。