深度学习和大数据

计算机视觉

计算机视觉=图像处理+机器学习。图像处理技术用于将图像处理为适合进入机器学习模型中的输入，机器学习则负责从图像中识别出相关的模式。计算机视觉相关的应用非常的多，例如百度识图、手写字符识别、车牌识别等等应用。这个领域是应用前景非常火热的，同时也是研究的热门方向。随着机器学习的新领域深度学习的发展，大大促进了计算机图像识别的效果，因此未来计算机视觉界的发展前景不可估量。

语音识别

语音识别=语音处理+机器学习。语音识别就是音频处理技术与机器学习的结合。语音识别技术一般不会单独使用，一般会结合自然语言处理的相关技术。目前的相关应用有苹果的语音助手siri等。

自然语言处理

自然语言处理=文本处理+机器学习。自然语言处理技术主要是让机器理解人类的语言的一门领域。在自然语言处理技术中，大量使用了编译原理相关的技术，例如词法分析，语法分析等等，除此之外，在理解这个层面，则使用了语义理解，机器学习等技术。作为唯一由人类自身创造的符号，自然语言处理一直是机器学习界不断研究的方向。按照百度机器学习专家余凯的说法“听与看，说白了就是阿猫和阿狗都会的，而只有语言才是人类独有的”。如何利用机器学习技术进行自然语言的的深度理解，一直是工业和学术界关注的焦点。

大数据的核心是利用数据的价值，机器学习是利用数据价值的关键技术，对于大数据而言，机器学习是不可或缺的。相反，对于机器学习而言，越多的数据会越可能提升模型的精确性，同时，复杂的机器学习算法的计算时间也迫切需要分布式计算与内存计算这样的关键技术。因此，机器学习的兴盛也离不开大数据的帮助。大数据与机器学习两者是互相促进，

相依相存的关系

机器学习与大数据的结合产生了巨大的价值。基于机器学习技术的发展，数据能够“预测”。对人类而言，积累的经验越丰富，阅历也广泛，对未来的判断越准确。例如常说的“经验丰富”的人比“初出茅庐”的小伙子更有工作上的优势，就在于经验丰富的人获得的规律比他人更准确。而在机器学习领域，根据著名的一个实验，有效的证实了机器学习界一个理论：即机器学习模型的数据越多，机器学习的预测的效率就越好。

深度学习其理念却非常简单，就是传统的神经网络发展到了多隐藏层的情况。

人工智能的发展可能不仅取决于机器学习，更取决于前面所介绍的深度学习，深度学习技术由于深度模拟了人类大脑的构成，在视觉识别与语音识别上显著性的突破了原有机器学习技术的界限，因此极有可能是真正实现人工智能梦想的关键技术。无论是谷歌大脑还是百度大脑，都是通过海量层次的深度学习网络所构成的。也许借助于深度学习技术，在不远的将来，一个具有人类智能的计算机真的有可能实现

Big Data + 深度神经网络的机器学习模型，带领了现在人工智能发展的方向，近几年在国内外引发了新一轮机器学习的热潮。由于其模型庞大，计算量非常大，模型训练时间经常要几个月的时间，单个计算机根本在短期无法完成，需要在分布式系统上通过并行计算来加速。现有主流的有基于CPU服务器的实现，和基于CPU+GPU的系统实现，

人们一般认为深度学习在语音识别和图像处理方面能够取得长足进度，是因为这两个领域的相关特征信息都是相对低层次的，可以借助深度学习的强大学习能力学习其中的复杂信息；而到了自然语言处理领域，人们利用深度学习做过很多尝试，发现很难取得像语音识别和图像处理那么大的突破，原因在于自然语言的相关特征信息都是相对高层次的（如自然语言的基本单位——词汇——本身就有丰富的语义内涵，与图像中的“线条”、“纹理”等特征相比尤其如此），在深度学习之前就由语言专家编制了很多精致而复杂的知识库，如WordNet等，这些知识已经将相关处理性能推到了较高层次。因此，当深度学习进入自然语言时，如果还是像语音识别、图像处理那样从零知识开始做特征学习，相当于将丰富的语言知识弃之不用而另起炉灶，是不符合自然语言处理特点的。所以，深度学习的一个可能重要的发展方向是，如何在深度学习框架中高效地融合人们已经构建出来的丰富先验知识（包括语言知识、世界知识）。

在对大数据的适应能力上: 大数据中包含着很多有价值的信息，但是如何从大数据中找到能够表达这个数据的表征是研究者关心的问题．2012 年的Google 大脑团队在一个超大多节点的计算机网络上并行地训练深度网络结构，结果显示数据仍然呈现欠拟合的状态．对此，如何衡量训练复杂度与任务复杂度的关系，使得深度学习可以充分地用在大数据上，还有待于研究和实践．

（欠拟合：欠拟合应该是指拟合的过程中没有充分的利用数据，一些潜在的变化趋势没有体现出来）

?深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。区别于传统的浅层学习，深度学习的不同在于：?1）强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；

?2）明确突出了特征学习的重要性，Deep Learning是模拟人的视觉信息处理。人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形状或者目标的部分等，再到更高层。高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越到高层越容易分类。通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。

?与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。

?深度学习过程：

使用自下上升非监督学习（就是从底层开始，一层一层的往顶层训练）。第一步就是特征提取的过程。

自顶向下的监督学习（就是通过分类的数据去训练，误差自顶向下传输，对网络进行微调）。

deep learning整体上是一个layer-wise（分层计算）的训练机制。这样做的原因是因为，

如果采用back propagation的机制，对于一个deep network（7层以上），残差传播到最前面的层已经变得太小，出现所谓的gradient diffusion（梯度扩散）

Deep Learning可以看成是神经网络的发展。传统神经网络的比较容易过拟合，训练速度比较慢。比如BP神经网络，如果层次达到7层以上。传播到最前面的层误差已经太小，对权值的影响很小。而且容易收敛到局部极小值。