机器学习综述
机器学习中的特征选择方法研究综述
机器学习中的特征选择方法研究综述简介：在机器学习领域，特征选择是一项重要的任务，旨在从原始数据中选择出对于解决问题最具有代表性和预测能力的特征子集。
特征选择方法能够改善模型性能、减少计算复杂性并提高模型解释性。
本文将综述机器学习中常用的特征选择方法，并对其优点、缺点和应用范围进行评估和讨论。
特征选择方法的分类：特征选择方法可以分为三大类：过滤式、包裹式和嵌入式方法。
1. 过滤式方法：过滤式方法独立于任何学习算法，通过对特征进行评估和排序，然后根据排名选择最佳特征子集。
常用的过滤式方法包括相关系数、互信息、卡方检验等。
(1) 相关系数：相关系数是评估特征与目标变量之间线性关系强弱的一种方法。
常用的相关系数包括皮尔逊相关系数和斯皮尔曼相关系数。
优点是简单且易于计算，但仅能检测线性关系，对于非线性关系效果较差。
(2) 互信息：互信息是评估特征与目标变量之间信息量共享程度的一种方法。
互信息能够发现非线性关系，但对于高维数据计算复杂度较高。
(3) 卡方检验：卡方检验适用于特征与目标变量均为分类变量的情况。
它衡量了特征与目标变量之间的依赖性。
然而，在特征之间存在相关性时，卡方检验容易选择冗余特征。
过滤式方法适用于数据集维度较高的情况，计算速度快，但无法考虑特征间的相互影响。
2. 包裹式方法：包裹式方法直接使用学习算法对特征子集进行评估，通常使用启发式搜索算法（如遗传算法、蚁群算法等）来找到最佳特征子集。
包裹式方法的优点是考虑了特征间的相互作用，但计算复杂度高，易受算法选择和数据噪声的影响。
(1) 遗传算法：遗传算法是一种模拟生物进化过程的优化算法。
在特征选择中，遗传算法通过使用编码表示特征子集，通过选择、交叉和变异等操作来搜索最佳特征子集。
遗传算法能够有效避免包裹式方法中特征间的相互影响，但计算复杂度高。
(2) 蚁群算法：蚁群算法是一种基于模拟蚁群觅食行为的优化算法。
在特征选择中，蚁群算法通过模拟蚂蚁在搜索空间中的移动来寻找最佳特征子集。
机器学习中的核方法综述
机器学习中的核方法综述机器学习常用的方法有很多，其中核方法是一类比较重要的方法之一。
核方法主要是针对非线性问题，能够将非线性问题转化成线性问题，从而更方便地解决问题。
在本文中，我们将会对核方法进行一个综述。
一、核方法简介核方法是一种基于核函数的机器学习方法，它主要应用于模式识别、分类、回归和聚类等问题。
其基本思想是将低维度数据映射到高维度空间，从而更好地描述数据的特征。
在高维度空间中，数据可能会更加容易分类或回归。
但是由于高维度空间中数据的计算量会变得非常大，核方法就出现了，它可以在低维度空间中计算高维度空间中的内积，从而避免高维度空间中数据的计算量。
核方法的核心是核函数。
核函数用于将低维度空间中的数据映射到高维度空间中，并在高维度空间中计算内积。
它的优点是可以将一个非线性问题转化成一个线性问题。
核函数有很多种，如线性核函数、多项式核函数、径向基核函数等。
二、线性核方法线性核方法是最简单的核方法之一，它的核函数是一个线性函数。
它的优点是易于计算和调整。
但是它的缺点是不能很好地处理非线性问题。
三、多项式核方法多项式核方法的核函数是一个多项式函数。
它的优点是可以很好地处理一些非线性问题。
但是它的缺点是容易过拟合，需要对参数进行优化。
四、径向基核方法径向基核方法是一种常用的核方法，它的核函数是一个径向基函数。
它的优点是可以很好地处理非线性问题，并且可以使用不同的径向基函数。
但是它的缺点是需要设置好核函数的参数，且计算量较大。
五、核方法的应用核方法在机器学习中有广泛的应用，如支持向量机、核主成分分析、核聚类等。
其中支持向量机是最常见的应用之一。
支持向量机是一种二元分类模型，它可以将一个非线性问题转化成一个线性问题，从而更容易分类。
六、总结核方法是一种非常重要的机器学习方法，它可以将一个非线性问题转化成一个线性问题，从而更容易处理。
核函数是核方法的核心，不同的核函数可以在不同的场景下应用。
在实际应用中，需要根据具体的问题选择合适的核函数和参数。
机器学习模型解释与可解释性研究进展综述
机器学习模型解释与可解释性研究进展综述引言：随着机器学习在各个领域的广泛应用，对于模型解释性的需求也越来越迫切。
传统的机器学习模型，如决策树和线性回归等，相对比较容易被理解和解释。
但是，随着深度学习等复杂模型的兴起，其黑盒特性给模型解释性带来了挑战。
针对这一问题，研究者们开始着手研究机器学习模型的解释性，旨在提高模型的可理解性，使其更易于被人们理解和信任。
本文将综述机器学习模型解释与可解释性的研究进展，包括可解释性的定义、方法和应用。
一、可解释性的定义可解释性是指对于机器学习模型的输出结果，能够清晰地解释其形成的原因和依据。
这包括了对输入特征的影响、模型内部的决策过程以及与输出结果相关的因果关系。
可解释性的定义因任务而异，在不同领域的应用中有不同的需求。
二、可解释性的方法为了实现机器学习模型的可解释性，研究者们提出了多种方法。
以下是几种常见的方法：1. 特征重要性分析：通过对模型中各个特征的重要性进行分析，来解释模型对输出结果的影响。
常用的方法包括特征选择、特征排列和特征权重等。
2. 决策规则提取：通过从模型中提取决策规则，来解释模型的决策过程。
这种方法常用于决策树等规则型模型。
3. 局部模型解释：通过对模型在某个具体样本上的行为进行解释，来揭示模型的内部机理。
局部模型解释方法包括对抗样本和局部特征影响等。
4. 逻辑推理和可视化：通过逻辑推理和可视化的手段，将模型的复杂决策过程可视化展示，使其更易于理解。
5. 模型压缩和简化：通过对模型进行压缩和简化，降低模型的复杂度，提高模型的可解释性。
三、可解释性的应用可解释性在各个领域中都有广泛的应用。
以下是几个典型的领域：1. 医疗健康：在医疗领域中，可解释性模型可以帮助医生理解和解释模型对患者诊断和治疗决策的依据，提高医疗决策的可信度和可靠性。
2. 金融风控：在金融领域中，可解释性模型可以帮助金融机构理解和解释模型对借贷申请、投资决策等的判断依据，提高风险控制和评估的准确性。
机器学习模型优化方法的研究综述
机器学习模型优化方法的研究综述引言近年来，机器学习在各个领域中得到广泛应用，成为解决复杂问题和提升决策效果的重要工具。
然而，随着数据规模和模型复杂度的增加，如何优化机器学习模型成为一个亟待解决的问题。
本文将综述当前机器学习模型的优化方法，包括传统方法和新兴方法，并分析其优势和局限性，为优化机器学习模型提供指导。
一、传统优化方法1. 梯度下降法梯度下降法是一种常用的优化方法，通过计算损失函数的梯度，反向更新模型参数，以最小化损失。
基于梯度下降法，衍生出多种变种算法，如随机梯度下降、批量梯度下降等。
这些算法在训练速度和性能方面取得了一定的优化效果，但也存在一些问题，如参数收敛速度慢、易陷入局部最优等。
2. 牛顿法牛顿法是一种基于二阶导数信息的优化方法，它通过计算目标函数的二阶导数矩阵的逆来更新模型参数。
相比梯度下降法，牛顿法收敛速度更快，并且可以更准确地找到全局最优解。
然而，牛顿法的计算复杂度较高，并且需要对目标函数进行二阶导数的计算，对于大规模数据和复杂模型来说，计算成本非常高。
3. 正则化正则化方法通过在目标函数中加入正则项，限制模型的复杂度，以防止过拟合现象的发生。
常见的正则化方法包括L1正则化和L2正则化。
L1正则化通过将模型参数的绝对值作为正则项，促使模型的稀疏性。
L2正则化则通过将模型参数的平方和作为正则项，使模型参数尽量接近零。
正则化方法能够有效提升模型的泛化能力，防止过拟合，但也会引入一定的偏差。
二、新兴优化方法1. 深度学习优化方法深度学习作为最近研究的热点领域，为机器学习模型优化带来了新的思路和方法。
其中，基于梯度的优化方法是深度学习中应用最广泛的方法之一。
通过使用反向传播算法计算梯度，并结合学习率调整策略，深度学习模型能够在高维度问题中迅速收敛，取得较好的优化效果。
此外，还有基于牛顿法的优化方法，如拟牛顿法，通过近似计算目标函数的二阶导数，加速模型的优化过程。
2. 元学习元学习是机器学习中的一种新兴方法，旨在通过学习优化算法的策略，使模型能够更快、更准确地适应新任务。
机器学习综述
人工智能机器学习综述摘要：机器学习（Machine Learning）是人工智能领域的一个核心研究方向。
它是一个多学科交叉的产物，它吸取了概率统计、神经生物学、信息论、控制论、计算复杂性理论、哲学等学科的成果。
在很多应用领域发挥了重要的实用价值，特别是在数据挖掘、语音识别、图像识别、机器人、生物信息学、信息安全、遥感信息处理等领域取得了瞩目的成果。
关键词：人工智能；机器学习；数据挖掘；强化学习引言根据反馈的不同，机器学习可以分为监督学习或称为有导师学习（supervised learning, SL）、无监督学习或称为无导师学习（unsupervised learning, UL）和强化学习(reinforcement learning，RL)三大类[2]。
其中监督学习方法是目前研究得较为广泛的一种，该方法要求给出学习系统在各种环境输入信号下的期望输出，在这种方法中，学习系统完成的是与环境没有交互的记忆和知识重组的功能。
典型的监督学习方法包括决策树学习ID-5算法、BP算法、贝叶斯分类算法、SVM算法等。
无监督学习方法主要包括各种自组织学习方法，如聚类学习、自组织神经网络学习等。
强化学习是指从环境状态到行为映射的学习，以使系统行为从环境中获得累计奖励值最大，包括蒙特卡洛法、时序差分法、Q学习法等。
从本质上讲，机器学习就是要使计算机能模拟人的学习行为，自动地通过学习获取知识和技能，不断改善性能，实现人工智能。
随着计算机网络技术的发展，各行各业积累的数字化数据越来越多，如微博的数字化、聊天记录的数字化、视频探头信息的数字化，大数据（Big Data）成为当今流行的研究主题，在这种潮流下，如何对这些数据进行分析，从中发现蕴涵的规律及有价值的信息，机器学习我想将有一席用武之地。
研究现状及发展趋势一般来说，机器学习的研究起点最早可追溯到19世纪末的神经科学，特别是James发现了神经元是相互连接的现象。
随后，在20世纪30年代，McCulloch和Pitts发现了神经元的“兴奋”和“抑制”机制，20世纪中叶，Hebb发现了“学习律”，等等。
机器学习中的集成模型综述研究
机器学习中的集成模型综述研究随着人工智能的不断发展，机器学习已经成为了一个热门的研究领域。
而在机器学习中，集成模型的应用日益广泛，其在解决复杂问题方面的表现也越来越受到研究者的关注。
本文将对机器学习中的集成模型进行综述研究，探讨其基本原理、常见形式和优化方法等方面的内容。
一、集成模型的基本原理集成模型是一种通过将多个模型的预测结果进行组合来提高模型性能的方法。
它的基本原理是：将多个弱学习器（weak learner）进行结合，得到一个强学习器（strong learner），从而提高模型的准确性和泛化性能。
在集成模型中，每个弱学习器都只能解决部分问题或具有一定的缺陷，但是将多个弱学习器结合在一起却可以得到较好的效果。
二、集成模型的常见形式在机器学习中，集成模型主要有三种形式：基于Bagging的集成、基于Boosting的集成和基于Stacking的集成。
1.基于Bagging的集成：Bagging是一种基于样本的集成学习方法。
在Bagging中，通过有放回的重复抽样，构建多个训练数据集，每个训练数据集都是从原始数据集中随机采样得到的。
这些训练数据集使用相同的学习算法，训练出多个弱学习器，最后将它们结合起来，得到一个强学习器。
Bagging的优点是可以通过并行计算来加快计算速度，同时还能减少过拟合的情况。
2.基于Boosting的集成：Boosting是一种基于模型的集成学习方法。
在Boosting中，每个样本都有一个权重，初始时，这些样本的权重均等。
然后将这些样本输入到一个基本分类器中，得到第一个弱学习器。
根据第一个弱学习器的结果，更新每个样本的权值，使下一个弱学习器更加关注分类错误的样本。
以此类推，不断迭代，直至得到一个强学习器。
Boosting的优点是可以取得很高的准确性，但缺点是容易过拟合。
3.基于Stacking的集成：Stacking是一种基于模型的集成学习方法。
在Stacking中，除了训练多个基本分类器以外，还需训练一个次级学习器（meta-learner），其作用是对基本分类器的结果进行组合。
机器学习和sdn的综述
从流量分类、路由优化、服务质量（Q os）/体验质量（Q o E ）预测、资源管理和安全性的角度，回顾了机器学习算法如何应用于SDN 领域。
介绍篇：异构网络增加了网络的复杂性，在有效组织，管理和优化网络资源方面带来了许多挑战。
（什么是异构网络）在网络中运用智能化方法是解决这些问题的方法之一。
如知识平面方法（KP ）：ML +认知技术将automation,recommendation and intelligence带入互联网。
由于传统网络固有的分布特征，每个节点（路由或交换机）只能查看系统的一小部分并对其进行操作。
SDN 可以对其进行帮助。
在SDN 中应用机器学习是合适的原因：1. 图形处理单元GPU 和张量处理单元TPU 等技术为机器学习提供了很好的机会；2.集中式SDN 控制器具有全局网络视图，能够收集各种网络数据，便于机器学习算法的应用。
3.基于实时和历史网络数据，机器学习技术可以通过执行数据分析，网络优化和网络服务的自动提供来为SDN 控制器提供智能化。
4.SDN 可编程性使机器学习算法生成的最优网络解决方案（如配置或资源分配）能够在网络上执行。
（图1综述总体路线图）第一二节：相关工作。
第三节：SDN 背景知识。
第四节：介绍常用的ML 算法第五节：从流量分类、路由优化、服务质量（Q o S ）/体验质量(QoS)预测、资源管理和安全等方面对ML算法在SDN领域的应用进行了综述，并详细说明了机器学习在每一类中的应用。
第六节：讨论未来的研究方向：高质量的训练数据集、分布式多控制器平台、提高网络安全性、跨层网络优化和增量部署SDN。
第七节：软件定义其它。
SDN 网络架构（图2）机器学习和sdn 的综述2018年11月29日20:01SDN网络架构（图2）机器学习概述：机器学习通常包括两个阶段：训练阶段和决策阶段。
在训练阶段，采用机器学习地方法，利用训练数据集学习系统模型；在决策阶段，系统可以通过训练模型得到每一个新输入的估计输出。
李群机器学习研究综述
Ｌ ＭＬ 作 为 机 器 学 习 领 域 的一 种 新 的 学 习 方 法 ， ） 一
方 面 继 承 流 形 学 习 的 优 点 ， 一 方 面 借 用 李 群 的 思 另
想 ， 成 了具 有 创 新 特色 的学 习范 式．自 ２ ０ 形 ０ ４年 提 出至今 ｌ ， 】 已引 起 加 拿 大 、 尔 兰 、 兰 、 大利 、 爱 芬 意
摘
要
文 中简 述 了 李 群 机 器 学 习 的 相 关 研 究 内 容 ， 括 李 群 机 器 学 习 的 概 念 、 理 假 设 、 数 学 习模 型 、 何 学 包 公 代 几
习 模 型 、 ｙ ｋｎ图 的几 何 学 习 算 法 、 子 群 、 群 分 类 器 的设 计 、 道 生 成 学 习算 法 等 ． Ｄｎｉ 量 辛 轨
Ａｂ ｔ ａ ｔ ｓ ｒ ｃ
Ｔｈｉ ａ ｒｓ ｓ ｐ ｐｅ ｕｍｍ ａ ｉｅ ｈｅｒ ｌ ｖ ｎｔｒ ｓ ａ ｃ ｆＬｉ ｒ ｕ ｃ ｉ ｅ ｒ ｎ ｒｚ ｓｔ ｅｅ ａ ｅ ｅ ｒ ｈ ｏ ｅ ｇ ｏ ｐ ｍａ ｈ ｎｅ ｌａ ｎｉ ｇ，ｉ ｌ ｉ ｎｃｕｄ ｎｇ：
关 键 词 李 群 机 器 学 习 ； 理 假 设 ； 群 ； 类 器 公 李 分
中 图法 分 类 号 ＴＰ１ ８ ＤＯＩ号 ：１ ． ７ ４ Ｓ ． ． ０ ６ ２ １ ． ｌ １ ０３２／ ＰＪ１１．００Ｏ１５
Ｓｕ ｖ ｙ ｏ ｅ Ｇ ｒ ｕ ａ ｈｉ ｅ Ｌｅ ｒ ｎｇ ｒ ｅ ｎ Ｌｉ ｏ ｐ Ｍ ｃ ｎ ａ ｎｉ
方法 相 比有 明显 优势 ， 李群 的概 念 可 以看 出 ， 包 从 它 含 了微 分流形 和 群 的 内容 ； 分 流 形 包 含 了 拓 扑 流 微 形 和微 分结 构． 这套 理论 系统 ， 给 我们提 供 了描 述 既
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
机器学习综述摘要：为了对高层次结构的抽象的表示，需要有能够对深层结构学习的模型。
深层结构是由非线性的多层次组成，如神经网络有许多隐藏的层。
深层结构的参数优化是一项困难的任务，例如最近提出的深信念网络（DBN）学习算法很好解决了该问题并取得了一定的成功。
深度学习是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络。
关键词：神经网络，无监督，深度学习，AI1 引言机器学习的核心是学习。
机器学习的研究主旨是使用计算机模拟人类的学习活动,它是研究计算机识别现有知识、获取新知识、不断改善性能和实现自身完善的方法。
机器学习研究的就是如何使机器通过识别和利用现有知识来获取新知识和新技能。
它是人工智能的一个重要的研究领域。
这里的学习意味着从数据中学习, 它包括有监督学习( Supervised Learning )、无监督学习( Unsupervised Learning) 和半监督学习( Semi- Supervised Learning )三种类别。
目前在机器学习研究领域影响较大的是H. Simon 的观点:学习是系统中的任何改进,这种改进使得系统在重复同样的工作或进行类似的工作时,能完成得更好。
学习的基本模型就是基于这一观点建立起来的。
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。
深度学习是无监督学习的一种。
深度学习的概念源于人工神经网络的研究。
含多隐层的多层感知器就是一种深度学习结构。
深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
深度学习的概念由Hinton等人于2006年提出。
基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。
此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。
深度学习中的主要困难，特别是在模式分类运用中，在数据的维数中学习的复杂性呈指数的线性增长。
主流的方法是克服“维数灾难”，通过使用预处理数据的方式，这样能够降维以至于更够有效的处理。
降维指的是特征提取，结果可以说是在多模式识别系统智能中转换了特征提取过程中的人类工程，非常具有挑战性并且高度依赖于相关的应用。
此外，如果提取了不完全或错误的特征，分类过程本质上表示非常有限。
2 浅层学习和深层学习2.1 浅层学习20世纪80年代末期，用于人工神经网络的反向传播算法（也叫Back Propagation算法或者BP算法）的发明，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。
这个热潮一直持续到今天。
人们发现，利用BP算法可以让一个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事件做预测。
这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显出优越性。
这个时候的人工神经网络，虽也被称作多层感知机（Multi-layer Perception），但实际是只含有一层隐层节点的浅层模型。
但是BP算法存在一些问题：（1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小；（2）收敛到局部最小值：尤其是从远离最优区域开始的时候（随机值初始化会导致这种情况的发生）；（3）一般，我们只能用有标签的数据来训练：但大部分的数据是没标签的，而大脑可以从没有标签的数据中学习；20世纪90年代，各种各样的浅层机器学习模型相继被提出，例如支撑向量机（SVM，Support Vector Machines）、Boosting、最大熵方法（如LR，Logistic Regression）等。
这些模型的结构基本上可以看成带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）。
这些模型无论是在理论分析还是应用中都获得了巨大的成功。
相比之下，由于理论分析的难度大，训练方法又需要很多经验和技巧，这个时期浅层人工神经网络反而相对沉寂。
2.2 深层学习2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。
这篇文章有两个主要观点：（1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；（2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。
深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。
因此，“深度模型”是手段，“特征学习”是目的。
区别于传统的浅层学习，深度学习的不同在于：（1）强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；（2）明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。
2.3 深度学习过程（1）采用无标定数据（有标定数据也可）分层训练各层参数，这一步可以看作是一个无监督训练过程，是和传统神经网络区别最大的部分（这个过程可以看作是feature learning过程）；（2）基于第一步得到的各层参数进一步fine-tune整个多层模型的参数，这一步是一个有监督训练过程；第一步类似神经网络的随机初始化初值过程，由于DL 的第一步不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果。
3 机器学习方法的新发展3.1 卷积神经网络（Convolutional Neural Networks）CNNs是多层神经网络家族，特别是对两维数据设计，例如图像或视频。
CNNs受到早期工作在时延神经网络（TDNN）的影响，通过在时间维度和用于语音和时间序列处理中共享权重以减少学习计算的需求。
CNNs是第一个真正成功的深度学习方法，多层次的层次结构被成功的训练。
CNNs是利用空间关系选择拓扑结构以减少参数的数量，它必须学习和生成前馈反向传播训练。
CNNs是通过最小数据处理需要的目标而提出的一个深层学习框架。
在CNNs中，一小部分图像（称为感受野）被视为对最低层输入的层次结构。
信息一般通过不同的网络层传播，其中每一层运用数字滤波目的是为了获得观察数据最显著的特征。
该方法提供了一个水平位移、尺度、旋转不变性，由于局部感受野允许神经元和处理单元访问最基本的单元，例如定向的边缘和角落。
但是，当权重太小时激活函数几乎是线性的，结果图像是模糊的，其他的权重能够引起激活输出类似于与或功能。
这些输出形式是一个新的特征映射，然后通过另一个卷积序列、子采样和激活函数。
在CNNs中层和空间信息的亲密关系，使得他们非常适合图像处理和理解，他们从图像中自动提取特征一般表现良好。
在一些情况下Gabor滤波用来做一些初始的预处理模拟人类视觉回应视觉激发，在最近的工作中，研究人员已经运用CNNs到各种机器学习问题中，包括人脸检测，文献分析，语音识别。
CNNs应用在视频中训练，主要目的是找到帧与帧之间连贯性，尽管这需要特定的CNNs。
3.2自动编码器（AutoEncoder）3.2.1给定无标签数据，用非监督学习学习特征在我们之前的神经网络中，我们输入的样本是有标签的，即（input, target），这样我们根据当前输出和target（label）之间的差去改变前面各层的参数，直到收敛。
但现在我们只有无标签数据，我们将input输入一个encoder编码器，就会得到一个code，这个code也就是输入的一个表示，我们的目的是通过这个code来表示input。
这样，我们加一个decoder解码器，这时候decoder就会输出一个信息，那么如果输出的这个信息和一开始的输入信号input是很像的（理想情况下就是一样的），很明显，这个code是靠谱的。
所以，我们就通过调整encoder和decoder的参数，使得重构误差最小，这时候就得到了输入input信号的第一个表示了，也就是编码code。
由于是无标签数据，所以误差的来源就是直接重构后与原输入相比得到。
3.2.2 通过编码器产生特征，然后训练下一层。
这样逐层训练得到第一层的code，我们的重构误差最小让我们相信这个code就是原输入信号的良好表达了，或者换种方式说，它和原信号是一模一样的（表达不一样，反映的是一个东西）。
第二层和第一层的训练方式就没有差别了，我们将第一层输出的code当成第二层的输入信号，同样最小化重构误差，就会得到第二层的参数，并且得到第二层输入的code，也就是原输入信息的第二个表达。
AutoEncoder存在一些变体，像稀疏自动编码器（Sparse AutoEncoder）、降噪自动编码器（Denoising AutoEncoders）和压缩自动编码器（Contractive AutoEncoder）。
但是，AutoEncoder不能用来分类数据，因为它没有学习如何去连结一个输入和一个类。
它只是学会了如何去重构或者复现它的输入。
或者说，它只是学习获得了一个可以良好代表输入的特征，这个特征可以最大程度上代表原输入信号。
那么，为了实现分类，我们就可以在AutoEncoder的最顶的编码层添加一个分类器（例如罗杰斯特回归、SVM等），然后通过标准的多层神经网络的监督训练方法（梯度下降法）去训练。
3.3 限制的玻尔兹曼机（Restricted Boltzmann Machines）假设有一个二部图，每一层的节点之间没有链接，一层是可视层，即输入数据层（v)，一层是隐藏层(h)，如果假设所有的节点都是随机二值变量节点（只能取0或者1值），同时假设全概率分布p(v,h)满足Boltzmann 分布，我们称这个模型是Restricted Boltzmann Machines (RBMs)。
RBMs通常使用对比差异学习过程来训练。
这需要一定的实际操作经验来决定如何设定元参数数值的值，例如学习率，动量，质量成本，稀疏目标，权重初始值，隐藏单元的数量和每个小量的大小。
这根据所使用的单元类型决定，是否随机的或确定的更新它们状态，对歌样本来说多久更新一次隐藏单元的状态，是否在每个数据向量开始时更新状态序列。
另外，需要知道如何监控学习过程和何时终止训练。
然而，如果我们把隐藏层的层数增加，我们可以得到Deep Boltzmann Machine(DBM)；如果我们在靠近可视层的部分使用贝叶斯信念网络（即有向图模型，当然这里依然限制层中节点之间没有链接），而在最远离可视层的部分使用Restricted Boltzmann Machine，我们可以得到Deep Belief Networks（DBN）。