机器学习常见算法分类汇总
机器学习算法的分类与比较
机器学习算法的分类与比较机器学习是一种通过对数据进行自动学习和模式识别的方法，它的重要性在不断增加。
随着科技的发展和数据的爆炸增长，机器学习算法也在不断演进和改进。
在机器学习中，算法的选择对于模型的输出结果和性能至关重要。
本文将介绍机器学习算法的分类与比较，并分析它们的优劣势。
一、监督学习算法监督学习算法是指在训练数据中给出了输入和输出的对应关系，通过这些已知数据进行学习和预测。
常见的监督学习算法包括决策树、朴素贝叶斯、支持向量机（SVM）和神经网络等。
1. 决策树算法决策树算法是一种基于树形结构的分类模型，通过一系列的判断节点构建出决策路径。
它的优点是易于理解和解释，适用于离散和连续型数据。
然而，决策树容易过拟合和出现高方差问题。
2. 朴素贝叶斯算法朴素贝叶斯算法是一种基于贝叶斯定理和特征条件独立性的分类方法。
它的特点是简单高效，适用于文本分类等场景。
但是朴素贝叶斯算法忽略了变量之间的相关性，因此在某些情况下表现不佳。
3. 支持向量机算法支持向量机算法是一种通过在输入空间中构建超平面进行分类的方法。
它的优势在于可以处理高维空间和非线性分类问题。
但是支持向量机算法计算复杂度高，对大规模数据集不太友好。
4. 神经网络算法神经网络算法是一种模仿人类神经元网络的学习算法。
它的优点是可以进行复杂的非线性建模和逼近，适用于大规模数据的处理。
然而，神经网络算法对于模型结构的选择和参数的调整较为困难。
二、无监督学习算法无监督学习算法是指在训练数据中没有给出输出标签，通过对数据集的特征进行聚类和模式发现。
常见的无监督学习算法包括聚类算法、降维算法和关联规则挖掘等。
1. 聚类算法聚类算法是一种将样本划分为相似组的方法，常见的算法包括K均值聚类和层次聚类等。
它的优点是能够识别出数据中的隐含结构和群组，适用于数据探索和可视化。
但是聚类算法对初始聚类中心的选择敏感，对噪声和异常值的鲁棒性较差。
2. 降维算法降维算法是一种通过减少数据的维度来提取数据的有效特征的方法。
常见机器学习算法的分类-有什么分类-分类介绍
常见机器学习算法的分类-有什么分类-分类介绍机器学习算法大致可分为四大类，分别为监督学习、无监督学习、自监督学习、强化学习。
其中监督学习主要包括分类和回归，还有奇特变体(序列生成、语法树猜测、目标检测、图像分割)。
1、监督学习监督学习是目前最常见的机器学习类型。
给定一组样本(通常由人工标注)，它可以学会将输入数据映射到已知目标[也叫标注(annotation)]。
一般来说，近年来广受关注的深度学习应用几乎都属于监督学习，比如光学字符识别、语音识别、图像分类和语言翻译。
虽然监督学习主要包括分类和回归，但还有更多的奇特变体，主要包括如下几种。
(1)序列生成(sequence generation)。
给定一张图像，猜测描述图像的文字。
序列生成有时可以被重新表示为一系列分类问题，比如反复猜测序列中的单词或标记。
(2)语法树猜测(syntax tree prediction)。
给定一个句子，猜测其分解生成的语法树。
(3)目标检测(object detection)。
给定一张图像，在图中特定目标的四周画一个边界框。
这个问题也可以表示为分类问题(给定多个候选边界框，对每个框内的目标进行分类)或分类与回归联合问题(用向量回归来猜测边界框的坐标)。
(4)图像分割(image segmentation)。
给定一张图像，在特定物体上画一个像素级的掩模(mask)。
2、无监督学习无监督学习是指在没有目标的状况下寻找输入数据的有趣变幻，其目的在于数据可视化、数据压缩、数据去噪或更好地理解数据中的相关性。
无监督学习是数据分析的必备技能，在解决监督学习问题之前，为了更好地了解数据集，它通常是一个必要步骤。
降维(dimensionality reduction)和聚类(clustering)都是众所周知的无监督学习方法。
3、自监督学习自监督学习是监督学习的一个特例，它与众不同，值得单独归为一类。
自监督学习是没有人工标注的标签的监督学习，你可以将它看作没有人类参加的监督学习。
人工智能：机器学习中常用的六大算法
人工智能：机器学习中常用的六大算法人工智能（AI）是当今世界一个非常热门的话题。
在AI领域中，机器学习是一个重要的分支，它利用算法和数据让计算机能够自动学习和改进。
而在机器学习中，有许多常用且重要的算法。
在本文中，我们将介绍六个常用的机器学习算法，以及它们在人工智能领域中的应用。
1. 线性回归算法线性回归是最简单也是最常用的机器学习算法之一。
它的思想非常简单，通过拟合一个线性方程来预测输出变量与输入变量之间的关系。
这个方程可以用来预测未来的数值，也可以用来分析变量之间的相关性。
线性回归算法在许多领域都有广泛的应用，比如经济学、金融学和市场营销等。
它可以用来预测股票价格、销售额以及其他连续变量。
此外，线性回归算法还可以通过分析变量之间的相关性来帮助研究人员获得对数据的更深入理解。
2. 逻辑回归算法逻辑回归是一种二分类算法，用于预测一个变量的取值是0还是1。
它通过计算输入变量与输出变量之间的概率关系来进行预测。
这个算法可以用来解决许多实际问题，比如判断邮件是否是垃圾邮件、预测一个人是患有某种疾病的可能性等。
逻辑回归算法在医学、生物学和金融等领域有广泛的应用。
它可以用来辅助医生做出合理的诊断决策，也可以用来预测一个人是否会违约或者犯罪等。
3. 决策树算法决策树是一种非常直观且易于理解的机器学习算法。
它通过树状结构来表示决策过程，并基于输入变量来进行分类或预测。
决策树的每个节点代表一个特征变量，每个分支代表一个可能的取值，而叶子节点代表了输出变量的取值。
决策树算法在许多领域都有广泛的应用。
它可以用于分析客户的购买模式、预测患者的疾病风险以及判断一封电子邮件是否是垃圾邮件等。
决策树的优势在于它的结果易于解释和理解，同时也可以处理具有非线性关系的数据。
4. 支持向量机算法支持向量机（SVM）是一种强大的机器学习算法，可以用于分类和回归问题。
它的基本思想是找到一个最佳的超平面来将不同类别的样本点进行分割。
SVM算法在许多领域中都有广泛的应用，比如图像分类、文本分类和生物信息学等。
11种最常见的机器学习算法简介
11种最常见的机器学习算法简介常见机器学习算法的摘要。
> Photo by Santiago Lacarta on Unsplash近年来，由于对技术的高需求和进步，机器学习的普及已大大增加。
机器学习可以从数据中创造价值的潜力使其吸引了许多不同行业的企业。
大多数机器学习产品都是使用现成的机器学习算法进行设计和实现的，并且需要进行一些调整和细微更改。
机器学习算法种类繁多，可分为三大类：· 监督学习算法在给定一组观察值的情况下，对特征（独立变量）和标签（目标）之间的关系进行建模。
然后，使用该模型使用特征预测新观测的标签。
根据目标变量的特性，它可以是分类（离散目标变量）或回归（连续目标变量）任务。
· 无监督学习算法试图在未标记的数据中找到结构。
· 强化学习基于行动奖励原则。
代理通过迭代计算其行为的报酬来学习达到目标。
在本文中，我将介绍前两类中最常见的算法。
注意：尽管深度学习是机器学习的一个子领域，但我不会在本文中包含任何深度学习算法。
我认为深度学习算法由于复杂性和动态性而应分开讨论。
此外，我会犹豫地使这篇文章过长，使读者感到厌烦。
开始吧。
1.线性回归线性回归是一种有监督的学习算法，它通过对数据拟合线性方程，尝试对连续目标变量和一个或多个自变量之间的关系进行建模。
为了使线性回归成为一个不错的选择，自变量和目标变量之间必须存在线性关系。
有许多工具可以探索变量之间的关系，例如散点图和相关矩阵。
例如，下面的散点图显示了自变量（x轴）和因变量（y 轴）之间的正相关。
随着一个增加，另一个也增加。
线性回归模型试图使回归线适合最能表示关系或相关性的数据点。
最常用的技术是普通最小二乘（OLE）。
使用此方法，可以通过最小化数据点和回归线之间距离的平方和来找到最佳回归线。
对于上面的数据点，使用OLE获得的回归线看起来像：2.支持向量机支持向量机（SVM）是一种监督学习算法，主要用于分类任务，但也适用于回归任务。
17个机器学习的常用算法！
17个机器学习的常用算法！1. 监督式学习：在监督式学习下，输入数据被称为“训练数据”，每组训练数据有一个明确的标识或结果，如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”，对手写数字识别中的“1“，”2“，”3“，”4“等。
在建立预测模型的时候，监督式学习建立一个学习过程，将预测结果与“训练数据”的实际结果进行比较，不断的调整预测模型，直到模型的预测结果达到一个预期的准确率。
监督式学习的常见应用场景如分类问题和回归问题。
常见算法有逻辑回归（Logistic Regression）和反向传递神经网络（Back Propagation Neural Network）2. 非监督式学习：在非监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。
常见的应用场景包括关联规则的学习以及聚类等。
常见算法包括Apriori算法以及k-Means算法。
3. 半监督式学习：在此学习方式下，输入数据部分被标识，部分没有被标识，这种学习模型可以用来进行预测，但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测。
应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸，这些算法首先试图对未标识数据进行建模，在此基础上再对标识的数据进行预测。
如图论推理算法（Graph Inference）或者拉普拉斯支持向量机（Laplacian SVM.）等。
4. 强化学习：在这种学习模式下，输入数据作为对模型的反馈，不像监督模型那样，输入数据仅仅是作为一个检查模型对错的方式，在强化学习下，输入数据直接反馈到模型，模型必须对此立刻作出调整。
常见的应用场景包括动态系统以及机器人控制等。
常见算法包括Q-Learning以及时间差学习（Temporal difference learning）在企业数据应用的场景下，人们最常用的可能就是监督式学习和非监督式学习的模型。
在图像识别等领域，由于存在大量的非标识的数据和少量的可标识数据，目前半监督式学习是一个很热的话题。
机器学习算法汇总大全
机器学习算法汇总大全机器学习是最近几年兴起的一门前沿学科，现在已经应用于各个领域。
在这个领域里，有各种不同的算法，每个算法都有它自己的特点和优点。
这篇文章旨在介绍最常见的机器学习算法，并对它们的优缺点以及适用场景进行简单的讲解。
监督学习算法监督学习是机器学习中最常用、最成熟、也最易于理解的一个分支。
在监督学习中，训练数据是已知答案的，即每个训练样本都有对应的标签或分类，模型的目标是学习这些训练样本和标签之间的关系，然后用模型去预测未知样本的标签或分类。
1. 线性回归线性回归是一种用来建立两种变量之间线性关系的监督学习算法。
线性回归模型可以用于处理连续数据的回归问题。
它的主要思想是通过拟合最小平方误差直线来解决预测问题。
线性回归的优点在于它的简单性，但是它只适用于二元分类或回归问题，对于多类别问题的解决效果较差。
2. 逻辑回归逻辑回归虽然名字里面带着“回归”，但却是解决分类问题的一种监督学习算法。
逻辑回归模型使用了Sigmoid函数来处理分类问题，输出值可以在[0, 1]之间，可以看成是概率值。
逻辑回归可以解决二元分类、多元分类以及连续数据的分类问题。
3. K近邻算法K近邻算法是一种简单而有效的监督学习算法。
它的核心思想是最邻近原则，即如果一个样本在特征空间中的k个最近邻居中大多数属于某个类别，则该样本也属于该类别。
K近邻算法可以处理多元分类和连续数据的分类问题。
4. 决策树决策树是一种重要的监督学习算法，它的核心思想是通过分裂特征空间来不断划分样本，最终形成一棵决策树。
决策树模型可以用于解决分类问题和回归问题。
决策树算法对于处理大量特征和数据集时的计算效率非常高，但同时也易受噪声影响，容易出现过度拟合的问题。
5. 支持向量机支持向量机是一种基于统计学习的监督学习算法，它的核心思想是在特征空间中找到一个最佳的超平面来进行分类。
支持向量机算法可以用于解决二元分类、多元分类以及连续数据的分类问题。
非监督学习算法非监督学习算法是一种无监督的机器学习方法，它的输入数据不带标签或分类信息。
机器学习常见算法分类汇总
机器学习常见算法分类汇总机器学习算法可以根据不同的分类标准进行划分。
根据学习方式的不同，机器学习算法主要可以分为监督学习算法、无监督学习算法和半监督学习算法。
接下来将对这三类算法进行分类汇总。
无监督学习算法是在没有标记的训练数据集上进行学习，算法根据数据的内在结构来进行分类和聚类分析。
无监督学习算法可以发现数据之间的关联性和潜在结构。
常见的无监督学习算法有：k-means聚类算法、层次聚类、关联规则学习、主成分分析、高斯混合模型等。
半监督学习算法是介于监督学习和无监督学习之间的一种学习方式。
在半监督学习中，训练集只包含了部分标记数据和大量的未标记数据，算法通过同时利用已标记和未标记数据来进行学习。
常见的半监督学习算法有：生成式方法、支持向量机生成式和半监督支持向量机等。
除了根据学习方式进行划分，机器学习算法还可以根据具体的任务进行分类。
常见的机器学习任务包括：回归分析、二分类、多分类、聚类分析、降维、特征选择等。
回归分析是一种预测建模技术，它通过分析自变量与因变量之间的关系，建立一个可预测的模型。
常见的回归算法有：线性回归、岭回归、LASSO回归、弹性网络回归等。
二分类是一种将数据分为两个类别的分类任务。
在二分类中，算法需要将数据分为正例和反例两类。
常见的二分类算法有：逻辑回归、支持向量机、决策树、随机森林、朴素贝叶斯等。
多分类是将数据分为多个类别的分类任务。
在多分类中，算法需要将数据分为两个以上的类别。
常见的多分类算法有：逻辑回归、K近邻算法、决策树、支持向量机、神经网络等。
聚类分析是将数据集分成多个组的无监督学习任务。
在聚类分析中，相似的数据被分成同一组，而不相似的数据被分成不同的组。
常见的聚类算法有：k-means聚类算法、层次聚类、DBSCAN聚类算法等。
降维是将高维数据转换为低维数据的方法，降维可以帮助减少计算复杂度、减少噪声和冗余信息，并且可以可视化高维数据。
常见的降维算法有：主成分分析（PCA）、线性判别分析（LDA）、t-SNE等。
机器学习算法详解
机器学习算法详解机器学习算法是指基于数据和经验自动分析、识别、分类和预测的一类方法和技术。
它是人工智能领域中的重要应用之一，通过对数据的学习与分析，使计算机具备自我学习和自主决策的能力。
本文将详细解析几种常见的机器学习算法，包括线性回归、决策树、支持向量机和神经网络。
一、线性回归算法线性回归是一种用于建立线性关系模型的机器学习算法。
它通过拟合数据集中的点，构建一个线性函数，用于预测输入和输出之间的关系。
线性回归算法的目标是找到一条最优拟合直线，使得预测值与真实值之间的误差最小化。
该算法的特点是简单易懂、计算速度快，适用于解决连续型变量的预测问题。
二、决策树算法决策树是一种基于树状结构进行决策的机器学习算法。
它通过从数据集中总结出一系列的问题和决策规则，构建起一个决策树模型，用于分类和预测。
决策树算法的优点在于生成的决策树易于理解和解释，同时对于大规模数据集的处理速度较快。
然而，决策树算法容易过拟合，需要进行剪枝等手段来提高模型的泛化能力。
三、支持向量机算法支持向量机是一种用于分类和回归的机器学习算法。
它通过构建一个超平面，将不同类别的数据点分隔开，用于分类问题的解决。
支持向量机算法的优点是适用于高维空间和非线性分类问题，能够处理较小的样本集合。
然而，在处理大规模数据集时，支持向量机算法的计算复杂度较高。
四、神经网络算法神经网络是一种模拟人类神经系统结构和功能的机器学习算法。
它通过多层次的神经元网络来模拟人脑的运作方式，进行模式识别和预测。
神经网络算法的优点在于能够处理大规模和复杂的数据集，具有较强的非线性表达能力。
但是，神经网络算法的训练过程较为繁琐，需要大量的计算资源和时间。
总结起来，机器学习算法包括线性回归、决策树、支持向量机和神经网络等。
每种算法都有其各自的优点和适用范围，选择合适的算法需要根据具体的问题和数据特点来进行判断。
机器学习算法的发展为数据分析和预测提供了强力工具，未来随着技术的进步和应用场景的拓展，机器学习算法将在各个领域发挥更加重要的作用。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
机器学习常见算法分类汇总∙作者：王萌∙星期三, 六月25, 2014∙Big Data, 大数据, 应用, 热点, 计算∙10条评论机器学习无疑是当前数据分析领域的一个热点内容。
很多人在平时的工作中都或多或少会用到机器学习的算法。
这里IT经理网为您总结一下常见的机器学习算法，以供您在工作和学习中参考。
机器学习的算法很多。
很多时候困惑人们都是，很多算法是一类算法，而有些算法又是从其他算法中延伸出来的。
这里，我们从两个方面来给大家介绍，第一个方面是学习的方式，第二个方面是算法的类似性。
学习方式根据数据类型的不同，对一个问题的建模有不同的方式。
在机器学习或者人工智能领域，人们首先会考虑算法的学习方式。
在机器学习领域，有几种主要的学习方式。
将算法按照学习方式分类是一个不错的想法，这样可以让人们在建模和算法选择的时候考虑能根据输入数据来选择最合适的算法来获得最好的结果。
监督式学习：在监督式学习下，输入数据被称为“训练数据”，每组训练数据有一个明确的标识或结果，如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”，对手写数字识别中的“1“，”2“，”3“，”4“等。
在建立预测模型的时候，监督式学习建立一个学习过程，将预测结果与“训练数据”的实际结果进行比较，不断的调整预测模型，直到模型的预测结果达到一个预期的准确率。
监督式学习的常见应用场景如分类问题和回归问题。
常见算法有逻辑回归（Logistic Regression）和反向传递神经网络（Back Propagation Neural Network）非监督式学习：在非监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。
常见的应用场景包括关联规则的学习以及聚类等。
常见算法包括Apriori算法以及k-Means算法。
半监督式学习：在此学习方式下，输入数据部分被标识，部分没有被标识，这种学习模型可以用来进行预测，但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测。
应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸，这些算法首先试图对未标识数据进行建模，在此基础上再对标识的数据进行预测。
如图论推理算法（Graph Inference）或者拉普拉斯支持向量机（Laplacian SVM.）等。
强化学习：在这种学习模式下，输入数据作为对模型的反馈，不像监督模型那样，输入数据仅仅是作为一个检查模型对错的方式，在强化学习下，输入数据直接反馈到模型，模型必须对此立刻作出调整。
常见的应用场景包括动态系统以及机器人控制等。
常见算法包括Q-Learning以及时间差学习（Temporal difference learning）在企业数据应用的场景下，人们最常用的可能就是监督式学习和非监督式学习的模型。
在图像识别等领域，由于存在大量的非标识的数据和少量的可标识数据，目前半监督式学习是一个很热的话题。
而强化学习更多的应用在机器人控制及其他需要进行系统控制的领域。
算法类似性根据算法的功能和形式的类似性，我们可以把算法分类，比如说基于树的算法，基于神经网络的算法等等。
当然，机器学习的范围非常庞大，有些算法很难明确归类到某一类。
而对于有些分类来说，同一分类的算法可以针对不同类型的问题。
这里，我们尽量把常用的算法按照最容易理解的方式进行分类。
回归算法：回归算法是试图采用对误差的衡量来探索变量之间的关系的一类算法。
回归算法是统计机器学习的利器。
在机器学习领域，人们说起回归，有时候是指一类问题，有时候是指一类算法，这一点常常会使初学者有所困惑。
常见的回归算法包括：最小二乘法（Ordinary Least Square），逻辑回归（Logistic Regression），逐步式回归（Stepwise Regression），多元自适应回归样条（Multivariate Adaptive Regression Splines）以及本地散点平滑估计（Locally Estimated Scatterplot Smoothing）基于实例的算法基于实例的算法常常用来对决策问题建立模型，这样的模型常常先选取一批样本数据，然后根据某些近似性把新数据与样本数据进行比较。
通过这种方式来寻找最佳的匹配。
因此，基于实例的算法常常也被称为“赢家通吃”学习或者“基于记忆的学习”。
常见的算法包括k-Nearest Neighbor(KNN), 学习矢量量化（Learning Vector Quantization，LVQ），以及自组织映射算法（Self-Organizing Map ，SOM）正则化方法正则化方法是其他算法（通常是回归算法）的延伸，根据算法的复杂度对算法进行调整。
正则化方法通常对简单模型予以奖励而对复杂算法予以惩罚。
常见的算法包括：Ridge Regression，Least Absolute Shrinkage and Selection Operator（LASSO），以及弹性网络（Elastic Net）。
决策树学习决策树算法根据数据的属性采用树状结构建立决策模型，决策树模型常常用来解决分类和回归问题。
常见的算法包括：分类及回归树（Classification And Regression Tree，CART），ID3 (Iterative Dichotomiser 3)，C4.5，Chi-squared Automatic InteractionDetection(CHAID), Decision Stump, 随机森林（Random Forest），多元自适应回归样条（MARS）以及梯度推进机（Gradient Boosting Machine，GBM）贝叶斯方法贝叶斯方法算法是基于贝叶斯定理的一类算法，主要用来解决分类和回归问题。
常见算法包括：朴素贝叶斯算法，平均单依赖估计（Averaged One-Dependence Estimators，AODE），以及Bayesian Belief Network（BBN）。
基于核的算法基于核的算法中最著名的莫过于支持向量机（SVM）了。
基于核的算法把输入数据映射到一个高阶的向量空间，在这些高阶向量空间里，有些分类或者回归问题能够更容易的解决。
常见的基于核的算法包括：支持向量机（Support Vector Machine，SVM），径向基函数（Radial Basis Function ，RBF)，以及线性判别分析（Linear Discriminate Analysis ，LDA)等聚类算法聚类，就像回归一样，有时候人们描述的是一类问题，有时候描述的是一类算法。
聚类算法通常按照中心点或者分层的方式对输入数据进行归并。
所以的聚类算法都试图找到数据的内在结构，以便按照最大的共同点将数据进行归类。
常见的聚类算法包括k-Means算法以及期望最大化算法（Expectation Maximization，EM）。
关联规则学习关联规则学习通过寻找最能够解释数据变量之间关系的规则，来找出大量多元数据集中有用的关联规则。
常见算法包括Apriori算法和Eclat算法等。
人工神经网络人工神经网络算法模拟生物神经网络，是一类模式匹配算法。
通常用于解决分类和回归问题。
人工神经网络是机器学习的一个庞大的分支，有几百种不同的算法。
（其中深度学习就是其中的一类算法，我们会单独讨论），重要的人工神经网络算法包括：感知器神经网络（Perceptron Neural Network）, 反向传递（Back Propagation），Hopfield网络，自组织映射（Self-Organizing Map, SOM）。
学习矢量量化（Learning Vector Quantization，LVQ）深度学习深度学习算法是对人工神经网络的发展。
在近期赢得了很多关注，特别是百度也开始发力深度学习后，更是在国内引起了很多关注。
在计算能力变得日益廉价的今天，深度学习试图建立大得多也复杂得多的神经网络。
很多深度学习的算法是半监督式学习算法，用来处理存在少量未标识数据的大数据集。
常见的深度学习算法包括：受限波尔兹曼机（RestrictedBoltzmann Machine，RBN），Deep Belief Networks（DBN），卷积网络（Convolutional Network）, 堆栈式自动编码器（Stacked Auto-encoders）。
降低维度算法像聚类算法一样，降低维度算法试图分析数据的内在结构，不过降低维度算法是以非监督学习的方式试图利用较少的信息来归纳或者解释数据。
这类算法可以用于高维数据的可视化或者用来简化数据以便监督式学习使用。
常见的算法包括：主成份分析（Principle Component Analysis，PCA），偏最小二乘回归（Partial Least Square Regression，PLS），Sammon 映射，多维尺度（Multi-Dimensional Scaling, MDS）, 投影追踪（Projection Pursuit）等。
集成算法：集成算法用一些相对较弱的学习模型独立地就同样的样本进行训练，然后把结果整合起来进行整体预测。
集成算法的主要难点在于究竟集成哪些独立的较弱的学习模型以及如何把学习结果整合起来。
这是一类非常强大的算法，同时也非常流行。
常见的算法包括：Boosting，Bootstrapped Aggregation（Bagging），AdaBoost，堆叠泛化（Stacked Generalization，Blending），梯度推进机（Gradient Boosting Machine, GBM），随机森林（Random Forest）。