adaboost算法原理
adaboosting算法原理
adaboosting算法原理Adaboosting（亦称AdaBoost）是一种集成学习（ensemble learning）方法，用于提高弱分类器的准确性，并将它们组合为强分类器。
它是由Yoav Freund和Robert Schapire于1996年提出的。
Adaboost的基本思想是通过对先前分类错误的训练样本进行加权，并重新训练分类器，使其能够更好地区分这些错误的样本。
在下一轮的训练中，对先前分类正确的样本权重进行降低，以便更多地关注分类错误的样本。
这样的迭代过程将使得一些样本在最终的分类器中具有更高的权重，从而提高整体分类性能。
以下是Adaboosting算法的基本步骤：1.初始化训练样本权重：对于具有N个训练样本的训练集，初始权重都设置为相等值（通常为1/N）。
2.对于t从1到T（迭代次数）：a.使用加权训练集训练一个弱分类器。
弱分类器在训练样本上的错误分类程度将决定它的权重。
b.计算弱分类器的错误率εt。
c.根据εt计算弱分类器的权重αt，其中：αt = 0.5 * ln((1-εt)/εt)d.更新训练样本的权重，使错误分类的样本权重增加，并且正确分类的样本权重减少。
更新公式为：对于正确分类的样本：wt+1(i) = wt(i) * exp(-αt * yi * hi(xi)) / Zt对于错误分类的样本：wt+1(i) = wt(i) * exp(αt * yi * hi(xi)) / Zt其中，wt(i)是第t轮迭代时样本i的权重，yi是样本i的类别（+1或-1），hi(xi)是弱分类器在样本xi上的预测输出，Zt是用于归一化权重的因子。
3. 根据所有弱分类器的权重αt和各自的预测输出hi(xi)，通过加权求和的方式得到最终的强分类器：f(x) = sign(Σt=1到T (αt * hi(x)))其中，sign(是一个符号函数，将结果转换为二元分类输出（+1或-1）。
Adaboosting的主要优点在于它能够使用一系列相对简单的弱分类器构建一个准确性更高的强分类器。
Adaboost算法实例解析
Adaboost算法实例解析Adaboost 算法实例解析1 Adaboost的原理1.1 Adaboost基本介绍AdaBoost，是英⽂"Adaptive Boosting"（⾃适应增强）的缩写，由Yoav Freund和Robert Schapire在1995年提出。
Adaboost是⼀种迭代，其核⼼思想是针对同⼀个训练集训练不同的分类器(弱分类器)，然后把这 Adaboost 些弱分类器集合起来，构成⼀个更强的最终分类器(强分类器)。
其算法本⾝是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。
将修改过权值的新数据集送给下层分类器进⾏训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。
使⽤adaboost分类器可以排除⼀些不必要的训练数据特徵，并将关键放在关键的训练数据上⾯。
主要解决的问题 ⽬前，对adaBoost算法的研究以及应⽤⼤多集中于分类问题，同时近年也出现了⼀些在回归问题上的应⽤。
就其应⽤adaBoost系列主要解决了: 两类问题、多类单标签问题、多类多标签问题、⼤类单标签问题，回归问题。
它⽤全部的训练样本进⾏学习。
1.2 Adaboost算法介绍算法分析 该算法其实是⼀个简单的弱分类算法提升过程，这个过程通过不断的训练，可以提⾼对数据的分类能 Adaboost⼒。
整个过程如下所⽰： 1. 先通过对N个训练样本的学习得到第⼀个弱分类器； 2. 将分错的样本和其他的新数据⼀起构成⼀个新的N个的训练样本，通过对这个样本的学习得到第⼆个弱分类器； 3. 将1和2都分错了的样本加上其他的新样本构成另⼀个新的N个的训练样本，通过对这个样本的学习得到第三个弱分类器； 4. 最终经过提升的强分类器。
即某个数据被分为哪⼀类要通过， ……的多数表决。
Adaboost的⾃适应在于：前⼀个基本分类器分错的样本会得到加强，加权后的全体样本再次被⽤来训练下⼀个基本分类器。
adaboost算法基本原理
adaboost算法基本原理Adaboost算法是一种集成学习方法，通过组合多个弱分类器来构建一个强分类器。
它的基本原理是通过逐步调整训练样本的权重，并将每个弱分类器的分类结果进行加权投票，从而得到最终的分类结果。
Adaboost算法的核心思想是通过迭代的方式训练多个弱分类器，并根据每个分类器的性能调整样本的权重，使得那些被错误分类的样本在后续的训练中得到更多的关注。
具体来说，Adaboost算法的训练过程可以分为以下几个步骤：1. 初始化样本权重：开始时，所有样本的权重相等。
2. 迭代训练：对于每次迭代，都会训练一个新的弱分类器。
训练过程中，会根据当前的样本权重来调整训练样本的相对重要性。
3. 弱分类器训练：在每次迭代中，选择一个最佳的弱分类器来训练。
弱分类器通常是一个简单的分类模型，比如决策树桩（decision stump）。
4. 弱分类器权重计算：计算当前弱分类器的权重，该权重取决于分类器的准确性。
准确性越高的分类器，其权重越大。
5. 样本权重更新：根据当前的弱分类器的表现，调整每个样本的权重。
被正确分类的样本权重会减小，被错误分类的样本权重会增加。
6. 结果加权投票：将每个弱分类器的分类结果进行加权投票，权重为其对应的分类器权重。
最终的分类结果是投票得到的分类标签。
通过上述步骤的迭代，Adaboost算法能够不断调整样本的权重，逐渐提升弱分类器的准确性，并且将它们组合成一个强分类器。
Adaboost算法的优点在于，它能够处理多类别分类问题，并且对于噪声数据具有较好的鲁棒性。
此外，Adaboost算法还能够自动选择特征，并且减少了参数的选择。
然而，Adaboost算法也存在一些限制。
首先，它对异常值敏感，异常值可能会对训练过程产生较大的影响。
其次，Adaboost算法对于噪声数据和过拟合问题也比较敏感。
最后，Adaboost算法的训练过程是串行的，无法并行化处理。
总结起来，Adaboost算法是一种通过迭代训练多个弱分类器，并将它们进行加权投票的集成学习方法。
adaboost算法参数
adaboost算法参数摘要：1.简介2.AdaBoost 算法原理3.AdaBoost 算法关键参数4.参数调整策略与技巧5.总结正文：1.简介AdaBoost（Adaptive Boosting）算法是一种自适应提升算法，由Yoav Freund 和Robert Schapire 于1995 年提出。
它通过组合多个弱学习器（决策树、SVM 等）来构建一个更强大的学习器，从而提高分类和回归任务的性能。
2.AdaBoost 算法原理AdaBoost 算法基于加权训练样本的概念，每次迭代过程中，算法会根据当前学习器的性能调整样本的权重。
在弱学习器训练过程中，权重大的样本被优先考虑，以达到优化学习器的目的。
3.AdaBoost 算法关键参数AdaBoost 算法有以下几个关键参数：- n_estimators：弱学习器的数量，影响模型的复杂度和性能。
- learning_rate：加权系数，控制每次迭代时样本权重更新的幅度。
- max_depth：决策树的深度，限制模型复杂度，防止过拟合。
- min_samples_split：决策树分裂所需的最小样本数，防止过拟合。
- min_samples_leaf：决策树叶节点所需的最小样本数，防止过拟合。
4.参数调整策略与技巧- 对于分类问题，可以先从较小的n_estimators 值开始，逐步增加以找到最佳组合。
- learning_rate 的选择需要平衡模型的拟合能力和泛化性能，可以采用网格搜索法寻找最佳值。
- 可以通过交叉验证来评估模型性能，从而确定合适的参数组合。
5.总结AdaBoost 算法是一种具有很高实用价值的集成学习方法，通过调整关键参数，可以有效地提高分类和回归任务的性能。
adaboostclassifier()介绍
adaboostclassifier()介绍摘要：1.AdaBoost 简介2.AdaBoost 算法原理3.AdaBoost 应用实例4.AdaBoost 优缺点正文：1.AdaBoost 简介AdaBoost（Adaptive Boosting）是一种自适应的集成学习算法，主要用于解决分类和回归问题。
它通过组合多个基本分类器（弱学习器）来提高预测性能，可以有效地解决单个分类器准确率不高的问题。
AdaBoost 算法在机器学习领域被广泛应用，尤其是在图像识别、文本分类等任务中取得了很好的效果。
2.AdaBoost 算法原理AdaBoost 算法的核心思想是加权训练样本和加权弱学习器。
在每一轮迭代过程中，算法会根据样本的权重来调整训练样本，使得错误分类的样本在下一轮中拥有更高的权重。
同时，算法会根据弱学习器的权重来调整弱学习器的重要性，使得表现更好的弱学习器在下一轮中拥有更高的权重。
这个过程会一直进行，直到达到预设的迭代次数。
具体来说，AdaBoost 算法包括以下步骤：(1) 初始化：设置初始权重，通常为等权重。
(2) 迭代：a.根据样本权重，对训练样本进行加权抽样。
b.训练弱学习器，得到弱学习器的预测结果。
c.更新样本权重，将错误分类的样本权重增加，正确分类的样本权重减小。
d.更新弱学习器权重，将表现更好的弱学习器权重增加，表现较差的弱学习器权重减小。
(3) 终止条件：达到预设的迭代次数或满足其他终止条件。
(4) 集成：将多个弱学习器进行集成，得到最终的预测结果。
3.AdaBoost 应用实例AdaBoost 算法在许多领域都有广泛应用，例如：(1) 图像识别：在计算机视觉领域，AdaBoost 算法被广泛应用于图像识别任务，尤其是人脸识别、车牌识别等。
(2) 文本分类：在自然语言处理领域，AdaBoost 算法可以用于文本分类任务，例如情感分析、垃圾邮件过滤等。
(3) 语音识别：在语音识别领域，AdaBoost 算法可以用于声学模型的训练，提高语音识别的准确率。
adaboostclassifier()介绍
adaboostclassifier()介绍摘要：1.介绍Adaboost 分类器2.Adaboost 的工作原理3.Adaboost 的优势和应用领域4.如何在Python 中使用Adaboost 分类器正文：Adaboost 分类器是一种非常强大的机器学习算法，它可以用来解决分类问题。
它的全称是"Adaptive Boosting"，是一种自适应增强技术。
Adaboost 的工作原理是通过组合多个弱分类器来构建一个更强大的分类器。
这些弱分类器是通过训练数据集的子集得到的，而每个子集的样本都是通过随机抽样得到的。
在训练过程中，Adaboost 算法会根据每个弱分类器的性能来调整它们的权重，从而使分类器能够更好地拟合数据集。
Adaboost 的优势在于它可以处理数据集中存在的噪声和异常值，而且对于数据集中不同类别的样本，它可以自动调整分类器的权重，从而提高分类器的性能。
因此，Adaboost 分类器在文本分类、垃圾邮件分类、图像分类等领域都取得了很好的效果。
在Python 中，我们可以使用scikit-learn 库中的AdaboostClassifier 类来创建和使用Adaboost 分类器。
首先，需要导入所需的库，然后使用fit 方法来训练分类器，最后使用predict 方法来对新的数据进行分类。
例如，以下代码展示了如何使用scikit-learn 库中的AdaboostClassifier类来创建一个Adaboost 分类器，并对Iris 数据集进行分类：```pythonfrom sklearn.datasets import load_irisfrom sklearn.ensemble import AdaboostClassifierfrom sklearn.model_selection import train_test_split# 加载Iris 数据集iris = load_iris()X = iris.datay = iris.target# 将数据集划分为训练集和测试集X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)# 创建Adaboost 分类器adaboost = AdaboostClassifier()# 使用训练集训练分类器adaboost.fit(X_train, y_train)# 使用测试集进行预测y_pred = adaboost.predict(X_test)# 计算分类器的准确率accuracy = adaboost.score(X_test, y_test)print("Accuracy: {:.2f}".format(accuracy * 100))```总之，Adaboost 分类器是一种非常有用的机器学习算法，它通过组合多个弱分类器来构建一个更强大的分类器，可以有效地处理数据集中的噪声和异常值，提高分类器的性能。
adaboost算法原理,以伪代码描述其算法过程
adaboost算法原理，以伪代码描述其算法过程Adaboost算法原理Adaboost算法是一种常用的分类算法，它的主要思想是通过迭代训练一系列弱分类器，将它们组合成一个强分类器。
Adaboost算法最早由Freund和Schapire在1996年提出，目前已被广泛应用于机器学习和数据挖掘领域。
1. 弱分类器首先需要明确什么是弱分类器。
弱分类器是指准确率略高于随机猜测的分类器，例如一个决策树深度只有1或2层、一个简单的线性模型等。
2. Adaboost算法流程Adaboost算法流程如下：（1）初始化样本权重：对于训练集中的每个样本，初始时赋予相同的权重。
（2）迭代训练：对于每轮迭代，根据当前样本权重训练一个弱分类器，并计算其误差率。
（3）更新样本权重：将误差率小的弱分类器赋予更大的权重，并根据其预测结果更新样本权重。
（4）组合所有弱分类器：将所有弱分类器按照其权重进行加权组合，得到最终的强分类器。
3. Adaboost算法具体实现具体实现过程中，需要定义以下变量：（1）训练集：$D=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中$x_i$表示第$i$个样本的特征向量，$y_i\in\{-1,1\}$表示第$i$个样本的类别。
（2）弱分类器：$h_t(x)$表示第$t$个弱分类器。
（3）样本权重：$w_{i,t}$表示第$i$个样本在第$t$轮迭代中的权重。
（4）弱分类器权重：$\alpha_t$表示第$t$个弱分类器的权重。
Adaboost算法伪代码如下：输入：训练集D，迭代次数T输出：最终的强分类器1. 初始化样本权重for i=1 to N dow_{i,0}=1/N2. 迭代训练for t=1 to T do(a) 训练一个弱分类器h_t(x)=train(D,w_{:,t})(b) 计算误差率e_t=sum(w_{i,t}I(h_t(x_i)!=y_i))/sum(w_{i,t})(c) 计算弱分类器权重alpha_t=log((1-e_t)/e_t)(d) 更新样本权重for i=1 to N dow_{i,t+1}=w_{i,t}*exp(alpha_ty_ih_t(x_i))/Z_t(e) 归一化因子Z_t=sum(w_{i,t+1})3. 组合所有弱分类器H(x)=sign(sum(alpha_th_t(x)))其中，$I$为指示函数，当$h_t(x_i)\neq y_i$时取值为1，否则为0；$Z_t$为归一化因子，使得权重和为1。
adaboost分类算法
adaboost分类算法Adaboost（Adaptive Boosting）是一种机器学习中常用的集成学习算法。
它通过迭代训练多个弱分类器来构建一个强分类器，每个弱分类器都专注于被前一个分类器分错的样本，从而提高整体分类的准确率。
本文将详细介绍Adaboost 算法的原理、步骤以及应用场景。
一、Adaboost算法原理Adaboost通过迭代训练多个弱分类器，并根据每个分类器的分类错误率来调整样本的权重，从而构建出一个强分类器。
其基本思想是将若干个分类器进行组合，每个分类器按照一定的权重进行加权求和，最终得到分类结果。
具体来说，Adaboost算法通过以下几个步骤完成分类过程：1. 初始化样本权重：对于给定的训练数据集，给每个样本分配一个初始的权重，初始时可以将每个样本的权重设置为相等。
2. 训练弱分类器：选择一个弱分类器作为基分类器，并根据当前样本的权重进行训练。
训练过程中，会根据分类结果的准确性更新样本权重。
3. 更新样本权重：根据上一步训练得到的弱分类器，计算误差率，并根据误差率调整每个样本的权重。
分类正确的样本权重会减小，分类错误的样本权重会增大。
这样，下一轮迭代时，分类器会更加关注被错误分类的样本。
4. 更新分类器权重：根据误差率计算当前分类器的权重，权重与误差率成负相关，误差率越低，分类器权重越高。
5. 归一化分类器权重：对分类器权重进行归一化处理，使得所有分类器的权重之和为1。
6. 终止条件：根据事先设定的迭代次数或错误率阈值，判断是否满足终止条件。
如果不满足，返回第2步，继续训练新的弱分类器；如果满足，则将所有弱分类器组合成一个强分类器。
二、Adaboost算法步骤详解1. 初始化样本权重在Adaboost算法中，每个样本都有一个对应的权重，初始时可以将每个样本的权重设置为相等。
这样做的目的是保证每个样本在开始的时候都有相同的重要性，不会因为某些样本的权重过大而引起偏差。
2. 训练弱分类器在Adaboost算法中，弱分类器可以选择多种，如决策树、神经网络等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
聚类和分类的区别是什么？一般对已知物体类别总数的识别方式我们称之为分类，并且训练的数据是有标签的，比如已经明确指定了是人脸还是非人脸，这是一种有监督学习。
也存在可以处理类别总数不确定的方法或者训练的数据是没有标签的，这就是聚类，不需要学习阶段中关于物体类别的信息，是一种无监督学习。
Haar分类器实际上是Boosting算法的一个应用，Haar分类器用到了Boosting算法中的AdaBoost算法，只是把AdaBoost算法训练出的强分类器进行了级联，并且在底层的特征提取中采用了高效率的矩形特征和积分图方法。
在2001年，Viola和Jones两位大牛发表了经典的《Rapid Object Detection using a Boosted Cascade of Simple Features》【1】和《Robust Real-Time Face Detection》【2】，在AdaBoost 算法的基础上，使用Haar-like小波特征和积分图方法进行人脸检测，他俩不是最早使用提出小波特征的，但是他们设计了针对人脸检测更有效的特征，并对AdaBoost训练出的强分类器进行级联。
这可以说是人脸检测史上里程碑式的一笔了，也因此当时提出的这个算法被称为Viola-Jones检测器。
又过了一段时间，Rainer Lienhart和Jochen Maydt两位大牛将这个检测器进行了扩展《An Extended Set of Haar-like Features for Rapid Object Detection》【3】，最终形成了OpenCV现在的Haar分类器。
Haar分类器= Haar-like特征+ 积分图方法+ AdaBoost + 级联；Haar分类器算法的要点如下：①使用Haar-like特征做检测。
②使用积分图（Integral Image）对Haar-like特征求值进行加速。
③使用AdaBoost算法训练区分人脸和非人脸的强分类器。
④使用筛选式级联把强分类器级联到一起，提高准确率。
1.Haar-like特征你是何方神圣Haar-like特征，那么我先说下什么是特征，我把它放在下面的情景中来描述，假设在人脸检测时我们需要有这么一个子窗口在待检测的图片窗口中不断的移位滑动，子窗口每到一个位置，就会计算出该区域的特征，然后用我们训练好的级联分类器对该特征进行筛选，一旦该特征通过了所有强分类器的筛选，则判定该区域为人脸。
所谓的特征不就是一堆堆带条纹的矩形么，到底是干什么用的？我这样给出解释，将上面的任意一个矩形放到人脸区域上，然后，将白色区域的像素和减去黑色区域的像素和，得到的值我们暂且称之为人脸特征值，如果你把这个矩形放到一个非人脸区域，那么计算出的特征值应该和人脸特征值是不一样的，而且越不一样越好，所以这些方块的目的就是把人脸特征量化，以区分人脸和非人脸。
为了增加区分度，可以对多个矩形特征计算得到一个区分度更大的特征值，那么什么样的矩形特征怎么样的组合到一块可以更好的区分出人脸和非人脸呢，这就是AdaBoost算法要做的事了。
这里我们先放下积分图这个概念不管，为了让我们的思路连贯，我直接开始介绍AdaBoost算法。
2 AdaBoost你给我如实道来！Boosting算法的核心思想，是将弱学习方法提升成强学习算法，也就是“三个臭皮匠顶一个诸葛亮”，它的理论基础来自于Kearns和Valiant牛《Crytographic Limitations on Learning Boolean Formulae and Finite Automata》的相关证明【4】，在此不深究了。
（AdaBoost在Haar分类器中的应用，所以只是描述了它在Haar分类器中的特性，而实际上AdaBoost是一种具有一般性的分类器提升算法，它使用的分类器并不局限某一特定算法。
）上面说到利用AdaBoost算法可以帮助我们选择更好的矩阵特征组合，其实这里提到的矩阵特征组合就是我们之前提到的分类器，分类器将矩阵组合以二叉决策树的形式存储起来。
我现在脑子里浮现了很多问题，总结起来大概有这么些个：v 弱分类器和强分类器是什么？v 弱分类器是怎么得到的？v 强分类器是怎么得到的？v 二叉决策树是什么？2.1 AdaBoost的身世之谜Valiant牛《A Theory of the Learnable》提出了Boosting算法，Boosting算法涉及到两个重要的概念就是弱学习和强学习，所谓的弱学习，就是指一个学习算法对一组概念的识别率只比随机识别好一点，所谓强学习，就是指一个学习算法对一组概率的识别率很高。
现在我们知道所谓的弱分类器和强分类器就是弱学习算法和强学习算法。
弱学习算法是比较容易获得的，获得过程需要数量巨大的假设集合，这个假设集合是基于某些简单规则的组合和对样本集的性能评估而生成的，而强学习算法是不容易获得的，然而，Kearns 和Valiant 两头牛提出了弱学习和强学习等价的问题【6】并证明了只要有足够的数据，弱学习算法就能通过集成的方式生成任意高精度的强学习方法。
这一证明使得Boosting有了可靠的理论基础，Boosting算法成为了一个提升分类器精确性的一般性方法。
Boosting算法还是存在着几个主要的问题，其一Boosting算法需要预先知道弱学习算法学习正确率的下限即弱分类器的误差，其二Boosting算法可能导致后来的训练过分集中于少数特别难区分的样本，导致不稳定。
针对Boosting的若干缺陷，Freund和Schapire牛于1996年前后提出了一个实际可用的自适应Boosting算法AdaBoost《A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting》。
2.2弱分类器的孵化最初的弱分类器可能只是一个最基本的Haar-like特征，计算输入图像的Haar-like特征值，和最初的弱分类器的特征值比较，以此来判断输入图像是不是人脸，然而这个弱分类器太简陋了，可能并不比随机判断的效果好，对弱分类器的孵化就是训练弱分类器成为最优弱分类器，注意这里的最优不是指强分类器，只是一个误差相对稍低的弱分类器，训练弱分类器实际上是为分类器进行设置的过程。
至于如何设置分类器，设置什么，我们首先分别看下弱分类器的数学结构和代码结构。
✧∙数学结构✧∙代码结构[cpp]view plain copy print?1.typedef struct CvCARTHaarClassifier2.{3. CV_INT_HAAR_CLASSIFIER_FIELDS()4.int count; //包含弱分类器的个数5.int* compidx; //这个弱分类器对应的特征编号。
即这个弱分类器是第compidx特征产生的6.CvTHaarFeature* feature; //弱分类器对应的特征的特征坐标7. CvFastHaarFeature* fastfeature;//弱分类器对应的特征的特征坐标8.float* threshold; //该弱分类器的阈值9.int* left; //同上10.int* right;11.float* val;12.} CvCARTHaarClassifier;代码结构中的threshold即代表数学结构中的 阈值。
这个阈值究竟是干什么的？我们先了解下CvCARTHaarClassifier这个结构，注意CART这个词，它是一种二叉决策树，它的提出者Leo Breiman等牛称其为“分类和回归树（CART）”。
什么是决策树？“机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。
树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。
决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。
从数据产生决策树的机器学习技术叫做决策树学习, 通俗说就是决策树。
”决策树包含：分类树，回归树，分类和回归树（CART），CHAID。
分类和回归的区别是，分类是当预计结果可能为两种类型(例如男女，输赢等)使用的概念。
回归是当局域结果可能为实数(例如房价，患者住院时间等)使用的概念。
决策树用途很广可以分析因素对事件结果的影响（详见维基百科），同时也是很常用的分类方法，我举个最简单的决策树例子，假设我们使用三个Haar-like特征f1，f2，f3来判断输入数据是否为人脸，可以建立如下决策树：可以看出，在分类的应用中，每个非叶子节点都表示一种判断，每个路径代表一种判断的输出，每个叶子节点代表一种类别，并作为最终判断的结果。
一个弱分类器就是一个基本和上图类似的决策树，最基本的弱分类器只包含一个Haar-like特征，也就是它的决策树只有一层，被称为树桩（stump）。
最重要的就是如何决定每个结点判断的输出，要比较输入图片的特征值和弱分类器中特征，一定需要一个阈值，当输入图片的特征值大于该阈值时才判定其为人脸。
训练最优弱分类器的过程实际上就是在寻找合适的分类器阈值，使该分类器对所有样本的判读误差最低。
在此元素之前的非人脸样本的权重的和s0；2）最终求得每个元素的分类误差1/* internal stage classifier */2 typedef struct CvStageHaarClassifier3 {4 CV_INT_HAAR_CLASSIFIER_FIELDS()5int count;6float threshold;7 CvIntHaarClassifier** classifier;8 }CvStageHaarClassifier;/* internal weak classifier*/typedef struct CvIntHaarClassifier{CV_INT_HAAR_CLASSIFIER_FIELDS()} CvIntHaarClassifier;这里要提到的是CvIntHaarClassifier结构：它就相当于一个接口类，当然是用C语言模拟的面向对象思想，利用CV_INT_HAAR_CLASSIFIER_FIELDS()这个宏让弱分类CvCARTHaarClassifier和强分类器CvStageHaarClassifier继承于CvIntHaarClassifier。
强分类器的诞生需要T轮的迭代，具体操作如下：1. 给定训练样本集S，共N个样本，其中X和Y分别对应于正样本和负样本； T为训练的最大循环次数；2. 初始化样本权重为1/N，即为训练样本的初始概率分布；3. 第一次迭代训练N个样本，得到第一个最优弱分类器，步骤见2.2节4. 提高上一轮中被误判的样本的权重；5. 将新的样本和上次本分错的样本放在一起进行新一轮的训练。