ADABOOST算法流程和证明

wt 1,i wt ,i t1 i
其中 i 0 表示被正确地分类， i 1 ，表示被错误地分类
t t 1 t
⑶最后的强分类器为：
1 h( x ) 0
t ht ( x)
t 1
T
1 T 1 t 2 t 1 ， t log t otherwise
i

i: yi H ( xi )

Dt ( xi ) exp(t )
i: yi H ( xi )

Dt ( xi ) exp(t )
(1 t ) exp( t ) t exp( t )
此时我们用贪心算法求出 Zt 的一个局部最小值 对 Zt 中的 t 求导[此时将 t 固定]
是输入的训练样本， y i {0,1} 分别表示正样本和负样本，其中正样本 数为 l ，负样本数 m 。 n l m ，具体步骤如下： ⑴初始化每个样本的权重 wi , i D ( i ) ； ⑵对每个 t 1, , T ( T 为弱分类器的个数)： ①把权重归一化为一个概率分布
Adaboost算法
1、Adaboost算法简介 Adaboost算法是Freund和Schapire根据在线分配算法提出的，他 们详细分析了Adaboost算法错误率的上界，以及为了使强分类器达到 错误率，算法所需要的最多迭代次数等相关问题。与Boosting算法不 同的是，Adaboost算法不需要预先知道弱学习算法学习正确率的下限 即弱分类器的误差，并且最后得到的强分类器的分类精度依赖于所有 弱分类器的分类精度，这样可以深入挖掘弱分类器算法的能力。 2、Adaboost 算法基本原理 Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练 不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个 更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实 现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的 总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据 集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合 起来，作为最后的决策分类器。使用Adaboost分类器可以排除一些不 必要的训练数据特征，并将关键放在关键的训练数据上面。 Adaboost算法中不同的训练集是通过调整每个样本对应的权重来 实现的。开始时，每个样本对应的权重是相同的，即其中 n 为样本个 数，在此样本分布下训练出一弱分类器。对于分类错误的样本，加大 其对应的权重；而对于分类正确的样本，降低其权重，这样分错的样
j Dt ( xi ) h j ( xi ) yi
i 1 N
既然最大，只要我把弱分类器取反，这样错误率就是最小，这样还是 收敛到 0。
从以上的证明，我们知道只要是弱分类器的错误率都取最小，于 是我们就能组合得到一个强分类器。 接下来我们就找出一个弱分类器 h1 ( x) 错误率 1 很小。找 T 个联合起 来就得到了强分类器 H final x ！ 怎么找弱分类器？
i 1 N
1 m
h j 为：
1 p j g j ( x) p j j h j ( x) other 1
其中 p j 决定不等式的方向, 只有 1 两种情况。 4、将所有特征( j )中挑选出一个具有最小误差 t 的弱分类器 ht 。 5、对所有的样本权重进行更新
Dt 1 i
wt , i
wt , i
w
j 1
n
t, j
②对每个特征 f ，训练一个弱分类器 h j 计算对应所有特征的弱分 类器的加权错误率
j wt ( xi ) h j ( xi ) yi
i 1 n
③选取最佳的弱分类器 ht (拥有最小错误率)： t ④按照这个最佳弱分类器，调整权重
决策树 ID3，C4.5，C5.0 ID3 生成树用（CIG 类别属性增益法） C4.5 生成树用（Gain Ratio 增益比率法） 修剪树用(Rule post-pruning 规则修剪) C5.0 生成树用(Gini index 基尼指数) 修剪树用(CRAT 回归树修剪) 然后给出 Yoav Freund 论文中给出的寻找方法
N
Dt i exp t yi ht xi Zt
其中 Zt 是使 Dt 1 ( xi ) 1 得归一化因子。
i 1
6、经过 T 轮训练得到 T 个最优的弱分类器，此时组成一个强分类 器；
H
fin a l
x
s ig n
TLeabharlann t 1 thtx

exp y f ( x )
m t Zt
i i
其中 f ( xi ) t t ht ( x) 然后强分类器的错误率
training error ( H ) else 1 if yi f ( xi ) 0 1 N i 0 else 1 exp( yi f ( xi )) N i
本就被突出出来，从而得到一个新的样本分布。在新的样本分布下， 再次对弱分类器进行训练，得到弱分类器。依次类推，经过 T 次循环， 得到 T 个弱分类器，把这 T 个弱分类器按一定的权重叠加(boost)起 来，得到最终想要的强分类器。 Adaboost 算法的具体步骤如下：
{( x1 , y1 ), ( x 2 , y 2 ), , ( x n , y n )} ,其中 xi 设输入的 n 个训练样本为：
dZ t (1 t ) exp( t ) t exp( t ) d t
令导数为零
dZ t 0 解出 d t 1 1 t t ln( ) 2 t
此时
Z t 2 t (1 t )
绘制 Zt 关于 t 的曲线图
从这幅图上我们可以看出，当错误率越小或者越大（只要不在中点处 徘徊）的时候 Zt 快速收敛到 0。 越小：说明错误越小的分类器能快速识别出正例。 越大: 说明错误越大的分类器也能快速识别出正例。
i
1 N
0
1
if yi H ( xi )
Dt 1 (i ) Z t
i t
使这个错误率快速下降？
Z t Dt (i ) exp( t yi ht ( xi ))
i
Z t 为归一化因子。
转化为求 Zt 的最小值了！
Z t Dt ( xi ) exp(t yi ht ( xi ))
3、Adaboost算法应用 随着 Adaboost 算法的发展，目前 Adaboost 算法广泛的应用于人 脸检测、目标识别等领域，其中有在人脸识别、汽车识别、驾驶员眨 眼识别的方面的应用和研究。
Discete-Adaboost 算法
1、给定训练集： x1 , y1 ,, x N , y N ，其中 yi 1, 1 ，表示 xi 的正确的 类别标签， i 1, , N , g j ( xi ) 表示第 i 副图像的第 j 个特征值 2、训练集上样本的初始分布： D1 i 3、寻找弱分类器 ht ( t 1, , T ) ⑴对于每个样本中的第 j 个特征， 可以得到一个弱分类器 h j ，即可 得到阈值 j 和方向 p j ，使得 j Dt ( xi ) hj ( xi ) yi 达到最小，而弱分类器


在 Adaboost 算法的弱学习中，将产生错误率为 1 , 2 T 的弱分类
1 t） 器。如果每个错误率 t ，则强分类器的总错误率 e 2 （1t 2
一切都从强分类器的错误率开始 首先权值更新
Dt 1 i Dt i exp t yi ht xi Zt exp t t yi ht ( xi ) m t Zt
g j ( x1 ), g j ( x2 ) g j ( xN )
排序
g j ( x1 ), g j ( x 2 ) g j ( x N )
令阈值
ji
g j ( x i ) g j ( x i 1) 2
N 1 p j g j ( x) p j j h j ( x) ， j Dt ( xi ) hj ( xi ) yi i 1 0 other