霍夫丁不等式

在概率论中，Hoeffding不等式提供了一个上限，它限定了随机变量偏离其期望值的和的概率。Hoeffding不等式是由Wassily Hoeffding 在1963提出并证明的。

Hoeffding不等式是Azuma–Hoeffding不等式的一种特殊情况，它比伯恩斯坦不等式更一般（1923由Sergei Bernstein提出并证明）。他们都是迈克迪米德不等式的特殊情况。

伯努利随机变量的特殊情况

Hoeffding不等式可应用于伯努利随机变量同分布的特殊情况下，这就是该不等式经常用于组合数学与计算机科学的原因。我们考虑一个硬币正面朝上和反面朝上的例子，概率分别为p和1?P。我们抛硬币的N次。预期的硬币朝上的次数总和是PN。更进一步，硬币朝上次数不大于K次的概率可以精确量化为以下表达式：

其中H(n)在n次抛硬币中正面朝上的次数。

对于任意的当，Hoeffding不等式将这个概率限定在一个

成指数相关小的范围内：

类似的，对于任意的当，Hoeffding不等式也限定了这个概率：在n次抛掷硬币中，至少有次或更多次硬币朝上的概率：

因此，Hoeffding不等式意味着硬币朝上的次数收敛于它的均值，有一个指数范围内的误差：

例如，取：

一般情况

设x1,……,xn是取值在[0,1]的独立随机变量：我们定义这些变量的经验均值为：

一个Hoeffding定理1的不等式（1963）为：

Hoeffding定理2是上述不等式的一种泛化形式。即当xi的取值严格限制在区间[ai,bi]，有：

当t取正值时有效。这里是的期望均值。这个不等式也可以用于随机变量和的情况，设：

有以下不等式成立：

注意：如果xi是不重复取样获得的，这个不等式依然成立；在这种情况下随机变量不再是独立的。这种情况的证明可以在Hoeffding的论文中找到。对于条件没有么严格的不重复取样的情况，可以在Serfling的论文中找到相应的例子。

证明

在这一节，我们给出Hoeffding不等式的证明。证明使用了Hoeffding引理：

如果X是均值为0的实随机变量，并且，那么对于所有的都有：

使用这个引理，我们可以证明Hoeffding不等式。假设有n个独立随机变量x1,x2...xn，并且有

令

对于，根据Markov不等式和xi的独立性以及霍夫丁引理可以推导出：

为了得到最好的上限，对于上面等式的右侧，我们需要找到一个函数S使得它最小。定义

注意到g是一个二次函数，并且当它达到最小值时，有：

因此，将s值带入，可以得到：

用处

置信区间

Hoeffding不等式通过解定理1中的不等式，可以用来分析得到一个置信区

间所需要的样本数量。不等式为：

这个不等式说明，估计值和实际值之间的误差大于t的概率不会超过

。同样的道理，根据对称性，不等式对于误差的相反数依然成立：

将上述两式相加，可以得到一个双边的不等式；

这个概率可以被解释为，对于置信度（犯错的概率），对应在两侧的宽度为2t的置信区间，其值不会超过一个固定的值

解以上不等式，得到对应的n为：

所以，为了得到置信度为的置信区间，我们需要

至少次采样。

因此，获取置信区间的成本与置信水平成log相关，与置信精度成指数相关。

注意，这个不等式是定理1的3种估计方法中最保守的估计方法，另外还有更有效的方法估计的置信区间。