(翻译)嵌入式贝叶斯网络在人脸识别中的应用

嵌入式贝叶斯网络在人脸识别中的应用Ara V Nefian英特尔公司微处理器研究实验室Santa Clara ，CA 95052ara.nefian @ 摘要：本文所介绍的嵌入式贝叶斯网络(EBN)是嵌入式隐马尔可夫模型的一种概括，嵌入式隐马尔可夫模型最初应用于人脸和字符识别。

一个EBN 递归的被定义为一个层次结构，在这个结构里，“双亲”层节点在嵌入式贝叶斯网络或者描述“孩子”层各节点的观察序列的条件下是一个贝叶斯网络。

在嵌入式贝叶斯网络下，可以建立复杂的N 维数据，在保护他们的灵活性和局部尺度不变性的同时避免复杂的贝叶斯网络。

在本文中，我们提出了嵌入式贝叶斯网络在人脸识别上的一种应用，并且描述了该方法与特征脸方法以及嵌入式隐马尔可夫模型方法相比的完善之处。

1、 简介：本文介绍的动机是需要实际的统计模型与n 维的依赖，特别是依赖使用二维图像分析。

而隐马尔可夫模型(HMM)是非常成功的应用于语音识别或手势识别，在这个模型里，随着时间的推移数据依赖于一维，相当于一个N 维隐马尔可夫模型已被证明是不切实际的，由于其复杂性会随着数据的大小而成倍增长[1]。

对于图像识别，特别是人脸识别[2]，其数据本质上是二维的，基于采用主成分分析（[3]，[4]），线性判别分析（[5]），神经网络（[6]，[7]），和匹配追踪方法的模板与早期的几何特征表现相比有了改进。

然而，这些方法不能概括在尺度，方向，或面部表情方面的广泛差异。

近年来，几种近似二维隐马尔可夫模型与实际计算模型的方法被研究了，诸如伪二维隐马尔可夫模型或嵌入式隐马尔可夫模型应用于字符识别[1]或人脸识别[10]，[11]。

这些模型在相当大的程度上降低了早期基于隐马尔可夫模型的人脸识别方法的错误率[11]。

在文献[12]中，Jia 和 Gray 制定了一个有效的近似于隐马尔可夫模型的训练和识别的方法，并将其应用于文本图像分析。

本文介绍了一个系列嵌入式贝叶斯网络（EBN ）并研究它们的人脸识别性能。

嵌入式贝叶斯网络通过允许每一个隐马尔可夫模型被任意的贝叶斯网络所代替来概括嵌入式隐马尔可夫模型。

本文主要介绍在动态贝叶斯网络如HMM 或耦合HMMs 基础上建立的一系列嵌入式贝叶斯网络,并将他们的人脸识别性能与现有的一些方法相比较。

2、 耦合隐马尔可夫模型耦合隐马尔可夫模型（CHMM ）可以被视为一个HMMs 的集合，一个数据流集合，其中每个HMM 在时间t 时的离散型节点受所有相关HMMs 在时间t-1时的离散型节点的影响。

图1显示了一个CHMM ，其中正方形代表隐藏的离散节点而环形代表连续观测节点。

用C 表示一个CHMM 通道的数量，并用i =[il,..,,ic]表示状态向量，描述通道1处隐藏节点的状态，…，在一个特定时间t 的实例。

(C 是耦合隐马尔可夫模型（CHMM ）的一个通道，i = [i l ,….,i c ]是描述在通道1……C 隐藏节点的状态的状态向量，1q [,...]C t t t q q 代表一个特定的时间例如t 时状态。

)耦合隐马尔可夫模型的要素有，在通道c 里的状态i c 的初始状态概率；，在通道c里的状态转移概率从状态j到状态，以及，在通道c里观察概率传给状态ic。

图1：耦合隐马尔可夫模型的图像识别3、一个嵌入式贝叶斯网络系列嵌入式贝叶斯网络（EBN）是一个由多层组成的层次统计模型，除最低层外的每一层被定义为一组EBN。

最低层有一组观察向量集组成。

同层EBN的参数是相互独立的，而他们的参数取决于上层中的“母”EBN。

本文所介绍用于人脸识别的EBN有两层构成，每一层代表一个数据维度。

每一层用一组HMMs或者CHMMs来描述，如图2所示描述了四个EBNs 系列：嵌入式隐马尔可夫模型(EHMM)：其两层都是用HMMs描述，HMM-CHMM：其中上层是一个HMM，下层由一组CHMMs构成，CHMM-HMM：其中上层是一个CHMM，下层由一组HMMs构成，还有嵌入式耦合隐马尔可夫模型(ECHMM)：其中两层都由CHMMs 描述。

自从隐马尔可夫模型可以被视为一种带有数据流的CHMM，ECHMM是其所属系列的所有模型的一个概括。

为了简化，本文仅给出了正式的定义，并描述了所有系列中最常见模型的演算法，也就是ECHMM。

以下所给出的双层ECHMM参数的正规定义可以扩展到任何数量的层。

在本文中我们将参照“母层”CHMMs中的通道，节点及状态作为ECHMM 的超级通道道，超级节点和超级状态。

为了简化起见，假定在层l里的ECHMM有相同数量的渠道，一个两层ECHMM的要素有：●在超级通道里的最初超级状态概率●在超级通道里从状态到状态的状态转移概率●对超级通道s里的每一个超级状态k来说，CHMM的参数定义如下：✧在超级通道里最初的状态概率✧状态转移概率✧观察概率。

在连续混合高斯组成部分里，该观测向量O的概率是由以下公式给出：公式里和表示在c通道里的j状态下的m次混合物的均值和协方差矩阵。

表示与c通道里的j状态相应混合物的数量，重量表示相应混合物的重量。

图2：（a）嵌入式HMM，（b）HMM-CHMM结构（c）CHMM-HMM结构（d）嵌入式CHMM4、观测向量图像的观察序列是从大小为的图像块中提取的，如图3所示，图像块是通过从左到右，从上到下扫描图像获得的。

相邻图像块在垂直方向行和水平方向的列处重叠。

具体来说，在行和列处，我们使用六个二维系数（3×2低频阵列）。

使用二维系数代替像素值作为观测向量的理由是，具有压缩和去相关特性的二维离散余弦可以转换为自然图像。

由此产生的观测向量的阵列大小为，其中和是从高度为H宽度为W的图像中提取的观测向量的数量。

图3：人脸图像参数化和块提取下一个连续的横向和纵向的观测向量在观察块中组合在一起。

在本文我们将表示为在观察块里与c通道对应的观察向量。

5、最优状态序列分割本节中介绍的算法确定最佳状态和ECHMM.观察序列的超级状态分割。

该算法也简称为ECHMM的维特比算法可以通过设置适量的通道和超级通道应用于本文所讨论的EBN系列的所有模型。

为了简单，我们在这里所描述用于两层ECHMM的维特比算法。

●对于每个观察块，在给定超级通道s的超级状态下，用HMM [14] 或者CHMM [15]计算维特比算法。

在给定超级通道s的超级状态下的观察块中最好的超级状态概率与状态最优分割分别表示为和。

●初始值：●递归式：●终止式：●回溯法：在实际中，为了克服溢出和大量乘法的问题，以上所有的计算可用于对数形式。

表1比较了两层EBN维特比搜索的复杂性与任意个BN分别在上，下两层的N0和N1两种状态的每个节点以及CHMM的N0N1的状态。

在EBN中复杂性的维特比算法可以并行计算，因为低水平的模型是相互独立的。

表1：CHMM 和EBN间复杂性比较的补充6、演练（TRAINING）为了演练EBN，观测向量首先从图像训练集中提取。

本文，在训练中我们会指示会员将T 示例图像设置超级脚本。

为了演练EBN，我们进行如下程序：1、在第一次迭代时，观测块的阵列被均匀分割成S的垂直通道，并且在每个超级通道里的向量根据每个超级通道里超级状态的数量均匀分割。

然后观测阵列随每个观测块根据每个“孩子”（"child"）层的通道和状态的数量被均匀分割。

为了初始化混合组成成分，被分配到每个通道c,状态j，超级状态k和超级通道s的观测序列被指定为采用k-均值算法的集群。

2、在下一次迭代时，均匀分割被第5节所述的最优状态分割算法代替。

在每一状态j和超级状态k里的混合成分取决于训练集中第r个示例中的观察值，对于高斯成分，高斯密度函数是最高的。

3、模型参数通过使用部分K-均值算法的延伸来估算。

具体来说，超级状态之间的估计转移概率是通过如下公式获得的：其中，如果因观察块在超级通道s里发生了由状态序列l到超级状态的转移，则的值为1，否则为0。

嵌入式状态之间的估计转移概率是由如下公式获得的：其中，如果在观察块里因观察发生了通道c里的状态j到状态的转移，则的值为1，否则为0。

估计均值，高斯混合物的协方差，和超级状态k里状态j的混合物m的混合系数的值由如下公式获得：其中，观察被指定到超级通道s里的超级状态k，通道c里的状态j,和混合成分m，则就等于1，否则等于0。

4、如果在连续迭代时用维特比算法计算的观察概率小于规定的临界值，则迭代停止并且演练模型中的参数被保存。

否则重复步骤2-4。

7、人脸识别随着EBN的参数被用于数据库里的每张人脸，人脸识别从提取测试人脸图像中的观测向量开始，如第4节所述。

然后计算最优状态分割的概率（如5节），用于试验演练模型中给出的观察序列。

最后，观察序列和训练模式之间的最高匹配评分显示测试图像的身份。

在试验中，所有的HMM和CHMM的底层都有六个状态，每个通道分别有三个状态。

对母层来说，HMM和CHMM的每个通道里有五个状态。

使用三个混合高斯函数与协方差矩阵对角线的混合物将所有状态模式化。

为了降低EBN计算的复杂性，我们试验中所使用的CHMM 只有两个通道。

我们已经在佐治亚理工学院的人脸数据库（Georgia Tech database）上测试了基于EBN的人脸识别系统[16]。

数据库由50个人组成，每个人都有15种可能的面部表情。

对于大多数人来说，在为期三个月的时间里，进行两次或三次的会话以采集照片。

在图像平面和垂直图像平面里都允许大小，面部表情，照明和旋转有强烈变化。

表2比较了试验中获得的辨别率，在试验中，每个人用10种表情来演练每一层EBN并测试剩余的5种表情。

在同一数据库基于“特征脸”方法[3]的人脸识别系统达到了68%的正确率。

表2：EHMM, HMM-CHMM, CHMM-HMM 和ECHMM人脸识别的比较上表表明CHMM-HMM结构的辨别率最高，但是与数据量小的ECHMM相比，提高不大，至于人脸识别的最好模型是哪一种还没有明确的结论。

然而，我们的结果表明，在母层用CHMM能提高在母层用一个HMM的EBNs的辨别率，除了后者的灵活性外，第一种结构在图像平面里是更好的模型转换。

本文所使用模型的计算复杂性取决于观察概率的估算，观察概率在所有模型中都相同。

然而，对于包括CHMM在内的模型来说，在较多数量的通道下，计算复杂性取决于表1描述的维特比算法。

8、结论EBN代表了一种新的具有若干分析应用功能的统计模型，并能建立N维相依的数据模型。

本文描述了由最优状态分割得出的EBN的演练和识别算法。

尤其是具有两个层次的EBN 能够应用于问题如人脸识别，字符识别的图像识别，其中数据基本上是二维的。

我们的人脸识别的实验表明：本文所描述的EBN系列优于现存的一些方法如特征脸法，嵌入式隐马尔可夫模型（也是EBN系列中的一种）。