基于对偶方法的变分光流改进算法

基于对偶方法的变分光流改进算法陈兵 重庆理工大学摘要：光流模型一：CLG 模型+（灰度守恒假设+梯度守恒假设）+非二次惩罚+SOR ．．． = ),(v u 光流模型二：CLG 模型+（灰度守恒假设+Laplacian 守恒假设）+非二次惩罚+SOR ．．．= ),(''v u 最终光流：对偶迭代),(v u 与),(''v u 理论依据：光流三要素：光流产生速度场；是一种携带信息并具有光学特性的载体，如像素等；是三维场景运动对二维平面的投影成像。

是带有灰度的像素点在图像平面上的运动而产生的瞬时速度场。

1. CLG 光流模型1981年，Horn 和Schunck[5]假设两帧图像时间间距很小，图像中某点亮度与物体上对应点处的表面的反射率成比例并假设反射率平滑变化没有空间不连续。

在排除对象彼此遮挡的情况下提出了光流算法的经典模型。

设),,(t y x f 是图像像素点),(y x 在t 时刻的亮度。

假设t+1时刻，此像素点运动到)1,,(+++t v y u x f ，且亮度保持不变。

则有：)1,,(),,(+++=t v y u x f t y x f 对上式Taylor 展开并忽略二阶及其高阶分量有：0=∂∂+∂∂+∂∂tf v y f u x f 其中，u 、v 是二维光流水平与垂直分量，f 为灰度图像。

在此基础上假设图像又具有连续性和平滑性，加入平滑权重因子α建立光流数学模型dxdy f vf uf v u E t y x HS )||)((),(22ωα∇+++=⎰⎰Ω其中，222||||||v u ∇+∇=∇ω。

上述模型是一种全局光流方法（H-S 方法），该方法也最终成为了变分方法的理论基础。

尽管这种算法可以得到稠密的光流场，但对噪声的鲁棒性很差。

同样是1981年，Lucas 和Kanade[8]利用图像的空间强度梯度，使用牛顿-拉夫逊迭代法提出了一种图像配准技术——局部光流方法（L-K 方法），其模型为2)(*),(t y x LK f vf uf K v u E ++=ρ其中，ρK 是以ρ为标准差的Gaussian 函数。

L-K 方法使得光流在噪声情况下具有很好的鲁 棒性，但也只是得到稀疏的光流场。

Bruhn 等人结合了H-S 方法和L-K 方法的优缺点提出了CLG 光流模型[7]:dxdyf vf uf K v u E t y x CLG ]||)(*[),(22ωαρ∇+++=⎰⎰Ω上式求得欧拉—拉格朗日(Euler-Lagrange)方程：)(*1t T f f f K +∇∇-∆=∂ωαωωρτ其中，T v u ),(=ω，T y x f f f ),(=∇。

⎪⎩⎪⎨⎧++-∆=++-∆=))(*)(*)(*(10))(*)(*)(*(1022t y y y x t x y x x f f K v f K u f f K v f f K v f f K u f K u ρρρρρρααCLG 光流模型综合了H-S 和L-K 两种方法的优缺点，得到了鲁棒性好且致密的光流场。

但由于此模型是以灰度守恒假设为基础模型建立的，所以对光照或者亮度变化的序列图像不能得到较为准确地光流场。

CLG 模型对应守恒假设的数据项数学表达式： 灰度守恒假设：dxdy f vf uf K v u E t y x Data )||*(),(2++Φ=⎰⎰Ωρ梯度守恒假设：dxdy fv f u f K v u E tyxData )||*(),(2∇+∇+∇Φ=⎰⎰ΩρLaplacian 守恒假设：dxdy f v f u f K v u E t y x Data )||*(),(2∆+∆+∆Φ=⎰⎰Ωρ2. 原始数据项：变分方法的能量泛函表达式：),(),(),(v u E v u E v u E Sm ooth D ata α+=dxdyv u v u E Smooth )||||(),(22∇+∇=⎰⎰Ω模型一数据项：dxdy f v f u f f vf uf v u E t y x t y x Data )||||(),(2221∇+∇+∇+++=⎰⎰Ωγγ模型二数据项：dxdyf v f u f f vf uf v u E t y x t y x Data )||||(),(2221∆+∆+∆+++=⎰⎰Ωγγ二次惩罚函数表达式：2,1,12)(2222∈+=Φi s s iii εε扩散反应方程：)(1ωαωωτR -∆=∂其中，T v u ),(=ω，τ为辅助变量，)(ωR 为扩散反应项。

3. 改进数据项 记：)1,(++∂=t X f f x x ω)1,(++∂=t X f f y y ω),()1,(t X f t X f f z -++=ω )1,(++∂=t X f f xx xx ω)1,(++∂=t X f f xy xy ω )1,(++∂=t X f f yy yy ω),()1,(t X f t X f f x x xz ∂-++∂=ω),()1,(t X f t X f f y y yz ∂-++∂=ω ),()1,(t X f t X f f xx xx xxz ∂-++∂=ω),()1,(t X f t X f f yy yy yyz ∂-++∂=ω ),()1,(t X f t X f f xy xy xyz ∂-++∂=ωT y x ),(∂∂=∇模型一改进的数据项：dxdyt X f t X f K t X f t X f K v u E Data )|),()1,(|*|),()1,(|*(),(22211∇-++∇+-++Φ=⎰⎰Ωωγωγρρ其中，Ty x X ),(=数据项对应的改进反应项为：)))(()(*)(||*()(212221'1y x yz xz z yz xz z f f f f K f f K f f K f K R ∇+∇+*+∇+*+Φ=ρρρργγγγω扩散反应方程（Euler-Lagrange 方程）⎪⎪⎪⎩⎪⎪⎪⎨⎧=++*++*+Φ-∇∇+∇Φ=++*++*+Φ-∇∇+∇Φ0)))(()(*())(*(1))|||(|(0)))(()(*())(*(1))|||(|(212221'122'2212221'122'2yy xy yz xz y z yz xz z yx xx yz xz x z yz xz z f f f f K f f K f f K f K v v u div f f f f K f f K f f K f K u v u div ρρρρρρρργγγγαγγγγα 超松弛迭代（SOR ）计算方法：T k k k k k dv v du u ),(1111----++=ω，T )0,0(0=ω，T k k k k k dv v du u ),(1++=+ω⎪⎪⎪⎩⎪⎪⎪⎨⎧=++*++*+Φ-∇∇+∇Φ=++*++*+Φ-∇∇+∇Φ++++++++++++++++++0)))(()(*())()(*(1))|||(|(0)))(()(*())()(*(1))|||(|(112112112211'112121'2112112112211'112121'2kyy k xy k yz k xz k y k z k yz k xz k z k k k kyx k xx k yz k xz k x k z k yz k xz k z k k k f f f f K f f K f f K f K v v u div f f f f K f f K f f K f K u v u div ρρρρρρρργγγγαγγγγα 对于上式，由于1*+k z f 的存在，所以上式是非线性的。

因此有必要进行一阶泰勒展开：kk yy k k yx k yz k yz k kxy k k xx k xz k xz kk y k k x k z k z dv f du f f f dv f du f f f dv f du f f f ++≈++≈++≈+++111 并且有kk k k k k dvv vdu u u +=+=++11其中，k du ，k dv 表示第k 层迭代结果，k u ，k v 表示第k 层的迭代初值，1+k u ，1+k v 表示第1+k 层的迭代初值。

上式代入则有：⎪⎪⎪⎪⎪⎪⎪⎪⎩⎪⎪⎪⎪⎪⎪⎪⎪⎨⎧++++++*++++++++*+++Φ-+∇+∇++∇Φ=++++++*++++++++*+++Φ-+∇+∇++∇Φ=)))(())((*)()()(*()(1))()|)(||)((|)((0)))(())((*)()()(*()(1))()|)(||)((|)((0212221'122'2212221'122'2k yy k xy k k yy k k yx k yz k k xy k k xx k xz k y k k y k k x k z k kyy k k yx k yz k k xy k k xx k xz k k y k k x k z k k k k k k k k k yx k xx k k yy k k yx k yz k k xy k k xx k xz k x k k y k k x k z k k yy k k yx k yz kk xy k k xx k xz k k y k k x k z k k k k k k k k f f dv f du f f dv f du f f K f dv f du f f K dv f du f f dv f du f f K dv f du f f K dv v dv v du u div f f dv f du f f dv f du f f K f dv f du f f K dv f du f f dv f du f f K dv f du f f K du u dv v du u div ρρρρρρρργγγγαγγγγα 由于Φ’的存在，上式中对于未知增量k du ，k dv 仍是非线性的，为了去掉Φ’中的非线性量，再次使用迭代，即使用一个外部迭代来解决。

引入外部迭代变量l ，则未知增量可表示为l k du ,，l k dv ,，并有外部迭代初值00,=k du ，00,=k dv 。

⎪⎪⎪⎪⎪⎪⎪⎪⎪⎩⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎧++++++*++++++++*+++Φ-+∇+∇++∇Φ=++++++*++++++++*+++Φ-+∇+∇++∇Φ=++++++++++++++++++++++++++++++)))(())((*)()()(*()(1))()|)(||)((|)((0)))(())((*)()()(*()(1))()|)(||)((|)((01,1,1,1,21,1,121,1,1,1,221,1,1,'11,21,21,,'21,1,1,1,21,1,121,1,1,1,221,1,1,'11,21,21,,'2kyy k xy l k k yy l k kyx k yz l k k xy l k k xx k xz k y l k k y l k k x k z l k kyy l k k yx k yz l k k xy l k kxx k xz l k k y l k k x k z l k l k k l k k l k k l k k yx k xx l k k yy l k kyx k yz l k k xy l k k xx k xz k x l k k y l k k x k z l k kyy l k k yx k yz l k k xy l k k xx k xz l k k y l k k x k z l k l k k l k k l k k l k f f dv f du f f dv f du f f K f dv f du f f K dv f du f f dv f du f f K dv f duf f K dv v dv v du u div f f dv f du f f dv f du f f K f dvf du f f K dv f du f f dvf du f f K dv f du f f K du u dv v du u div ρρρρρρρργγγγαγγγγα 散度表达式计算如下：1,1,1,1,1,)()())((++++++++=∆+∆=∇+∇=+∇l k yyl k xx k yykxxl k kl k k l k k du du u u duu du div u div du u div模型二改进的数据项：dxdyt X f t X f K t X f t X f K v u E Data )|),()1,(|*|),()1,(|*(),(22211∆-++∆+-++Φ=⎰⎰Ωωγωγρρ数据项对应的改进反应项为：)))(()(*)()(*()(212221'1yy xx yyz xxz z yyz xxz z f f f f K f f K f f K f K R ∇+∇+*+∇+*+Φ=ρρρργγγγω其中，Δ为Laplacian 算子。