基于视觉感兴趣区的视频质量评价方法

j =1
3
本文提出基于视觉感兴趣区的视频质量评价方法 (VRSSIM)。一般失真的视频评价主要从 3 个方面进行：(1)视 频中图像局部失真；(2)视频中某些帧图像失真；(3)整个视频 段失真。 对视频中图像局部失真采取以下数学模型进行判定：
Qi = ∑ j =1ωij SSIM ij
Rs
基于视觉感兴趣区的视频质量评价方法
第 35 卷 Vol.35
第 10 期 No.10
计 算 机 工 程 Computer Engineering
文章编号：1000—3428(2009)10—0217—03 文献标识码：A
2009 年 5 月 May 2009
中图分类号：TN949.6
·多媒体技术及应用·
基于视觉感兴趣区的视频质量评价方法
基金项目： 国家自然科学基金资助项目(60672072)； 浙江省自然科学 基金资助项目(Y106505)；湖南省自然科学基金资助项目(08JJ3130) 作者简介：卢国庆(1979－)，男，硕士研究生，主研方向：视频质量 评价，图像处理识别；李均利，教授、博士；陈 硕士研究生；满家巨，副教授 收稿日期：2008-10-17 E-mail：guoqing_lu@ 刚，教授；章 颖，
MSSIM ( X , Y ) = 1 M ∑ SSIM ( xi , yi ) M i =1
(5)
2
2.1
图像的结构相似度和结构边缘信息相似度
结构相似度 大量事实证明，在视频领域，人类视觉系统对结构信息 有着高度的敏感性。基于结构相似度的图像质量评价方法 (MSSIM)[2]被简单地应用到了视频领域， 该方法将原始图像和 失真图像都分成重叠或不重叠的子块，计算失真图像块和相 应位置的原图图像块的结构相似度，计算公式如下：
⎧1 ⎪ vij = ⎨2 − (20 − mij ) / 8 ⎪ ⎩2 mij ≤ 12 12 < mij ≤ 20 mij > 20
(13)
其中， dxi,j, dyi,j 为像素滤波后的方向向量。 根据每个像素对应的方向，按如图 1 所示 8 个方向将像 素分成 8 类。
2) 整个场景运动剧烈。以运动剧烈的宏块所占整帧运动 宏块的比重为划分线，如果比重大于 90%则说明运动剧烈的 宏块非常多，但此时更关注相对变化小的对象，因此，采用 式 (14)进行加权：
'
(8) (9)
45 < mij
(15)
mij > 55
Rs
ESSIM ( x, y ) = [l ( x, y )]α ⋅ [c( x, y )]β ⋅ [e( x, y )]γ
由此可知， ESSIM 评价方法在性能上优于 MSSIM 评价 方法。
其中， mij 表示第 i 帧图像的第 j 个宏块的运动向量模值； Rs 表示一帧中宏块的个数。 M i = ( ∑ mij ) / Rs 。本文在试验中以
1
视频质量评价方法可用来评价视频质量的好坏以及视频 压缩传输处理方法的优劣，在视频处理和视频质量监控领域 至关重要。视频质量评价方法分为两大类：主观评价方法和 客观评价方法。主观质量评价方法是最可靠的评价方法，但 在实际应用中将花费大量时间和费用，代价很高。因此，基 于 PSNR 和 MSE[1]等客观评价方法仍然因其低复杂度和简单 清楚的物理意义而广泛地应用在视频评价领域。由于它们没 有充分考虑人眼视觉特性，因此会造成客观评价结果和实际 视觉效果的不一致。 文献 [2]提出一种基于结构失真的视频质量评价方法，但 其对于高度模糊视频评价效果很差，针对这种情况，文献 [3] 提出一种基于结构边缘信息的图像质量评价方法，但它不能 直接用到视频领域，因为它没有考虑视频中场景的连续性和 运动对象的运动性。本文根据当前研究者对人眼视觉系统的 一些研究， 例如人眼对结构信息和运动信息比较敏感等特性， 提出一种考虑人眼视觉特性，根据结构信息和运动信息的视 频质量评价方法。
其中， F 表示序列中帧的数量； Wi 表示第 i 帧的权值。 Wi 的 选取采用以下原则：
⎧1 ⎪ ⎪2 ⎪ Wi = ⎨3 ⎪4 ⎪ ⎪ ⎩5 0.8 < Qi 0.6 < Qi 0.2 < Qi 0.0 ≤ Qi
≤ 1.0 ≤ 0.8
0.4 < Qi ≤ 0.6
≤ 0.4 ≤ 0.2
(18)
(11)
Method of Video Quality Assessment Based on Visual Regions-of-interest
LU Guo-qing1, LI Jun-li1, CHEN Gang1, ZHANG Ying1, MAN Jia-ju2
(1. College of Information Science and Engineering, Ningbo University, Ningbo 315211; 2. Hunan Normal University, Changsha 410083) 【Abstract】Aiming at the the disvantage that the video quality assessment based on structural distortion measurement can not apply directly on the video field and think over HVS, this paper proposes a method of video quality assessment based on visual regions-of-interest. It thinks about HVS, the structural distortion measurement and motion information. Experimental results show that the method is better than the method based on PSNR, MSSIM and ESSIM on the compress losing, smooth losing. 【Key words】video quality assessment; human visual system; motion information
dyi , j 180o ) × arctan( π dxi , j
(7)
(3)运动信息 vij 。在实际场景中，出现的运动场面主要有 以下 2 种情况： 1) 整个场景变化不大，只有部分对象在运动或变化。研 究发现，当人们观看这样的场景时，最关心的是场景运动和 变化的对象，因此，本文给这部分信息一个大的权值，采用 式 (13)进行加权：
SSIM ( x, y ) = [l ( x, y )]α ⋅ [c( x, y )]β ⋅ [ s ( x, y )]γ
(1)
其中， X 和 Y 表示参考图像和失真图像； M 是图像分块的数 目； xi 和 yi 是对应的第 i 个子块图像。 基于 MSSIM 的评价方法在性能上要强于基于 MSE 和 PSNR 的评价方法，它体现了人眼的一定特征，然而在评价 严重模糊图像时，结果并不理想。
(12)
其中，Qi 是式 (10)计算所得的质量值。通过式 (17)可得到最终 需要的结果。
4
4.1
实验与结果分析
主观实验及材料准备 本文采用 VQEG 组织提供的视频库中的 720×576 分辨 率视频中的 6 个视频序列 (包括静态场景、各种运动场景 )[4]。 本文在这些视频序列上进行了 2 种质量损失： (1)压缩损失， 主要量化参数 QP(量化步长 )分别为 6, 12, 18, 24, 30；(2)模糊 损失，模板为 3, 5, 7, 11, 15, 19。编解码环境在由 XVID 组织 提供的 xvidcore-1.1.3 版本上进行。算法的实现在 8×8 宏块
这帧图像的运动向量平均模值为标准，如果帧平均运动向量 模值 Mi 小于 16 则判断为第 1 种情况 (场景变化不大 )，否则 判断为第 2 种情况。另外在计算比重时以运动向量模值是否 大于 50 为判断运动剧烈划分条件，大于 50 则认为是运动剧 烈块。 综合以上 3 种考虑得到最终的加权系数： ωij = lij × eij × vij (16) 对于视频中每一帧图像失真和整个视频段失真，本文采 用下式进行加权处理：
e( x, y ) =
如果比重小于 90%，则说明大部分物体变化不是非常明 显，而有一部分对象在高速运动，则注意力会集中在高速运 动部分，应给这部分一个高的权值，采用式 (15)进行加权。
⎧1 ⎪ vij = ⎨ 2 − (55 − mij ) /10 ⎪ ⎩2 mij
≤
45
≤ 55
σ xy + C3 σ ' xσ ' y + C3
—217—
结构边缘信息相似度 针对基于 MSSIM 的方法出现的情况，文献 [3]提出一种 使用 基于结构边缘信息相似度的图像质量评价方法 (ESSIM)， Sobel 算子进行滤波，利用式 (6) 、式 (7) 计算每一个像素 Pi,j 的大小和方向。 大小： AMPi,j=| dxij |+| dyij| (6) 2.2 方向： Angi , j =
概述
l ( x, y ) =
2µ x µ y + C1 µ x 2 + µ y 2 + C1
2σ xσ y + C2 σ x 2 + σ y 2 + C2
(2)
c ( x, y ) = s ( x, y ) =
(3)
σ xy + C3 σ xσ y + C3
(4)
其中， x 和 y 代表参考图像和失真图像的子块； l ( x, y ) 为亮 度比较函数； c( x, y ) 为对比度比较函数； s ( x, y ) 为结构比较 函数；参数 α , β , γ 均大于 0，用来调整 3接近于 0 时产生 不合理的计算结果。 在本文中， α , β , γ 均取值为 1， C1=(K1L)2, C2=C3=(K2L)2, L=255, K1=0.01, K2=0.03。在实际应用中，整幅 图像结构相似度定义为