一种MPEG1_MPEG2视频流的自适应播放算法

2006年10月

October 2006

—224

— 计 算 机 工 程Computer Engineering 第 第20期

Vol 32卷.32 № 20 ·多媒体技术及应用·

文章编号：1000—3428(2006)20—0224—03

文献标识码：A

中图分类号：TN915.01

一种MPEG1/MPEG2视频流的自适应播放算法

吴 炜1，沙丽娜2，苏 兵3

(1. 西安电子科技大学综合业务网国家重点实验室，西安 710071；2. 广西大学计算机与电子信息学院，南宁 530004；

3. 西安通信学院移动通信教研室，西安 710106)

摘 要：提出了一种MPEG1/MPEG2视频流的自适应播放算法。算法根据播放缓冲区的占用情况来调整视频帧的播放持续时间，并在播放缓冲区上溢时判断到达视频帧的类型，以决定是暂时存储还是丢弃，使得不会造成帧内编码帧和前向预测编码帧的丢失，从而保证视频流平滑地播放。实验结果表明，在播放不连续性和播放失真上新算法都优于Yuang 算法，并实现了视频流的平滑播放。 关键词：MPEG1；MPEG2；视频流；自适应播放

An Adaptive Playout Algorithm for MPEG1/MPEG2 Video Streaming

WU Wei 1, SHA Lina 2, SU Bing 3

(1. State Key Laboratory of Integrated Service Networks, Xidian University, Xi’an 710071; 2. School of Computer and Electronics and Information,

Guangxi University, Nanning 530004; 3. Department of Mobile Communication, Xi’an Communication Institute, Xi’an 710106)

【Abstract 】An adaptive playout algorithm for MPEG1/MPEG2 video streaming is proposed.It scales the duration that each video frame is shown according to the occupied playout buffer level. On the types of arriving video frames basis the algorithm determines to temporary memory or discard the frames as the playout buffer is overflow. So the receiver could not lose intra-coded frames and predictive-coded frames. Experimental results show that the proposed algorithm has advantages over Yuang algorithm in discontinuity and distortion of playout and could make video streaming smoothly play out.

【Key words 】MPEG1; MPEG2; Video streaming; Adaptive playout

媒体同步是多媒体系统中的一个关键问题。媒体同步包括媒体内同步和媒体间同步[1]。媒体内同步和媒体间同步的关键问题分别在于控制时延抖动和偏移使其保持在可接受的范围[2]。本文主要讨论视频流在接收端的自适应播放。对于视频流，接收端一般通过调整视频流的播放帧率以适应网络时延变化所造成的播放缓冲区占用的变化。缓冲区上溢会丢失数据导致播放跳跃，缓冲区下溢会因为数据不足造成播放停顿，接收端调整视频流的播放帧率就是为了防止缓冲区上溢和下溢。到目前为止，已经有一些研究视频流自适应播放的算法[3~5]。这些算法都是对视频流的播放帧率进行调整，但是它们没有考虑当缓冲区上溢时，含有重要编码信息的帧如MPEG1和MPEG2中的帧内编码(I)帧和前向预测编码(P)帧的丢失给接收端的解码和播放带来的影响。本文提出一种MPEG1/MPEG2视频流的自适应播放算法，该算法根据播放缓冲区的占用情况来调整视频流的播放帧率，并采用新的机制使得缓冲区上溢不会造成I 帧和P 帧的丢失，保证视频流的平滑播放。

1 新的视频流自适应播放算法

1.1 新的视频流自适应播放算法

图1是接收端的自适应播放系统模型。播放缓冲区的容量为

N ，控制器根据缓冲区的占用情况控制播放帧率。在缓冲区中设定2个门限LL 和HL ，如图2所示，LL 为低门限，HL 为高门限。当缓冲区的队列长度在[LL , HL ]之间时，采用正常播放帧率μ；当缓冲区队列长度小于LL 时，播放帧率正比例减少但不能小于最小播放帧率；当缓冲区队列长度大于HL 时，播放速率正比例增加但不能大于最大播放帧率。在设置播放缓冲区的同时，还设置一个临时缓冲区。在视频帧播放期间，如果到达的视频帧数太多造成播放缓冲区上溢，那么当播放缓冲区满时接收端判断溢出的视频帧是否为I 帧或P 帧。如果不是I 帧或P 帧，则丢弃，否则存储到临时缓冲区中。假设临时缓冲区容量很小但足够存储一个视频帧播放期间溢出的I 帧和P 帧，当此视频帧播放完毕离开播放缓冲区瞬间，接收端解码并跳过播放与临时缓冲区中帧数目相同的视频帧，同时把临时缓冲区中的视频帧存储到播放缓冲区里。这样使得播放缓冲区上溢时不会造成I 帧和P 帧的丢失和相应产生的影响。

图1 自适应播放系统模型输入流输出流缓冲区

图2 播放缓冲区模型

基金项目：高等学校博士学科点专项基金资助项目(20010701006)；综合业务网国家重点实验室基金资助项目；华为基金资助项目 作者简介：吴 炜(1977－)，男，讲师，主研方向：多媒体通信和自适应信号处理；沙丽娜，硕士；苏 兵，讲师 收稿日期：2005-11-05 E-mail ：wuweiwi@https://www.360docs.net/doc/9a14278483.html,

HL

LL

N

有实验表明视频流播放帧率的变化范围不超过25%时，一般不易被察觉[4]。最大播放帧率和最小播放帧率按如下方法确定：假设正常播放帧率为20帧/s ，那么最大播放帧率max μ=20×1.25=25帧/s ，

最小播放帧率min μ=20×0.75=15帧/s 。根据播放缓冲区的当前占用情况决定合适的播放帧率。假设

缓冲区中有i 个视频帧，则播放帧率为

min

min

max

()()i i LL

LL i i HL i HL

N HL

μμμμμ

μμμ?+?<=?+??>????????LL i HL ≤≤ (1) 1.2 Yuang 等人提出的算法

Yuang 等人提出的算法[3]作为视频流同步方案适用于一般的视频解码系统。它是在接收端根据播放缓冲区中的队列长度动态地调整视频流播放帧率，以补偿网络时延抖动。该算法设定一个门限TH ，如果缓冲区中的队列长度i 大于门限TH ，算法采用一个设定的最大播放帧率1μ；否则播放帧率按比例减少来消除缓冲区为空带来的播放停顿现象，如下式：

1

1

max(,1)()i i TH i TH

i TH

μμμ?<=≥??

???

(2)

可以看出，该算法没有考虑缓冲区上溢时I 帧或P 帧丢

失所造成的影响。

2 模型分析

假设视频帧的到达过程为一个开关泊松过程(IPP)。状态ON 和OFF 分别表示突发状态和静默状态，由状态ON 转移到状态OFF 和由状态OFF 转移到状态ON 的概率分别为α和β。另外当系统处于状态ON 时，数据的到达率为λON ，状态为OFF 时，没有数据到达，即λOFF =0。因此该模型的状态转移概率矩阵和稳态概率分布分别为

,,,,11ON ON

ON OFF OFF ON

OFF OFF q

q q q α

α

ββ?=

=

????????

?Q ??

(3)

Πβα

αβαβ=

++?????

? (4)

考虑一个时间离散的服务系统，时间轴被分成很多相等

的间隔，称为时隙。假设顾客的到达发生在一个时隙的开始，顾客的离去发生在一个时隙的结束，服务时间为时隙的整数倍。当缓冲区中有i 帧数据时，每帧的服务时间用m i 表示，单位为时隙数。则有

1

()i m i μ=

?????

?1 (5) 假设表示从状态r (时隙为t ,()t

r s a k ’)转移到状态s (时隙为t ’

+t )期间，即[t ’

, t ’

+t -1]期间有k 帧到达的概率，则

,11

,,,{,}

()((1)()(1))t

r s t t r h h r h h h s h ON OFF a k a k a k q t λλ??∈=

??+???>∑

(6)

若以N n 表示第n 个被服务顾客在服务完毕离开系统瞬间

所观察到的系统队长(不包括第n 个被服务顾客)，随机变量序列{N n ，n=1, 2, …}构成了嵌入式马氏链。设p ij 表示视频帧离开时观察到的队长i 转移到队长j 的概率。则该嵌入式马氏链的

状态转移概率矩阵P 由下式给出：

0001

02010

1112120

212220

1

2

......[]......

P N N ij N N N N NN p p p p p p p p p p p p p p p p p ==????

????????

# (7)

当业务强度ρ≤1时，系统可以达到稳态。为了求出稳态

时的队长分布，必须确定p ij 。为求得p ij ，考虑下面2种情况。

情况1：当第n 帧(位于状态r )播放完毕离开缓冲区瞬间，缓冲区中还有i 帧视频(不包括第n 帧)。然后立即开始播放第n+1帧(位于状态s )，在第n+1帧播放期间，即m i 个时隙内，继续有视频帧到达。如果缓冲区未满，则进入缓冲区；如果缓冲区已满，则判断视频帧是否为I 帧或P 帧，如果不是I 帧或P 帧，则丢弃，否则暂时存储到临时缓冲区，等第n+1帧播放完毕离开缓冲区瞬间接收端解码并跳过播放与临时缓冲区中帧数目相同的视频帧，并把临时缓冲区中的帧存储到播放缓冲区里。又设在第n+1帧播放完毕离开缓冲区瞬间，缓冲区中有j 帧视频(不包括第n+1帧)。于是当i >0时，有

,{,}{,}()

,1{,}{,}

(1)()i

i

i

m r r s r ON OFF s ON OFF m j i ij

m

r r s k r ON OFF s ON OFF j N

j N

a j i p a j i k ∈∈??=∈∈<=Π??+=Π??+∑∑∑

∑∑?????(8)

情况2：当第n 帧播放完毕离开缓冲区瞬间，缓冲区中有0帧视频(不包括第n 帧)。当第n+1帧播放完毕离开缓冲区瞬间，缓冲区中的视频帧数目就等于在第n+1帧播放期间到达的视频帧数目。需要注意的是当IPP 处于状态ON 时第n+1帧才能到达，并且在第n+1帧到达的下一个时隙内，IPP 处于状态l 的概率为q ON,l 。因此，当i =0时，有

1,,{,}{,}1

1

,,{,}{,}

()()i

i

i

m ON l l s l ON OFF s ON OFF m ij

m ON l l s k N l ON OFF s ON OFF q a j p q a k ?∈∈??=∈∈j N

j N

?<=?=∑∑∑

∑∑????? (9)

由式(8)和式(9)可以得到状态转移概率矩阵P ，通过解稳态方程πP ＝π，可以得到队长的稳态分布π＝012[,,,...,]N ππππ。

讨论帧丢失概率也分两种情况：缓冲区中有i 帧视频情况下的丢失概率(用l i 表示)和缓冲区为空时的丢失概率(用l 0表示)。则有

,2{,}

{,}

1

1

0,1

{,}

{,}

()

()

i

i i i m m

i r k N i r ON OFF s ON OFF m m ON l l s k N l ON OFF s ON OFF l a l q =?+∈∈??=+∈∈=Π?=

?

∑

∑

∑

∑∑

∑

,r s k a k (10)

综上，可得帧丢失概率P L 、缓冲区下溢的概率P empty 和平均播放帧率B (用μ标准化)。

(N

)L i i i P π=l =

?∑ (11)

0empty P π= (12) 0

1

((N

i i ))B i πμμ

==

?∑ (13)

3 实验结果

由上可以看出缓冲区队长的稳态分布是参数LL 和HL 的

函数。为了选择合适的LL 及HL ，考虑3个变量：缓冲区下

—225—

溢的概率，帧丢失概率(即缓冲区上溢的概率)和平均播放帧率。实验条件如下：设μ=20帧/s ，选取max μ=25帧/s ， min μ=15帧/s ，N ＝50，每个时隙为16.67ms ，αβ==1/6。业务强度

/ρλμ=，其中，ON λβ

λαβ

?=

+。此外，为了方便，选取

HL =N -LL ，这样就变为如何选择合适的LL 。

3.1 参数选取

图3所示是业务强度为0.90~1.00时门限LL 和缓冲区下溢概率的关系；图4是业务强度为0.90~1.00时门限LL 和帧丢失概率的关系；图5是业务强度为0.90~1.00时门限LL 和平均播放帧率的关系。由图3可以看出，为了防止缓冲区播

放空造成的播放停顿，门限LL 的选取应尽量大。

由图4可得，为了防止缓冲区上溢导致的播放跳跃，门限LL 的选取应尽量小。由图5可得，为了使平均播放帧率接近正常播放帧率，门限LL 应根据业务强度来选取。因此，选择门限LL 的大小要综合考虑这3方面的因素。

图3 门限与缓冲区下溢概率的关系

图4 门限与帧丢失概率的关系

3.2 性能比较

图5 门限与平均播放帧率的关系

V o D

门限

图6 采用新算法时门限与VoD 的关系

V o D

缓冲区下的溢的概率

图7 采用Yuang 算法时门限与VoD 的关系

门限

门限

V D o P

帧丢失概率

图8 采用新算法时门限与VDoP 的关系

门限

门限

V D o P

门限

平均播放速率

图9 采用Yuang 算法时门限与VDoP 的关系

Yuang 算法设定的最大播放帧率为20帧/s ，其它实验条件和新算法的实验条件一样。文中分别采用播放不连续性的方差(VoD)和播放失真的方差(VDoP)两种同步性能指标[6]来比较2个算法的性能。图6和图7分别给出业务强度为0.95~1.00时采用新算法和Yuang 算法得到的门限与VoD 的关系。可以看出，在相同业务强度下，新算法得到的VoD 总

门限

(下转第232页)

—226

—