一种基于MP4文件的视频流关键帧索引播放方法

HOMJ"PQ 中描述了 CDEF6G 视音频流和 H-D 包的 映射规则， 一般把形成 H-D 包的信息预先计算出来
写入文件中， 当有客户端请求时， 服务器就 根 据 已 经计算出的 H-D 打包信息很快生成 H-D 包并发送 出去。 这些预先计算的信息一般包括 H-D 包的固定 头信息， 负载位置信息等。头信息中比较重要的有 相对序列号， 相对时间戳及相关位的设置信息。负 载信息一般描述了需要被传送的 数 据 在 文 件 中 的 起始位置和长度。本文提出的预览索引播放方法主 要基于 B(( 服务器。具体流化格式请参考文献IQK。
收稿日期 C !""!1"B1BD 基金项目 C 国家 EFG 基金资助项目 （!""BHHBB"GI!） 中国科学院青年基金资助项目 （!""BF!E"据的位置信息和时间信息 的重要对象，它在文件中的包含关系为： $%%&A)-*;A 它的结构如表 ! 所示。其中 6))6 为样 $2+*A$+(.A6)8/， 本数据解码时间对象， 5))6 为样本数据 合 成 时 间 对 象， 在其中给出可以随机访问 6)66 为同步样本对象， 的样本号。6)62 为样本描述对象， 分为四种类型： 视 频、 音频、 索引和其它 3KLM1I 流， 除索引类型外， 其它三种样本描述中都包含 3KLM1I 中 的 基 本 码 ， 从而使 3KI 文件格式更 流描述符 （LRX=,65-+:)%- ） 适合存放 3KLM1I 的各种基本流。R)6V 对象中包含 了一个描述各个样本数据大小的表。R)65 对象描述
$%&’ $%%$ 0%%$ $%$$ $%$/ $%$= $%$0 $%01 $%$? $%/+
()*+’, -)&’, ./,01/2345 %2*,6%16$)*+’, 01*+1$2%213 %2*,6%16$)*+’, %)&’, (730 .8,79 :6;<)*,5 $)*+’, *)+ $)*+’, /,$0<2+%213$ .01/,0 %7+,$9 232%2)’2=)%213 ,%0>5 $)*+’, $2=,$ .;<)*2345 $)*+’,6%160?@389 +)<%2)’ /)%)61;;$,% 23;1<*)%213 0?@38 1;;$,%9 +)<%2)’ /)%)61;;$,% 23;1<*)%213 (?)/1A $730 B,4<)/)%)%213 +<21<2%7
!
!"
本 文 提 出 的 方 法 主 要 针 对 3KLM 1I 标 准 的
NGO 采用实时传输协议 （PQK） 、 实时 3KI 文 件 格 式 NBO， NDO NIO 流协议 （PQRK） 以及会话描述协议 R=K 来实现对
视频流中一组时间间隔不固定帧的连续播放。 其中 采用 3KI 文件 格 式 作 为 流 媒 体 播 放 的 存 储 方 式 ，
!" ’
$%(& # ()& $% 实时流协议 （H-(D） 是应用级协议 IRK， 它控制实 时数据的发送， 定义的应用层接口主要有： (E-LD、 DSTU、 DTL(E、 -ETHBVWX 等，它有许多和 Y--D 协 议 重 合 的 地 方 ， 和 Y--D 协 议 最 大 的 不 同 是 H-(D 是一种有状态的协议，而 Y--D 协议是无状 态的， 并且 Y--D 只能由客户端发起请求， 而 H-(D 是 双 向 的 。 通 过 H-(D 协 议 的 (E-LD， 可 以 建 立 H-(D 连接，通过 DSTU 可以启动数据传输，通过
# &’() #" ! *+&,
为了对视频内容实现索引预览和播放， 现在设 计如下的播放器界面， 如图 ! 所示。 主播放窗口中进行正常的视频播放； 在主播放 窗口下面的预览窗口中， 依次按固定帧率播放多幅 索引关键帧， 多幅帧画面顺序向右移动。这样当用 户从预览窗口中发现感兴趣的内容时， 就可以通过 点击感兴趣的关键帧， 然后播放器就从被点击关键 帧所对应的播放时间处开始播放， 从而实现有选择 的观看。
万方数据
!""! 年第 # 期
表! 对象类型 是否必须 是 否 否 是 是 否 否 否 否 说
微电子学与计算机
GR DTL(E 可以暂停数据传输。 H-(D
明
一般只起控制作用， 协议本身并没 有规定采用何种传输机制， H-(D 一般通过 -MD 建 立 连 接 ， 用 H-D 和 LBD 进行实际的数据传输。
此值在制作节目时确定， 正常播放的视 <9%&-.2&$. ， 频流相邻帧之间的时间戳差为 =7*99.%.8+. ，则预览 索引轨道流的相邻时间戳差由下式确定：
<7*99.%.8+.>=7*99.%.8+.!<9%&-.%&$. =9%&-.2&$.
记录下 ’ 在生成预览索引轨道的样本数据时， 此样本数据对应的在视频流正常播放时的时间戳 信息， 例如， 如果正在生成预览索引轨道的第 ? 帧， 它所对应的时间戳信息为 （?@A ） 这一 ! <7*99.%.8+. ， 帧对应于视频流正常播放时的第 A"" 帧， 它的时间 戳信息为 （A""@A ） 可以在索引轨道样 !=7*99.%.8+. ， 本数据 2,0 成包信息中记录值 B77C*99.%.8+. ， 它由 下式得到： （A""@A ） B77C*99.%.8+.> !=7*99.%.8+. （ ） @ ?@A !<7*99.%.8+. ( 设 置 索 引 轨 道 样 本 数 据 2,0 成 包 信 息 中 ‘D’ 位为 A 。 2,0 头信息 ) 在 实 际 生 成 2,0 包 并 进 行 发 送 时 ， 根 据 ‘D’ 在扩展 2,0 头信息中的 >A 而采用扩展 2,0 头， 头中存放 B77C*99.%.8+. 。格式如图 E 所示：
PQK 和 PQRK 作为流媒体播放方式， R=K 用于播放
内容描述。
!" ! #$% #$%& 3KI 文件格式用于存放符合 3KLM1I 规范的
它主要参考了 媒体内容， 由国际标准化组织定义NBO。
， 初始化对象描述符是访问符合 3KLM1 =,65-+:)%-） I 规范的多媒体 内 容 的 入 口 节 点 ； )-*; 对 象 是 存 放 3KLM1I 中 各 种 基 本 码 流 以 及 访 问 信 息 的 重 要 容 器， 对于 3KLM1I 中的各个基本流， 一般都 对 应 存 放于一个 )-*; 中， 另外 )-*; 中也可以存放对另一个 )-*; 中内容的访问信息，这样的 )-*; 就称为索引轨 道 （0+() )-*5; ） ， 对应的存放实际媒体内容的 )-*; 就 称为媒体轨道 （$,2+* )-*5; ） 。另外可以出现在文件 层次上的对象还包括 $2*) 、 .-,, 和 6;+:。其中 $2*) 中存放实际的媒体数据， 即 3KLM1I 中的基本码流 数据； .-,, 和 6;+: 存放些和 3KLM1I 内容没有直接 联系的数据或者是已经删除的对象， 一般可忽略。
图!
#" #
-./012
为达到上述播放目的， 主要有以下几个需要解
决的问题： 一是如何在本地组织索引数据 ， 二是如 何进行 H-D 流化， 三是如何播放。 首先来看如何在本地组织浏览索引数据。如果
万方数据
1O
微电子学与计算机
!""! 年第 # 期
把选出预览的的关键帧另外作为一个 $%&’ 存放， 虽 然可以实现预览播放， 但是这样却使文件中数据出 现冗余， 既浪费空间， 又使维护困难。因此我们借鉴 在 /01 文件中针 ()*+’,*-. 流化媒体数据的方法， 对需要索引浏览的视频轨道， 建立一个新的索引预 览轨道。它的建立方法和 ()*+’,*-. 中 2,0 索引轨 道的方法基本相同， 即在新的索引预览轨道中记录 索引关键帧的 2,0 成包信息。 索引关键帧的 2,0 流化过程同常规 2,0 流化 过程相比最大的不同是， 常规索引 2,0 头中的时间 戳可以 直 接 从 所 索 引 的 视 频 轨 道 中 或 相 关 轨 道 中 得到， 这主要是因为 2,0 打包时包头中的时间戳和 负载中的帧播放时间有相对固定的对应关系， 但对 于预览索引轨道中 2,0 包头中的时间戳， 由于所索 引的关键帧的随机性， 如果直接从所索引的视频帧 中得到时间戳也将具有随机性， 将会使 2,0 包头中 时间戳用于流同步的作用失效。同时如果不能实现
!" #
$%& !" 在连续媒体的网络 H-D 为一种实时传输协议， 播放中起着重要作用， 并且得到了广泛应用 IJK。 H-D
工作在一对一或一对多的传输情况下， 目的是提供 时间信息和实现流同步。 H-D 通常使用 LBD 来传 送数据。 当应用程序开始一个 H-D 会话时将使用两 个端口： 一个用于 H-D， 一个用于实时传输控制协 议 H-MD （H,)’N%2*,-<)3$+1<%M13%<1’D<1%101’ ） 。 H-MD 和 H-D 一起提供流量控制和拥塞控制服务。 H-D 流 化是指根据 H-D 协议要求对连续媒体数据打包， 在
随着网上视频内容的增多， 用户需要一种基于关键帧的视频内容 ? @A 视频内容一般具有数据量大的特点， 快速预览播放方法， 来更快更准确地找到自己感兴趣的内容。文章提出的方法通过在符合 3KLM1I 标准的 3KI 文件中加入预览索引轨道的方式来组织预览数据， 然后通过对 PQK 头中时间戳的修改来流化预览数据， 最后通 实现了对视频流中一组时间间隔不固定的关键帧的连续索引播放。本方法虽然主 过 R=K 来描述预览索引轨道， 要针对 3KI 文件格式， 但由于采用了 PQK、 R=K 等协议而具有一定的通用性。 关键帧索引，PQK B0CA 3KLM1I，3KI 文件格式，