多媒体技术教程-ch6

6.2.1 时间依赖的定义
数据对象分类：
表现及应用生命周期 持续对象－存在于整个应用周期 非持续对象－动态建立并且用后丢弃
短暂对象－出现很短，不需操纵 静态对象－长期存在 高等学校21世纪教材《多媒体技术教程》
6.2.1 时间依赖的定义
数据采集
自然：真实时间－记录时间关系，存储
人工：综合时间关系（合成）
视频 3 before
高等学校21世纪教材《多媒体技术教程》
高等学校21世纪教材《多媒体技术教程》
6.3 时间的规范与表示
人民邮电出版社 国防科学技术大学 版权所有
6.3.1 时间规范
时间规范的目的是为了向在创建时和合 成过程中所要求同步的数据对象提供一种时间 关系的表达手段。
来源：从DB或从NET（包括DB和Live） 存储时的时间表达 合成时的时间表达 实时时的时间表达 高等学校21世纪教材《多媒体技术教程》
6.4.1
基于图形的表示法
3 ． OCPN（Object Composite Petri-Net：对 象合成网）的定义 COCPN = { T, P, A, D, Re, M} 其中T、P、A、M的定义同MPN中的定义，而 D：P→R（实数集） Re：P→{r1,r2,r3,…,rk} D是从库所集合到实数（持续时间）的映射， Re是从库所集合到资源集合的映射。
高等学校21世纪教材《多媒体技术教程》
6.4.1
基于图形的表示法
1．Petri网的定义 CPN = {T,P,A}， 其中 T = {t1,t2,…,tn}, P = {P1,P2,…,Pm}, A：{T×P}Ｕ{P×T}→I， 其中 I = {1,2,…} T 代表变迁集合， P 代表库所集合， A 代表有 向弧集合。
高等学校21世纪教材《多媒体技术教程》
6.2.1 时间依赖的定义
根据各种媒体及其表现特性确定时间的依赖关系。
Static静态的－没有时间依赖 Discrete离散的－单一元素
Transient短暂的－一时的
Natural 或 Implied 自然 / 蕴含的－真实世界中的时
间依赖 Synthetic综合的、合成的－人工产生的时间依赖 Continuous连续的－在时间上连续 Persistant持续的－在数据库中维持的 高等学校21世纪教材《多媒体技术教程》
高等学校21世纪教材《多媒体技术教程》
6.1.1 同步的基本概念
基于时间的媒体（Time-based Media，时基媒体） 或时间依赖媒体（Time-dependent）： 媒体与时间有着强烈的依赖关系，在采样、 传输和回放表现时更需要以时间为参照系进行有 序的组织。 多媒体同步或合成（Orchestration）： 组织时基的、非时基的多种媒体序列通过传 输、合成并达到某种表现效果。这个过程既包含 表现过程，也包含多媒体信息的传输过程；既可 以用于并发或顺序的数据流布局，也可以用于对 所产生的外部事件进行安排。 高等学校21世纪教材《多媒体技术教程》
高等学校21世纪教材《多媒体技术教程》
第六章多媒体的时间 表示与同步
人民邮电出版社 国防科学技术大学 版权所有
高等学校21世纪教材《多媒体技术教程》
6.1 多媒体同步的基本概念
人民邮电出版社 国防科学技术大学 版权所有
6.1.1 同步的基本概念
多媒体是在不同应用环境中文本、图 像、声音、视频等各种媒体的集成。既然 需要将这些媒体安排在一起表现，就有一 个先来后到的关系。这个关系就是同步关 系，系统对各个媒体对象按照这个关系进 行的控制过程，就是同步。 同步的过程与时间有着密切的关系， 大多数同步都建立在时间的基础上。
高等学校21世纪教材《多媒体技术教程》
6.1.3 同步的分层服务模型
对象层的同步是针对多媒体演示过程之 中的各个多媒体对象的。通过相应的时间同 步方案，保证各个多媒体对象能够按照规定 的次序出现，并且能够响应用户的输入事件。 描述层的同步解决的是多媒体表现中各 个场景的安排与对象同步的描述。其重点是 作者与系统的接口，只关心是否能够被描述 或描述的是否正确，而不关心具体如何实现 同步。
用串行和并行表示时间关系如下图。 高等学校21世纪教材《多媒体技术教程》
before meets during
a a a b b
b
a a a b a b
b
串行/顺序
overlap
a b a b b
并行先决或 并行后决 b
start
a b b a a a b 并行先决与 并行后决
finishes a b
高等学校21世纪教材《多媒体技术教程》
6.3.1 时间规范
表现的需求： 对异质的数据能够同时地、顺序地、独立地表现 对显示则要求不同的元素能对有关的过程和事件 进行特征描述的模型 “数据表现、用户交互、物理设备”同步折衷 与计算系统中“并行、并发、多线程”的区别
计算系统－解题 多媒体系统－“人”及“与人交互” 连贯地表现异质数据 用户理解的最小时间范围 人作为系统的一部分“延迟、交互”
6.1.3 同步的分层服务模型
对于多媒体的应用来说，同步是建立在不同 的分层的基础上的。不同层次的同步依据不同的 接口机制来保证，如下图所示。
多媒体应用
描述层 对象层 流层 媒体层
高等学校21世纪教材ຫໍສະໝຸດ 多媒体技术教程》6.1.3 同步的分层服务模型
媒体层针对的是单独的媒体数据流， 属于物理层的同步，其同步的基础是数据流 中的一个个基本逻辑数据单元，通过对这些 逻辑数据单元的操纵来保证媒体在时间上的 准确。 流层也是媒体内的同步，但是属于服务 层，其面对的是多个媒体数据流。它处理的 是多流之间的同步，以保证多个数据流在传 输和表现过程中能够实现并行和同步。
–层次化方法 ai: 单一媒体 用户输入 延迟 只在ai的起始点或结束点确定同步。 –参考点方法 系统只在动作流的固定参考点才检查同步，如AVI同步。
高等学校21世纪教材《多媒体技术教程》
6.3.2 相对时间规范与绝对时间规范
meets equal meets a1 a2 meets a3 a4 a5 a6 a3 a6 equal a1 a2 a4 a5
（a） 层次图
（b）层次图的执行过程
高等学校21世纪教材《多媒体技术教程》
6.3.2 相对时间规范与绝对时间规范
媒体2 媒体1
延迟
参考点1
参考点方法
参考点2
高等学校21世纪教材《多媒体技术教程》
6.3.2 相对时间规范与绝对时间规范
3．并行与顺序关系
用于时间依赖媒体的公共表示方法，可以只用 并行和顺序的关系来表示。 引入计时器 T，将原来在时间上的许多差别都 归纳进了计时器的采用。
高等学校21世纪教材《多媒体技术教程》
高等学校21世纪教材《多媒体技术教程》
6.2 时间模型
人民邮电出版社 国防科学技术大学 版权所有
6.2.1 时间依赖的定义
多媒体是在不同应用环境中对文本、图象、声 音、视频的集成。 基于时间的媒体与时间有强烈的依赖关系。
时基媒体的表示方法、时间模型、用户交互、 系统实现方法等是问题的核心。体现在三个层次上： 物理层：低层的时间关系 服务层：应用媒体之间的时间关系 人机接口层：用户的随机交互过程，浏览… （与时间有关，延迟不定）
高等学校21世纪教材《多媒体技术教程》
6.1.2 同步的种类
3．现场同步
现场同步也属于媒体间的同步。它要表现出 同一个应用中数据源方与表现方之间存在的实际 同步关系，也既端–端之间的同步关系。
4．系统同步
系统同步，又称“媒体内部的同步” 。这里 “系统”指的是该层同步如何根据各种输入媒体 对应的实际硬件系统（设备）的性能参数来协调 实现其上层合成同步所描述的各对象间的时序关 系。 高等学校21世纪教材《多媒体技术教程》
高等学校21世纪教材《多媒体技术教程》
6.2.2 时间的概念模型
8:00am 4:00pm 12:00am 8:00am
8 小时
8 小时
高等学校21世纪教材《多媒体技术教程》
6.2.2 时间的概念模型
2．时间关系 时间关系有十三种： before, starts, meets, overlaps, during, finishes, equals 除 equals 外，其余六种都有逆关系，共十 三种。 连续媒体：meets， 非连续媒体：before
6.3.2 相对时间规范与绝对时间规范
1．时态瞬时
绝对时间参考系：以 Video 作为绝对时间参考。 本 来 Image 和 Audio 没 有 时 间 关 系 ， 但 都 以 Video作参考后，Image和Audio也有了关系。 以时间轴作为参考对象，编辑时某些时间 关系会丢失。如取消参考对象，则无时间关系 了，无法同步。 相对时间参考系：相对于绝对时间轴（ World Time）。失步可用丢弃的方法进行校正。 高等学校21世纪教材《多媒体技术教程》
基于时态区间的建模（ TIB 建模）可以勾画出
复杂的时间线表示
高等学校21世纪教材《多媒体技术教程》
6.2.2 时间的概念模型
a before b a start b a a b a meets b a overlap b a a b a during b a b b a a equals b a b b b
高等学校21世纪教材《多媒体技术教程》
6.4.1
基于图形的表示法
2．标记Petri网（Marked PetriNet: MPN）的 定义
CMPN = {T,P,A,M}, 其中T、P、A的定义同PetriNet中的定义，而 M：P→I＇，I＇＝{0,1,2,…}。
高等学校21世纪教材《多媒体技术教程》