多媒体同步技术概述与同步模型

各种类型的媒体可以分为时间相关媒体和时间无关媒体。时间相关媒体是连续性的。它们在时间域上占 有一定的区间。如声音具有一个固定的采样 /回放频率；动画和录像具有固定的帧率；频率是这些媒体 同步控制的基础。时间无关媒体包括文字和静态图像等，它们不占有时间域，表现为显示或不显示两种 状态，但在具体应用时，同样可以赋予时间特性。一般认为，两个媒体对象之间存在7种典型的时序关 系。其他的一些时序关系以及两个以上对象之间的各种时序关系都可以从这 7种关系进一步推出。可见 ，时间同步关系在多媒体同步关系中是极其重要的。
多媒体同步的核心基础是为这些同步关系建立一个独立于实现环境的抽象描述模型。 同步的两层含义
（1）时态行为必须有明确的定义，使用时态定义可以方便用户复审、系统表示和存储。 （2）在表示媒体单元的时候，多媒体系统必须保证各媒体时态的正确性
从两个层次来讨论多媒体同步
多媒体同步规范 描述了媒体对象之间和各个媒体对象内部存在的 时态关系，确定了多媒体的时态说明。
参考点同步模型 是将连续媒体看作是一系列离散的子单元构成的序列，一个子单元所在的位置称为一个参考点。
不同媒体间的同步是通过将其在某一时刻的子单元相连接来定义的。 缺点:将连续媒体离散化，从而破坏了连续媒体之间的相互依赖关系，破坏了连续媒体的整体特性
时间轴模型 时间轴模型运用十分广泛。在时间轴模型中（见下图 ），所有对象开始和结束的时间都对应到一个全 局的时间轴上，但各个对象互相独立，修改单独的对象不会影响其他对象的时间属性。 时间轴模型十分直观，因此许多系统多采用这种形式描述多媒体对象的同步关系。但由于这种模型的对 象有独立性，因此在实现时必须考虑以下问题： （1）每个对象必须保证实现和时间轴的绝对同步， 由此来保证相关对象之间的同步； （2）所有对象的时间长度必须预先知道， 无法处理未知时间长度的对象。
7种关系
按对象分
从所同步的对象来区分，同步可以划分为媒体对象内部的同步和媒体对象之间的同步两种：（1）对象 内部的同步是指同一种连续媒体内部各个单元之间的时间关系，例如，对于音频信号而言，每一个取样 值可以视为一个单元，而对于视频信号，每一帧图像（或一段图像）可以视为一个单元，称为逻辑单元 （LDU），相继单元之间的同步关系如下图所示。如果媒体对象内部的同步关系被破坏（每个LDU占用 的时间不符合图示的规定），在播放时则产生“抖动”，表现为声音的断续或变调、图像帧的停顿或跳 动。对于非连续媒体（如文字、图形），则不存在媒体对象内部的同步问题。
延后能够同时到达接收端。
（2）抖动 最大时延和最小时延的差，即时延的变化。 网络抖动：指数据包从发送方到接收方网络I/O设备的传输过程中所经历的时延变化，是由中间节
点的缓存引入的。 端系统抖动：是指端系统中引起的时延变化，这些变化主要是由于系统负荷的改变以及媒体单元
在各个协议层的打包拆包。 解决办法： 在信宿端通过采用弹性缓冲区来补偿的。
同步的基本概念
同步：为了使整个数据通信系统有序、准确、可靠地工作，收发双方必须要有一个统一的时间标准，这 个时间标准靠定时系统去完成收、发双方时间的一致性，即同步。 多媒体同步就是保持和维护各个媒体对象之间和各个媒体对象内部存在的时态关系，组织多种媒体序列 以实现某种特定的表现任务。 多媒体同步的核心基础是为这些同步关系建立一个独立于实现环境的抽象的描述模型。
逻辑数据单元（LDU）
LDU是时间相关媒体流中的一个信息单元。
LDU的划分由具体的应用、编码方式、数据的存储方式和传输方式等因素 决定的。
视频帧1 视频帧2 视频帧3 视频帧4
音频1
音频2
不同媒体LDU同步关系示例
视 频 n帧 音 频m
（2）对象之间的同步指不同媒体对象之间的相对时间关系。下图给出了一个例子，图示的关系表示声 音1和视频图像同时播放，继而播放3幅静止图像（P1,P2,P3），然后源自放一段动画，动画期间插入声 音2。
多媒体同步规范通常包括： （1）媒体对象内的同步； （2）媒体对象之间的同步； （3）业务品质Qos描述。
多媒体同步控制机制 是开发各种同步控制策略以及同步控制协议，解 决由于网络延迟、抖动、进程调度等各种不定因 素带来的负面影响，实现多媒体同步规范描述的 多媒体时态说明。
多媒体的同步要求
多媒体的同步要求主要分为多媒体通信同步、多媒体表现同步及多媒体交互同步等。这些同步功能体 现为多媒体同步体系结构中的不同层次的同步要求，由它们共同来实现系统中的媒体同步。这几种同步 要求相互影响相互制约
按建立时间分
从同步建立的时间来区分，同步可以划分为实时同步和综合同步两种。实时同步是指在信息捕获过程中 建立的同步关系。例如，人物口形移动和声音之间的配合。所谓综合同步是指将不同的信息分别进行捕 获之后，再人为地指定同步关系。在播放时系统将根据指定的同步关系显示有关的信息。在如图所示的 例子中，录像片断，3幅静止图像和动画片断之间的串联关系就属于综合同步关系。
（3）时钟漂移 由于温度的变化或晶体振荡器本身的缺陷，在经过了较长时间后，端系统的时钟频率会发生变化，
其结果是与真实时间或其他时钟产生偏移。 解决方法： 通过在网络中使用时间同步协议来解决。
（4）网络条件的变化 是指网络连续性质的变化。
多媒体同步参考模型
多媒体同步参考模型用来从整体上 描述多媒体同步，有利于媒体同步 处理，其主要目的是用于表征多种 媒体之间的时序关系。 三种多媒体同步参考模型：参考点 同步模型、时间轴同步模型和层次 同步模型。
多媒体同步关系
在多媒体系统中，通常从多媒体的不同侧面来表达同一个主题。此时媒体之间就存在着相互依存的关系 。这种关系在显示 、捕获、存储、传输和处理过程中都存在。不同媒体对象之间的相互依存关系可以 概括为3类： 1、内容关系。例如，根据某一组数据既可以列出表格，同时又可以画出曲线，那么在计算机中只需要 保存一份数据，而将表达这组数据的方式另作定义，这称为指定数据间的内容关系。同一组数据可以对 应于几个不同的内容关系；
2、中层同步
多媒体通信同步则属于中层同步，即合成同步，它的作用就是将不同媒体的数据流按一定的时间关系进 行合成。如在可视电话中，音频和视频必须始终同步地表现在接收端上，以确保口形与声音同步。这时 媒体之间的同步，除了数据的开始点和结束点必须保证同步以外，从开始点到结束点的整个过程中均要 求保持同步。多媒体通信同步的要求是分布系统同步的最基本的要求，是其他同步功能的基础。
多媒体同步技术概述与同步模型
通信1501 黄鑫
目
录
Contents
1
多媒体同步技术概述
2
多媒体同步技术模型
背景
多媒体通信，它是计算机技术与通信技术的结合，是两者应用的拓展和延伸。在多媒体通信系统中信息 可分成静态信息和动态信息两类：静态信息如文本、图形和图像；动态信息如动画、声频、动态视频信 息和音乐，它们均是与时间相关的数据流。还有第三类信息，就是静态信息和动态信息的结合，叫混合 信息。在多媒体系统中，静态数据的存储、获取、检索和通信仅仅涉及空间关系，而动态数据不但有空 间关系而且还需考虑时间因素，也就是说有时空的关系问题。在多媒体系统中，这种动态数据和混合数 据到处都有，如何协调、匹配它们之间的关系，使之形成一个完整的有机多媒体数据，这在研究和开发 多媒体系统中是至关重要的。因此解决多媒体同步是一个关键问题。
参考文献
李明禄 盛焕烨 孙永强 多媒体同步模型研究 孙俊杰 王新允 多媒体同步技术
THANK YOU
通信1501黄鑫
2、空间关系：主要指不同媒体对象在显示时所处的相互位置关系； 3、时间关系：电视中的伴音要求很好地和人的口形动作相吻合，幻灯片的解说词应该与正在显示的图 像相对应。这是媒体对象之间必须保持一定的时间关系的典型例子。
媒体的时序特性
从广义上讲，同步指的是上述 3 种关系的确立。在这 3种同步关系中，时间关系是最重要的一种，因为 一个系统只有在集成进了与时间有关的媒体之后才能称为多媒体系统。因此，从狭义上讲，同步指的是 各类事件时间顺序的确立。
3、底层同步（系统同步、媒体内部同步） 如何根据各种输入媒体对应的实际硬件系统的性能参数来协调完成其上层合成同步所描述的各对象间的 时序关系。
影响媒体同步的因素
（1）媒体间的时延偏移 各个相关媒体流可能来自不同的信源，每个信源所处的地理位置可能不同，每个媒体流选择的信
道也不同，因此各个媒体流的时延也不同。 解决办法： 通过在信宿端设置缓存加以补偿，也可使各个媒体流在不同时刻发送，但须保证在经历了不同时
1、上层同步
表现同步和交互同步属于上层同步，即用户层同步，是由用户的需求来决定的一种大体上的同步。用户 可以对各个媒体进行编排，由此决定何种媒体何时以何种时空关系表现出来。例如，在一个多媒体幻灯 片的演示过程中，要对一组图像进行口头解释，这就要求在上一段说明语音完成以后，才能出现下一幅 图像。这种情况下同步点处于图像段的改变点或讲解段的起始点（或结束点上），这是对象之间的大体 同步。
层次同步模型 在层次同步模型中 ,采用两个主要的同步操 作符: 动作间的顺序同步和并行同步。一个 动作可以是原子动作或是组合动作。原子 动作与某一媒体对象的表现相关联;而组合 动作由原子动作与联结它们的同步操作符 的集合组成。如右图所示 ,运用层次同步模 型的多媒体表现可看作是一棵树 ,其叶子是 原子动作 (或表现对象 ) ,而其节点是同步 操作符。 组合动作可以看作是该树的某一 个子树。 层次同步模型的主要缺点是同步 只允许发生在动作的开始点或结束点。