浅析多媒体同步技术
数字音视频处理中的多媒体同步与时域处理技术

数字音视频处理中的多媒体同步与时域处理技术随着数字音视频技术的飞速发展,多媒体同步与时域处理技术在数字音视频处理中扮演着重要角色。
本文将为您详细介绍多媒体同步与时域处理技术的原理和应用。
1. 多媒体同步技术的原理在数字音视频处理中,多媒体同步技术是指协调多个音频和视频流以使其保持时间上的一致性。
这对于实现无缝的音视频播放和多流混合具有重要意义。
多媒体同步技术一般是通过时间戳来实现的。
音频和视频流都会包含时间戳信息,用于标记每个音频和视频样本的时间。
在播放过程中,播放器会根据时间戳信息来控制音频和视频的播放顺序和时序。
播放器会根据时间戳计算出音频和视频的相对延迟,并进行相应的调整以实现同步播放。
2.时域处理技术的原理时域处理技术是指对数字音视频信号进行处理的过程,其中包括了音频的采样、压缩、降噪、均衡等处理,以及视频的帧率控制、画质调整等处理。
在时域处理中,关键是对音频和视频信号的数学处理。
常见的时域处理技术包括滤波、时域混响、降噪、增益控制等。
这些处理技术可以改善音视频信号的质量,提高音视频的表现力和逼真度。
3.多媒体同步技术的应用多媒体同步技术在日常生活中有着广泛的应用。
例如,在电影院观看电影时,电影院会使用多媒体同步技术确保音频和视频的同步播放,以提供观众最佳的观影体验。
此外,在音乐会、演唱会等大型活动中,也需要使用多媒体同步技术,确保音乐和视频的同步。
另外,多媒体同步技术也应用于网络直播和视频会议等领域。
在网络直播中,多个音频和视频流需要同时传输并保持同步,以提供实时的音视频体验。
而在视频会议中,各个会议参与者的音频和视频也需要进行同步,以实现流畅的会议体验。
4.时域处理技术的应用时域处理技术在数字音视频领域有着广泛的应用。
在音频处理中,时域处理技术可以用于降噪、均衡、混响等。
通过降噪处理,可以减少环境噪音对音频信号的干扰,提升音频的清晰度和质量。
通过均衡处理,可以调整不同频率的音频信号的音量,以实现更好的音频效果。
嵌入式多媒体终端中的音视频同步技术研究

嵌入式多媒体终端中的音视频同步技术研究一、绪论随着科技的不断进步,数字化的时代已经到来。
在这个数字化的时代,多媒体技术得到了广泛的应用。
嵌入式多媒体终端成为了人们接触多媒体技术的主要方式之一。
因此,在嵌入式多媒体终端中,音视频同步技术也显得尤为重要。
音视频同步技术的优秀实现可以提升嵌入式多媒体终端的用户体验,而音视频同步技术的不完善也会给用户带来非常不好的体验。
二、音视频同步技术原理1、音视频同步的概念音视频同步是指在多媒体应用中,音频和视频在相同时间上的播放。
它的主要目的是让音频和视频能够实时地播放,确保其在播放时需要达到不同的时间同步关系。
音视频同步的实现是嵌入式多媒体终端中的非常重要的基础任务。
2、音视频同步原理音视频同步技术的原理就是同步几个位于不同设备但是又必须共享同一时间轴的音视频流。
在音视频同步技术中,需要考虑的因素有很多。
其中,音频帧的读取速度和视频帧的读取速度是非常关键的两个因素。
这两个因素的读取速率需要得到同步。
三、音视频同步技术的实现嵌入式多媒体终端中的音视频同步技术实现,必须考虑到多个因素,在保证同步的前提下,要考虑到延迟、带宽、码率等多个因素的问题。
因此,实现音视频同步技术需要解决以下几个问题:1、音视频数据怎么进行缓存需要将音视频数据进行缓存,以便于播放器能够在播放之前对音视频数据进行准备和衔接。
2、如何比较音频和视频的时间戳为了实现音视频同步,需要比较音频和视频的时间戳,以确定是否需要缓存数据以及如何插入缺失的数据。
3、如何处理音视频帧的延迟在音视频同步中,需要考虑到音频和视频的延迟问题,以保证音视频的同步播放。
四、音视频同步技术应用场景1、智能电视在智能电视上,音视频同步技术的问题主要集中于传输媒介、视频源等多方面。
如何实现音视频同步是智能电视中一个非常重要的问题。
2、智能手机在智能手机中,音视频同步技术可以大大提升使用体验。
用户可以通过手机端实现“随时随地”观看电影或直播。
多媒体同步技术概述与同步模型

多媒体同步的核心基础是为这些同步关系建立一个独立于实现环境的抽象描述模型。 同步的两层含义
(1)时态行为必须有明确的定义,使用时态定义可以方便用户复审、系统表示和存储。 (2)在表示媒体单元的时候,多媒体系统必须保证各媒体时态的正确性
从两个层次来讨论多媒体同步
多媒体同步规范 描述了媒体对象之间和各个媒体对象内部存在的 时态关系,确定了多媒体的时态说明。
参考点同步模型 是将连续媒体看作是一系列离散的子单元构成的序列,一个子单元所在的位置称为一个参考点。
不同媒体间的同步是通过将其在某一时刻的子单元相连接来定义的。 缺点:将连续媒体离散化,从而破坏了连续媒体之间的相互依赖关系,破坏了连续媒体的整体特性
时间轴模型 时间轴模型运用十分广泛。在时间轴模型中(见下图 ),所有对象开始和结束的时间都对应到一个全 局的时间轴上,但各个对象互相独立,修改单独的对象不会影响其他对象的时间属性。 时间轴模型十分直观,因此许多系统多采用这种形式描述多媒体对象的同步关系。但由于这种模型的对 象有独立性,因此在实现时必须考虑以下问题: (1)每个对象必须保证实现和时间轴的绝对同步, 由此来保证相关对象之间的同步; (2)所有对象的时间长度必须预先知道, 无法处理未知时间长度的对象。
多媒体通信同步技术

3. 对象层
对象层能够对不同类型的媒体对象进行统一地处理,使 用户不必考虑连续媒体对象和非连续媒体对象之间的差异。 对象层的主要任务是实现连续媒体对象和非连续媒体对象之 间的同步并完成对非连续媒体对象的处理。与流层相比,该 层同步控制的精度较低。
流层在对码流或码流组进行处理前,首先需要根据同 步容限决定LDU的大小以及对各LDU的处理方案(即何时 对何LDU作何种处理)。此外,流层还要向媒体层提交必 要的服务质量(QoS)要求,这种要求是由同步容限推导 而来的,是媒体层对LDU进行处理所应满足的条件,例如 传输 LDU时,LDU的最大延时及延时抖动的范围等。媒 体层将依照流层提交的 QoS要求,向底层服务系统申请资 源以及QoS保障。
9.2 多媒体同步参考模型
9.2.1 媒体同步模型概述
目前较为流行的多媒体同步模型有三种:参考点 同步模型、时间轴同步模型、层次同步模型。
参考点同步模型将连续媒体看作是一系列离散的 子单元构成的序列,一个子单元所在位置称为一个参 考点。不同媒体之间的同步是通过将其在某一时刻的 子单元相连接来定义的。参考点同步模型的缺点是将 连续媒体离散化,从而破坏了连续媒体之间的相互依 赖关系,破坏了连续媒体的整体特性。
1. 逻辑数据单元(LDU: Logical Data Unit)
各种媒体信息经数字化和编码之后形成的数据根据其与 时间的关系可分为连续媒体数据(实时媒体数据)和离散媒 体数据(静态媒体数据)。连续媒体数据可以看成是由逻辑 数据单元LDU构成的时间序列(或称为流)。LDU的划分 (即所包含的内容)由具体的应用、编码方式、数据的存储 方式和传输方式等因素决定。连续的各个LDU之间存在着固 定的时间关系。
多媒体通信同步技术

视视视1
视视视2
音视2
音视m
不同媒体LDU同步关系示例
2、同步容限 、
用户与同步机制之间就偏差的许可范围达成的协议。 用户与同步机制之间就偏差的许可范围达成的协议。
9.2.2 层次同步模型
多多多多多 时时时时时时 多多多多多 描描应 对对应 流应 多多应 多多应
表表应 会会应 传传应 七七应 链链应 物物应 七应七七七七四四
4、描述层 、
该层处理的对象是由多媒体应用生成的时域场景。 该层处理的对象是由多媒体应用生成的时域场景。 解决多媒体表现中各个场景的安排与对象同步的描述问 题。
参考点同步模型
是将连续媒体看作是一系列离散的子单元构成的序 一个子单元所在的位置称为一个参考点。 列,一个子单元所在的位置称为一个参考点。不同媒体 间的同步是通过将其在某一时刻的子单元相连接来定义 的。
缺点:将连续媒体离散化,从而破坏了连续媒体之 缺点 将连续媒体离散化,
间的相互依赖关系,破坏了连续媒体的整体特性。 间的相互依赖关系,破坏了连续媒体的整体特性。
多媒体同步规范
描述了媒体对象之间和各个媒体对象内部存在的时 态关系,确定了多媒体的时态说明。 态关系,确定了多媒体的时态说明。 多媒体同步规范通常包括: 多媒体同步规范通常包括: (1)媒体对象内的同步; )媒体对象内的同步; 2)媒体对象之间的同步; (2)媒体对象之间的同步; (3)业务品质Qos描述。 )业务品质 描述。 描述
3、对象层 、
主要任务:实现连续媒体对象和非连续媒体之间的 主要任务: 同步并完成对非连续媒体对象的处理。 同步并完成对非连续媒体对象的处理。 对象层工作过程: 对象层工作过程: (1)从规范层提供的同步描述数据出发,推导出必 )从规范层提供的同步描述数据出发, 要的调度方案。 要的调度方案。 (2)进行必要的初始化。 )进行必要的初始化。 (3)执行调度方案 )
系统多媒体的媒体同步

系统多媒体的媒体同步在现代科技的飞速发展下,人们对多媒体的需求越来越高。
无论是在娱乐领域还是在教育、工作等领域,多媒体的应用都变得异常广泛。
而在系统多媒体中,媒体同步是一个至关重要的概念。
本文将深入探讨系统多媒体的媒体同步,并介绍一些常见的同步方法和技术。
一、媒体同步的意义和作用媒体同步是指在多媒体系统中,通过协调不同媒体元素(如音频、视频、图像等)的播放时间,使其达到一致的状态。
媒体同步的实现可以消除播放中的卡顿、偏差和不协调等问题,提供更好的用户体验。
在多媒体应用中,媒体同步尤为重要。
例如,在音视频播放中,如果音频和视频不同步,会引起声音和画面不匹配的问题,给用户带来困扰。
而在多媒体教育系统中,如果教师的讲解声音与配图不同步,学生将难以理解和接受所学内容。
因此,媒体同步对于多媒体应用的稳定性和实用性至关重要。
二、常见的媒体同步方法1.基于时间戳的同步方法基于时间戳的同步方法是一种简单而有效的媒体同步方式。
在该方法中,每个媒体元素都被分配一个时间戳,用于控制其播放时间和顺序。
通过精确的时间戳控制,可以实现媒体元素的同步播放。
2.基于定时器的同步方法基于定时器的同步方法是一种常见的同步方式,在该方法中,系统通过定时器触发不同媒体元素的播放。
通过合理设置定时器周期,可以实现媒体元素的同步播放效果。
3.基于插值的同步方法基于插值的同步方法是一种高级的同步方式,通过对媒体元素的缓冲和插值处理,实现媒体之间的同步播放。
该方法可以根据不同媒体元素的属性进行动态调整,使其达到最佳效果。
三、媒体同步中的挑战和解决方案在实际应用中,媒体同步可能会面临诸多挑战。
例如,网络延迟、设备性能、多媒体数据巨大等因素都可能影响媒体的同步播放。
为了克服这些挑战,一些解决方案被提出。
1.网络同步协议针对网络延迟造成的同步问题,可以采用网络同步协议来保证媒体的同步。
常见的网络同步协议包括NTP(网络时间协议)和PTP(精确时间协议)等,通过网络同步协议可以实现准确的时间同步。
09-多媒体同步技术

·PT: 有效载荷类型, 占7位, 用于说明RTP报文中有效载荷的 类型。 例如, GSM音频、 JPEM视频等。
成分数据
文
图
本
形
数数
据
据
音
视
频
频
数数
据
据
同步规范
同步描
同
述数据
步
容
限
6
多媒体同步:
保持和维护各媒体之间和各媒体对象内 部存在的事态关系,组织多种媒体序列 以实现某种特定的表现。
多媒体同步所研究的主要问题: 如何表示多媒体数据的时域特征; 在处理多媒体数据时,如何维护时域特 征。
7
二、同步的类型
OCPN = {T,P,A,D,R,M }
34
1. T = { t1,t2, …, tn }为变迁集, ti表示同步点和处理 位置, 在图中用短垂直棒表示。
2. P = { p1,p2, …, pm }为位置集, pi表示进程, 并假 定变迁瞬时发生, 故pi具有相应状态, 在图中用圆 表示。
3. A: { T×P }∪{ P×T }→ I = {1,2, …}是有向孤 集, 在图中用箭头表示。
将各个媒体流映射到一个逻辑时间轴上, 赋予 每个媒体单元一个时戳(Timestamp), 以此来标 识媒体单元相对于逻辑时间轴起始点的时域位 置。
逻辑时间轴的单位应小于最小媒体单元的持续 时间, 从而使同一媒体中两个不同的媒体单元 的时戳相异。
在媒体表现过程中, 具有相同时戳的媒体单元 同步播放。
差的控制,维持多媒体数据的时域关系。
19
浅谈多媒体同步技术

浅谈多媒体同步技术1、多媒体同步特性1.1什么是多媒体1)多媒体在计算机系统中,两个或两个以上的信息和互动媒体的人机交流的媒体组合。
使用的媒体包括文字,图像,照片,声音,动画和视频,以及由该计划提供的互动功能。
2)多媒体本身有两个方面,和所有现代技术一样,它是一个硬件和软件,或机器和思想混合。
多媒体技术和能力,在概念上可以分为控制系统和信息。
3)多媒体已经能够实现是依靠数字技术,多媒体数字控制和数字媒体代表的数字式计算机控制系统的衔接,在当今最先进的音频和视频的存储和传输形式的数字媒体。
1.2什么是多媒体同步1)能够对多种媒体进行处理是多媒体系统的基本特征之一。
在这些媒体之中文字、图形、图像等是不随时间变化的,而声音或视频信号则是时间的函数。
数学上随时间变化的函数在实际中表现为一个数据流;如果媒体的每个单元在播放时所用的时间都相同,则称这种媒体为连续(continuous)媒体。
一个多媒体系统至少应该能够支持一种连续媒体。
媒体之间的相互依存关系,不只是显示时才有,在捕获、存储、传输和处理过程中也是存在的。
2)不同媒体对象之间的相互依存关系可概括为3类:(1)内容关系。
根据某一组数据既可以列出表格,同时又可以画出曲线,那么,在计算机中只需要保存一份数据,而将表达这组数据的方式另作定义,这称为指定数据间的内容关系。
同一组数据可以对应于几个不同的内容关系。
(2)空间关系。
主要指不同媒体对象在显示中所处的相互位置关系通常它们分别在不同的窗口中显示,而每个窗口又允许有缩放、移动、激活等功能,这些复杂的相对位置关系需要有一定的方法来描述。
(3)时间关系。
电视中的伴音要求很好地和人的口形动作相吻合,幻灯片的解说词应该与正在显示的图像相对应,这是媒体对象之间必须保持一定时间关系的典型例子。
2、多媒体的同步要求主要分为多媒体通信同步、多媒体表现同步及多媒体交互同步等。
这几种同步要求相互影响相互制约,其中,表现同步和交互同步属于上层同步,即用户层同步,是由用户的需求来决定的一种大体上的同步。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
论文题目:浅谈多媒体同步技术作者姓名徐晓霞作者学号201120110221指导教师卢为党学科专业通信1104 所在学院信息工程学院提交日期2014年12月10日摘要:维持多媒体的同步关系是对多媒体通信的一个重要要求,也是多媒体通信区别于传统通信的一个重要特征。
在多媒体系统中,各种媒体并存,既有视觉方面的文字、图像,又有语音、音乐等信息,多媒体对象表现的基本思想是以时间为主线来安排活动的开始、中断、继续、终止等操作,可见,多媒体对象表现的关键是确定多媒体对象在时间上的顺序,即多媒体的时间同步。
关键词:多媒体通信同步技术多媒体信息传输浅谈多媒体同步技术1、多媒体同步特性1.1什么是多媒体及多媒体同步1.1.1多媒体的概念多媒体在计算机系统中,两个或两个以上的信息和互动媒体的人机交流的媒体组合。
使用的媒体包括文字,图像,照片,声音,动画和视频,以及由该计划提供的互动功能。
多媒体是计算机和视频技术相结合,它实际上是两个媒体;声音和图像。
多媒体本身有两个方面,和所有现代技术一样,它是一个硬件和软件,或机器和思想混合。
多媒体技术和能力,在概念上可以分为控制系统和信息。
多媒体已经能够实现是依靠数字技术,多媒体数字控制和数字媒体代表的数字式计算机控制系统的衔接,在当今最先进的音频和视频的存储和传输形式的数字媒体。
1.1.2什么是多媒体同步能够对多种媒体进行处理是多媒体系统的基本特征之一。
在这些媒体之中文字、图形、图像等是不随时间变化的,而声音或视频信号则是时间的函数。
数学上随时间变化的函数在实际中表现为一个数据流;数据流中各个相继的单元之间有确定的时问关系。
如果媒体的每个单元在播放时所用的时间都相同,则称这种媒体为连续(continuous)媒体。
一个多媒体系统至少应该能够支持一种连续媒体。
媒体之间的相互依存关系,不只是显示时才有,在捕获、存储、传输和处理过程中也是存在的。
不同媒体对象之间的相互依存关系可概括为3类:(1)内容关系。
根据某一组数据既可以列出表格,同时又可以画出曲线,那么,在计算机中只需要保存一份数据,而将表达这组数据的方式另作定义,这称为指定数据间的内容关系。
同一组数据可以对应于几个不同的内容关系。
(2)空间关系。
主要指不同媒体对象在显示中所处的相互位置关系通常它们分别在不同的窗口中显示,而每个窗口又允许有缩放、移动、激活等功能,这些复杂的相对位置关系需要有一定的方法来描述。
(3)时间关系。
电视中的伴音要求很好地和人的口形动作相吻合,幻灯片的解说词应该与正在显示的图像相对应,这是媒体对象之间必须保持一定时间关系的典型例子。
因此,媒体同步指的是上述3种关系确立。
显然,在集成了多种媒体的多媒体系统中,同步是一个关键性问题。
系统的各个组成部分。
例如,操作系统、数据库、文件系统、传输数据的通信系统,以至于应用程序等,都需要不同层次上支持媒体的同步。
而多媒体通信同步就是使得经网络传输后的多媒体对象序列仍能保持原来的约束关系,在目标结点上仍能得到和源结点相同的多媒体表现。
1.2多媒体的同步要求多媒体的同步要求主要分为多媒体通信同步、多媒体表现同步及多媒体交互同步等。
这些同步功能体现为多媒体同步体系结构中的不同层次的同步要求,由它们共同来实现系统中的媒体同步。
这几种同步要求相互影响相互制约,其中,表现同步和交互同步属于上层同步,即用户层同步,是由用户的需求来决定的一种大体上的同步。
用户可以对各个媒体进行编排,由此决定何种媒体何时以何种时空关系表现出来。
多媒体通信同步则属于中层同步,即合成同步,它的作用就是将不同媒体的数据流按一定的时间关系进行合成。
多媒体通信同步的要求是分布系统同步的最基本的要求,是其他同步功能的基础。
1.3多媒体同步研究的意义随着语音,图像压缩技术的不断突破,和数据宽带移动互联网的增加,开发新一代高品质的多媒体移动终端的客观条件已经成熟。
新一代的终端的研究和应用是在无线互联网的同时音频和视频通信的重要方向之一。
音频和视频对象的表现,即动态再现声音和图像序列,同步是非常重要的。
音频信息的需求,以保持其连续性和变化必须是同步的视频信息,音频信息的变化。
我们必须在发送器和接收器同步控制,恢复的数据之间的时间同步。
因此,多媒体同步研究的问题具有重要的理论意义和实践意义。
2、多媒体同步方法及比较早期对多媒体同步的研究主要集中在对多媒体流的同步,已经提出了一些同步方法。
例如分层同步、时间轴同步、参考点同步等方法,随着高速网络的发展,多媒体流在网络上或分布式系统中的同步问题变得非常突出。
传统的多媒体流同步技术不能解决网络多媒体流同步的问题。
目前开展这方面的研究也极为活跃。
提出了一些同步方法。
2.1分层同步法分层同步法是基于分层同步模型基础上的一种同步方法,主要基于两种同步操作:一种是动作的串行同步;另一种是动作的并行同步。
该方法的优点是易于操作并且应用广泛,但其限制是每一个动作只能在起点和终点进行同步。
这就使得分层同步法不能支持多媒体对象内部结构的适当抽取,从而无法实现灵活的交互操作。
另外,还存在一些不能由分层结构来描述的同步情况。
在分层同步法中,把多媒体对象看成一个树型结构,由串并行演示子树组成。
主要基于动作的串行同步和动作的并行同步两种操作。
动作可以是原子的,也可以是复合的。
原子动作管理着一个媒体或一个用户输入或一个延时的播放,复合动作是原子动作和同步操作的组合。
优点:层次清晰、管理方便;缺点:同步仅在动作开始和结束时进行。
2.2时间轴同步法时间轴同步法是基于时间轴同步模型,是将所有独立的对象依附在一个时间轴上进行描述,去掉任何一个对象都不会影响其他对象的同步。
这种同步方法是维持一个整体时间,每个对象可以将整体时间映射到它的局部时间,并由此局部时间表现。
当局部时间与整体时间的误差超出一个指定门限时,则需要重新与整体时间进行同步。
通过时间轴方法同步的对象可以较好地从单媒体对象和多媒体对象的内部进行抽取。
然而,多媒体流之间的相关性使得基于整体时间的同步方法不能有效地表述不同流之间的同步情况。
它将互相独立的多媒体对象附加在一个时间轴上,丢掉一个对象不影响其他对象的同步,它维持一个全局的时间,每个对象都能得到它。
每个对象可以从全局时间映射到局部时间,沿局部时间运行。
当全局时间和局部时间误差超过一个给定的范围时,两者要重新进行同步。
它优于分层同步法。
2.3参考点同步法借助参考点的同步可把多媒体对象分为两类基本对象。
动态基本对象由播放对象的序列(视频中帧)组成,周期性出现。
每个播放对象的索引叫一个参考点。
这样的单一媒体序列的同步叫作对象的内部同步。
静态基本对象播放仅有两个参考点,即播放开始和结束。
基本对象间的同步由参考点定义。
一个参考点及其对应的基本对象称为一个同步元素,两个或两个以上的同步元素可结合为一个同步点。
一个完整的对象之间同步由全部同步点组成的表定义。
如果一个多媒体播放中对象总是变化的,用参考点同步就有问题。
例如,要插入或删除视频图象中的一帧,就可能丢失同步。
2.4时间戳同步法时间戳同步法把每个媒体间的数据流单元加进统一的时间戳(时间码),具有相同时间戳媒体单元同时进行播放,以达到媒体间同步的目的。
时间戳同步法又分为绝对时间戳同步和相对时间戳同步。
绝对时间戳同步使用绝对时间标识。
相对时间戳同步使用全局时间和局部时间标识,它既可用于实时多媒体通信,也可用于多媒体信息存取,还可适应于多点通信,即同一信源发往不同目的地,不同信源发往同一接收地。
2.5同步标记法同步标记法是在发送端发出一个同步标记,接收端接收同步标记,用来对各个媒体进行同步处理以达到双方通信同步的目的。
分为两种同步标记方法:辅助同步信道方法各媒体在不同信道上传输,专门增加一个信道来传输媒体各路同步标记信息,指示各个媒体信道中的同步参考点。
各同步点到达才开始输出。
辅助信道还可传输控制信息;插入同步标记方法,发送端在每个媒体流中插入同步标记,每个媒体流通过不同信道传输,在接收方缓冲存储数据,直到所有信道中的同步都到达,才将已同步化的数据提交给用户。
2.6多路复用同步法多路复用同步法将多个媒体流的数据复用到一个数据流或一个报文中,从而使它们在多媒体传输中自然保持着媒体间的相互关系,以达到媒体间同步的目的。
例如,分组交换网多媒体会议系统中,为每个会议建立一个多媒体虚电路,发送者将所有媒体流多路复用到该上,复合成一条顺序组织的分组报文流,保证了媒体间的同步。
到接收端从把各种媒体流解复用出来,提交给用户进程。
虚电路多路复用同步方法,接收端无须重新同步,无须全网络同步时钟,也无须附加同步信道,故实现较简单。
3.多媒体同步模型3.1同步机制的4层参考模型多媒体应用规定层对象层流层媒体层图1:同步机制的4层参考模型多媒体信息同步技术涉及领域较大。
同步机制的4层参考模型如图1所示,它由规定层、对象层、流层、媒体层4层组成。
参考模型为多媒体信息同步技术的系统研究提供了可遵循的参照与思路,它规定了同步机制所应具有的层次关系以及各层需要实现的功能。
(1)规定层:由多媒体应用生成的时域场景,是规定层的对象。
规定层的核心是时域定义方案,其接口为用户提供了使用时间模型描述多媒体数据时域约束关系的工具,如同步编辑器、多媒体文档编辑器、著作系统等。
规定层产生的描述数据和定时要求,经由对象层的适当转换后进入由对象层、流层和媒体层所构成的同步机制。
(2)媒体层:媒体层的处理对象是来源于连续视频、音频数据码流的基本信息单元(BIU)。
BIU的大小在一定程度上取决于定时要求的内容,偏差的许可范围越小,BIU越小;反之,BIU越大。
通常,视频信号的BIU为一帧图像,而音频信号的BIU则是由若干在时域上相邻的采样构成的一个集合。
此外,媒体层对BIU的处理通常有时间限制,因而需要底层服务系统(如操作系统、通信系统等)提供必要的资源预留及相应的管理措施。
媒体层接口主要负责向上提供与设备无关的操作,而媒体层内部则主要完成两项任务:①申请必要的资源与系统服务,为该层各项功能的实施提供支持;②媒体层访问各类设备的接口,获取或提交一个完整的BIU,例如,当设备代表一条数据传输通道时,在发端媒体层负责将BIU进一步划分成若干适合于网络传输的数据包,而收端的媒体层需要将相关的数据包组合成一个完整的BIU。
(3)流层:流层的处理对象是连续码流或码流组,主要完成流内部及流间同步两项任务。
流内同步和流间同步是多媒体同步的关键,因而在同步机制的3 个层次中,流层最为重要。
流层接口向用户提供了一些功能函数,这些函数将连续码流作为一个整体来看待,因而对该流层用户来说,流层利用媒体层的接口功能对BIU所作的各种处理是透明的。
当多媒体应用直接使用流层的各接口功能时,连续数据与非连续数据之间的同步控制则由应用本身来完成。