3.3多媒体信息处理(图像声音视频)
第三章多媒体音频信息处理
一、音频信号的分类
音频信号可分为两类：
❖ 语音信号：语音是语言的物质载体，它包含了 丰富的语言内涵，是人类进行信息交流所特有 的形式。
❖ 非语音信号：主要包括音乐和自然界存在的其他 声音形式。非语音信号的特点是不含复杂的语义 和语法信息，其信息量低，识别简单。
二、音频信号的形式
声音可用一条连续的曲线来表示。这条连 续的曲线无论多么复杂，都可分解成一系列正 炫波的线性叠加，称为声波。因声波是在时间 上和幅度上都连续变化的量，因此称之为模拟 量。模拟信号有两个重要参数：频率和幅度。
1996.3 1992.9 1996.3
音频编码标准和算法
编码 类型
波形 编码
参数 编码
混合
算法
PCM
μ(A)
APCM DPCM
ADPCM
SBADPCM
LPC
CELPC VSELP RPECELP
名称 均匀量化
μ(A) 自适应量化 差值量化 自适应差值量化
子带一自适应差值量化
线性预测编码 码激励LPC
①高压缩比，存储空间小。 ②适合网络播放。 ③音质不是很好。 ④专用播放器Realplayer、
超级解霸2001以上的版本等
➢ AIFF格式文件
AIF是音频交换文件格式（Audio Interchange File Format）的英文缩写，是苹果计算机公司开发的一 种声音文件格式。
七、声卡
虽然PC声卡是在20世纪90年代才得以普及，但 它的问世却是在1984年。英国的ADLIB公司是目前公 认的“声卡之父”，虽然他们最初开发的产品只能提供 简单的声音效果，并且无法处理音频信号，但在当时 无疑已经是一个很大的突破。由于技术不够成熟，成 本又非常昂贵，因此这类带有试验品性质的早期ADLIB 音乐卡，因在当时计算机的运算速度还不足以应付大 规模的多媒体处理，所以未能普及。
多媒体基本知识概述
多媒体基本知识概述1、多媒体知识：1.1多媒体知识概述⏹基本概念多媒体信息通常指用文本、图形、图像、动画、音频与视频影像等形式表示的信息。
多媒体计算机技术是指利用计算机交互地综合处理相互之间有联系的文本、图形、图像、动画、音频、视频等多种信息。
多媒体的要紧特性表现在信息载体的多样性、交互性与集成性。
多媒体技术是指能对多种载体上的信息与多种存储体上的信息进行处理的技术；而媒体是指承载信息的载体；多媒体具有交互性而媒体不具备交互性；屏幕更新频率：显示器每秒更新的次数；彩数：显示画面的色彩数；(bpp是指表示每个像素所需的2进制位数)分辨率：显示画面的细腻程度；⏹关键技术在多媒体的研究与开放中，利用了许多关键技术，这些技术是支持多媒体研究与开发的核心。
◆数据压缩技术数字化的声音与图像包含了大量的数据。
假如不进行数据压缩，实时处理数字化的声音与图像信息所需要的存储容量、传输率与计算速度都是目前计算机难以承受的。
因此数据压缩技术一直是多媒体各项研究的重点。
◆大规模集成电路（VLSI）制造技术进行声音与图像信息的压缩处理要求进行大量的计算。
VLSI技术的进展让我们能够生产低廉的数字信号处理器（DSP）芯片用硬件来完成复杂的计算处理。
◆大容量的光盘存储器（CD-ROM）多媒体信息尽管通过了压缩处理，但还是含有大量的数据，因此需要有大容量的存储设备来储存这些信息。
◆实时多任务操作系统多媒体技术需要同时处理声音、文字、图像等多种媒体信息，其中声音与视频图像还要求实时处理，需要有能支持对多媒体信息进行实时处理的操作系统。
⏹构成通常，多媒体系统由下列4个部分构成。
◆硬件系统最重要是根据多媒体技术标准而研制生产的多媒体信息处理芯片、板卡与光盘驱动器等。
◆多媒体操作系统这是多媒体的核心，具有实时任务调度、多媒体数据转换与同步操纵、对多媒体设备的驱动与操纵，与图形用户界面管理等。
◆媒体处理系统工具它是多媒体重要的构成部分，也称之多媒体系统开发工具软件。
多媒体技术图片音视频知识点
多媒体＝多种媒体（文本、图形、图像、声音、动画和视频等）多媒体技术：计算机综合处理文字、图形、图像、音频、视频等多媒体信息，使多种信息建立逻辑连接，集成为一个系统并且具有交互性的一门综合性技术。
多媒体技术主要包括：媒体处理技术、人机交互技术、数据压缩技术、软硬件平台技术、通信与网络技术。
多媒体技术基本特征：数字性、多样性、交互性、集成性和实时性。
其中交互性是关键特征。
多媒体计算机特征部件：光驱、音箱、显卡声卡、视频采集卡、刻录机、摄像头、触摸屏、扫描仪、数码相机、数字投影仪……多媒体技术主要应用：教育培训、电子出版、影音娱乐、网络。
多媒体【例题】1、多媒体技术不包含以下哪种技术（C）A、数据压缩技术B、人机交互技术C、机械技术D、通信与网络技术2、以下哪一项不是常用的多媒体设备（B）A、摄像头B、U盘C、数据照相机D、数字投影仪3、以下哪一项不是多媒体技术的应用（D）A、教育培训B、电子出版C、网络D、数字投影仪4、计算机可以处理图像、声音和视频等信息，这种技术属于（D）A、智能化技术B、自动控制技术C、网络技术D、多媒体技术5、在多媒体计算机中，用来播放、录制声音的硬件设备是（B）A、网卡B、声卡C、视频卡D、显卡6. 下列关于多媒体技术主要特征描述正确的是：(D)①多媒体技术要求各种信息媒体必须要数字化②多媒体技术要求对文本，声音，图像，视频等媒体进行集成③多媒体技术涉及到信息的多样化和信息载体的多样化④交互性是多媒体技术的关键特征A. ①②B. ①④C. ①②③D. ①②③④7. 下面关于多媒体技术的描述中,正确的是： (C)A. 多媒体技术只能处理声音和文字B. 多媒体技术不能处理动画C. 多媒体技术就是计算机综合处理声音，文本，图像等信息的技术D. 多媒体技术就是制作视频8、以下属于多媒体技术应用的是：（B）（1）远程教育（2）美容院在计算机上模拟美容后的效果（3）电脑设计的建筑外观效果图（4）房地产开发商制作的小区微缩景观模型A、(1)(2)B、(1)(2)(3)C、(2)(3)(4)D、全部9、在多媒体课件中，课件能够根据用户答题情况给予正确和错误的回复，突出显示了多媒体技术的(D)。
多媒体信息处理技术之多媒体数据的分类及特点
形文件差别很大。它能指挥各音乐设备的运转，
而且具有统一的标准格式，能够模仿原始乐器的
各种演奏技巧甚至演奏的效果，而且文件非常小， 一般一首歌曲只有几KB到几十KB，适合在网络 上传播。
（3）CD Audio音乐文件 CD Audio音乐文件的扩展名为.cda，它是CD
（2）音乐。音乐是多媒体作品不可缺少的，作为世界性共 同语言，音乐可淋漓尽致地将一个多媒体作品的喜怒哀乐 气氛烘托出来，成为多媒体音频中不可缺少的组成部分。 （3）音效。即自然界所有物体所发出的声音，包括鸟叫、 打雷、下雨、闪电、爆炸、脚步、掌声、笑声、流水等。 这些声音可与画面构成在一起，形成一个酷似真实的世界。
其他网上流行的各种声音文件格式
WMA格式
WMA的全称是Windows Media Audio，是微软力推的一种
音频格式。WMA格式是以减少数据流量但保持音质的方法来达
到更高的压缩率目的，其压缩率一般可以达到1:18，生成的文件
大小只有相应MP3文件的一半。这对只装配32M的机型来说是相
当重要的，支持了WMA和RA格式，意味着32M的空间在无形中
各种媒体在表现信息方面的特点
（一）文字
目前，获取文字资料的方式多种多样，主要有：
1. 键盘输入； 2. 语音输入； 3. 扫描输入； 4. 手写识别。
用户可以根据自身的具体情况选择合适的文字输入方式。随着 互联网的普及，越来越多的人开始在网络中查找各种信息，网 络上的信息在人们的生活和工作中显得越来越重要。
（二）声音
声音是多媒体计算机中使用最多的信息之一。数字
音频的种类可分为以下几种：
1．按用途 声音按用途分类包括三种，即：语音、音乐、音效。
多媒体技术知识点
第一章知识点
多媒体技术：计算机交互式综合处理多媒体信息——文本、图形、 图像和声音使多种信息建立逻辑连接，集成为一个系统并具有 交互性的技术。
核心：综合处理、建立逻辑关系、人机交互。 1、多媒体技术特征：
数字化:把分散的、不同性质和特点的各种媒体信息，读入计算机才能进行加 工和整合。 集成性：媒体信息如文本、图像、声音、视频等的集成，这些媒体在多任务 系统下能够很好地协同工作，有较好的同步关系。人机交互和建立逻辑关系 使得多媒体技术必须将各种媒体集成在一起。
多媒体系统
一个完整的多媒体系统包括硬件平台和软件
多媒体硬件系统：多媒体计算机主机（MPC)系统和相关的外部设备，如大容
量存储设备、视频卡、扫描仪、数码相机与数码摄像机等。
多媒体软件系统：多媒体操作系统、创作系统和应用系统。多媒体操作系统
的主要任务是支持运动和静止图像的处理和显示，为相关的多媒体数据的同步提 供需要的适时任务调度，支持校准化桌面型计算机环境，支持多种多媒体硬件和 软件的运行；创作系统，包括开发工具，具有编辑、播放等功能；应用系统，即 利用创作系统制作出的多媒体作品。
音频
1、模拟音频的数字化：连续的模拟音频信号转化为离散的数字音频信号，主要包括 信号采样——量化——编码
信号采样：把时间连续的模拟信号按采样信号频率进行抽样，转换成在时间上离散、 幅度上连续的模拟信号。采样后的模拟信号虽然在时间上是离散的，但是在幅度上 是连续的。对于音频信号，常用的采样频率有三种44.1千赫兹，22.05千赫兹， 11.025千赫兹。
第二章 多媒体作品的规划与设计
1、多媒体作品开发的一般过程 （1）需求分析：根据实际工作学习和生活的需要而提出开发作品的需求，通过 对作品需求的可行性和必要性进行论证后，才进行作品的规划和设计。 （2）规划设计：由作品主题所涉及的内容和规模来确定的，是多媒体作品制作 的依据。
《多媒体技术应用》PPT课件
二、多媒体关键技术
1. 数据压缩和编码技术 P.199 2. 多媒体信息存储技术 3. 多媒体数据输入、输出技术 4. 多媒体通信网络技术 5. 多媒体信息同步技术 6. 多媒体专用芯片技术 7. 多媒体软件技术
4.2音频信号的处理
4.2.1 音频的数字化与MIDI合成音乐
1. 波形音频的数字化
多媒体PC平台能够通过内部合成器或连接到计算 机MIDI端口的外部合成器播放MIDI文件
4.2.2 声频文件的管理
音频的格式 P.208
WAV格式
文件体积较大，不适合在网上播放
MP3格式
高压缩率、文件小、音质好
MIDI格式
文件小，播放效果由软、硬件决定
CD格式
近似无损，忠于原声
二、多媒体软件系统 P.195
1.多媒体操作系统
多媒体操作系统是具有处理声音、 图形和影视功能的计算机操作系统。
常用的多媒体操作系统有： Windows 2000 Windows XP Windows Vista
1. 操作系统中的多媒体功能
支持多媒体功能的系统功能
具有管理大容量存储器的功能 虚拟内存技术 多任务 “即插即用”功能
RealAudio格式
适用网上在线音乐欣赏
WMA格式
支持音频流技术，适合在网络上在线播放
4.2.3 音频处理技术
声音的处理包括录音、剪辑、和效果设置 GoldWav是一个集音频录制、播放、编辑和格式转换
多功能于一体的数字音乐编辑器处理的基本工具 播放音频文件时显示正在播放的声音波形 从“编辑”菜单可进行声音文件的剪辑操作 从“效果”菜单可进行加快、放慢声音速度，加入
特色
多种媒体集成
集文字、声音、图像、视频、动画等媒体为一体
多媒体基础知识
多媒体基础知识多媒体基础知识是现代信息技术领域中的一个重要分支，它涉及到图像、声音、视频、动画等多种形式的信息的集成与处理。
随着数字技术的发展，多媒体技术的应用已经渗透到我们生活的方方面面，从教育到娱乐，从商业到个人生活，都离不开多媒体技术的支持。
首先，我们需要了解多媒体技术的基本概念。
多媒体技术是指通过计算机技术将文本、图像、音频、视频等多种媒体信息进行综合处理和展示的技术。
它的核心在于信息的数字化和集成化，使得各种信息可以相互转换和融合，为用户提供更加丰富和直观的体验。
在多媒体技术中，图像处理是一个关键的组成部分。
图像处理技术包括图像的获取、存储、编辑、传输和显示等。
随着数字图像处理技术的发展，图像的质量得到了极大的提升，图像的应用范围也变得更加广泛。
例如，数字摄影、图像识别、虚拟现实等领域都离不开图像处理技术的支持。
音频处理也是多媒体技术中的一个重要方面。
音频处理技术涉及到声音的录制、编辑、合成和播放等过程。
随着数字音频技术的发展，声音的质量得到了显著的提高，音频的应用也变得更加多样化。
例如，音乐制作、电影配音、语音识别等领域都需要音频处理技术的支持。
视频处理技术是多媒体技术中最为复杂的部分之一。
视频处理包括视频的捕获、编辑、压缩、存储和播放等环节。
随着视频技术的发展，视频的分辨率和质量不断提升，视频的应用也变得更加广泛。
例如，高清电视、网络视频、视频监控等领域都离不开视频处理技术的支持。
动画技术是多媒体技术中的一种特殊形式，它通过计算机生成一系列连续的图像，模拟出运动的效果。
动画技术在电影、游戏、广告等领域有着广泛的应用。
随着计算机图形学的发展，动画技术的表现力和真实感也在不断增强。
多媒体技术的应用非常广泛，它不仅改变了我们获取和处理信息的方式，也极大地丰富了我们的文化生活。
例如，在教育领域，多媒体技术可以提供更加生动和直观的教学内容，提高学生的学习兴趣和效率。
在娱乐领域，多媒体技术可以创造出丰富多彩的视听体验，满足人们的精神需求。
多媒体应用-视觉信息处理
第3章视觉信息处理本章重点:颜色空间的表示与转换数字图像处理技术视频处理技术动画技术图象与视频文件的读取与显示第3章视觉信息处理3.1 概述3.2 图形处理技术3.3 图像技术3.4 视频处理3.5 计算机动画技术3.6 图像与视频文件解析3.7 本章小结3.1 概述Ø3.1.1 颜色的基本概念Ø3.1.2 颜色空间表示与转换3.1.1 颜色的基本概念Ø颜色是人的视觉系统对可见光的感知结果。
物体由于构成和内部结构的不同，受光线照射后，一部分光线被吸收，其余的被反射或投射出来。
由于物体的表面具有不同的吸收光线与反射光的能力，反射光不同，眼睛就会看到不同的颜色。
Ø颜色通常使用光的波长来定义，用波长定义的颜色叫做光谱色。
3.1.1 颜色的基本概念国际照明委员会(CIE) 定义了颜色的特性：色调（hue）、饱和度（saturation）和明度（brightness）。
Ø色调用于区别颜色的种类。
色调是视觉系统对一个区域所呈现颜色的感觉。
如红、橙、黄、绿、青、蓝、靛、紫等。
Ø饱和度是颜色的纯洁性，用来区别颜色的程度。
当一种颜色渗入其他光成分愈多时，颜色愈不饱和。
Ø明度是视觉系统对可见物体辐射或者发光多少的感知属性。
3.1.1 颜色的基本概念Ø亮度是用反映视觉特性的光谱敏感函数加权之后得到的辐射功率，用单位面积上反射或者发射的光的强度表示。
由于明度很难度量，通常可以用亮度来度量。
3.1.2 颜色空间表示与转换Ø颜色常用颜色空间来表示。
颜色空间是用一种数学方法形象化表示颜色，人们用它来指定和产生颜色。
Ø颜色空间中的颜色通常用代表3个参数的3维坐标来描述，其颜色要取决于所使用的坐标。
在显示技术和印刷技术中，颜色空间经常被称为颜色模型。
颜色空间侧重于颜色的表示，而颜色模型侧重于颜色的生成。
Ø在一个典型的多媒体计算机系统中，常常涉及到用几种不同的颜色空间表示图形和图像的颜色，以对应于不同的场合和应用，各种颜色空间可以方便地进行转换。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一、图像处理
• (1)分辨率 • 分辨率：图像是由 像素 构成的，换句话说描述图 像的最小单位是 像素 。 图像分辨率：是指单位长度（或面积）的像素数。 单位是DPI(dots per inch)：每英寸中有几个点的意 思。 水平分辨率×垂直分辨率 • 图像分辨率高，画质越好，则存储容量也大。
把一幅图看成许许多多彩色 或各种级别灰度的点组成.这 些点按纵横排列起来构成一 幅画。这些点称为像素。
文件大小的计算
• 图像文件 图像大小=分辨率(像素数)×所占位数 • 声音文件 音频大小=采样频率×量化位数× 声道数 ×音频的时间(秒) • 视频文件
视频大小=每幅图像(帧)的大小×每秒播放的帧 数 (制式)×视频播放的时间
练习
一幅分辨率为800X600像素的黑白色的位图图像的容量大小为 多少kb？
（2）静图 是一种位映射的图像，用 是抽象的图形表示方法，用矢量表 若干位来定义图像中每 示图的轮廓，用数学公式描述图 个像素点的颜色和亮度。 中所包含的直线段、曲线段、圆 弧和折线等形状和大小。 位图图像比较细致，层次 和色彩比较丰富 矢量图的质量与显示和打印的分辨 率无关
PowerPiont： 制作幻灯片，一般用于做报告、做演讲等顺序性比较 强的多媒体信息集成。 FrontPage： 是制作网页的工具，是微软办公系统中的一个组件。 可以制作多媒体网页和网站。 Dreamweaver： 是制作网页的工具，是网页制作三剑客中的一个软件 （其他两个软件是：动画制作软件Flash,图像加工软 件Fireworks。 Flash软件一般用来制作动画。Authorware一般用 来制作多媒体系统软件，商业应用较多。Director多 媒体集成软件，可以制作二维动画，开发多媒体程序。
（4）图形和图像
• 图形：是通过人工绘制或计算机运算生成的直线、 曲线、平面、曲面、立体及相应的阴影等表示的， 是对自然界中存在事物的抽象描述。
• 图像：是自然界中实际存在的事物的映像描述。
图形和图像
（5）文件格式
• 图像文件常见扩展名：.BMP、 .TIF、.GIF和.JPG • .GIF和.JPG格式的文件由于使用了图像数据压缩技术，容量较小， 所以是网页上常用的两种图像格式。 • 压缩： 常用的压缩软件：WINRAR（.RAR）、WINZIP（.ZIP） 无损压缩：能够完全还原为原来的数据。如Winzip，WinRar 有损压缩：不能精确地还原成原来的数据。主要用于音频和视 频压缩。 图像文件：.JPG格式使用有损压缩， .TIF、.GIF格式使用无损压缩，BMP格式不压缩。 • 音乐文件：.MP3是音乐压缩； • 视频文件：.MPEG是视频压缩
（800X600）X(1/8)X(1/1024)=58.6kb
小华录制了1分钟的声音，双声道、16位采样位、采样频率为 44.1khz,其中数据量约为（ ）kb?
44.1X2X2X60=10584kb
二、声音处理
• 1.数字声音获取: ⑴ 网上下载 ⑵ 自己录制 在计算机声卡的输入口插入话筒，然 后利用附件中的录音机软件即可录制声音。 • 2.声音处理： 利用录音机软件可以进行一些简单的声 音处理如剪辑、加大减小音量、混响等。 可以使用工具软件更改声音文件类型。
常见的音频处理软件
• 音频解霸、Windows media player、 real playe、 Quick Time 、 gold wave、cool edit pro
音频文件格式：.wav 、.wma、 .mp3、.mid
声音文件大小的计算公式： 采样频率×量化位数×声道×时间 如一般CD格式音乐采用44.1kHz的采样频率， 16位量化分辨率，立体声双声道，你能计算出 每秒的数据量是多少吗？ 数据量为44100×（16/8）×2 ×1 = 176400字 节，每分钟的数据量约为10MB。
存储空 位图文件所需磁盘空间比 放大、缩小、旋转、拉伸不会影响 间 图形的清晰度和光滑度。 矢量图形大，放大后失 真 常用软 Adobe Photoshop、画图、 CorelDRAW、 Flash、Macromedia 件 FreeHand Ulead PhotoImpact
（3）颜色
• 1、数字图像的每一个像素颜色值由二进制位（bit） 表示。 • 2、黑白图像中的每一个像素用1位（即1/8字节）存 储，表示黑白两种颜色。 • 3、彩色图像一般采用三原色表示：即红（R）、绿 （G）、蓝（B），RGB模式。 在这三种基本色中每个像素用24位（即3字节） 表示，以红（R）、绿（G）、蓝（B）为基本 色。每种都有256级颜色分量（0~255），一共 可以表示256×256×256=16777216 种颜色
三、视频处理
• 1.数字视频获取： ⑴ 网上下载 ⑵ DV拍摄 ⑶ 采集卡采集 • 2.视频处理: 视频处理通常都需要专用软件才行,常见的 有超级解霸、Adobe Premier、windows movie maker、会声会影等。 • 在WindowsXP中自带一款简易视频编辑软件 Movie Maker，对于简单的视频处理完全能够 胜任。 • 一套完整的数字视频系统包括：摄像机、视频 采集卡、视频编辑软件、光盘刻录机等。
• 视频文件格式 • .mpg、.wmv、.avi、.flv、.dat、.asf、.rm
、.rmvb • 视频文件
视频大小=每幅图像(帧)的大小×每秒播放的帧 数 (制式)×视频播放的时间
如果有一段10秒钟长的分辨率为 720×576的PAL制式的彩色视频，它包含 约多少字节的数据。 720×576×3×25×10= 300M
获取原始图像途径：
• • • • • • 1）用绘图软件绘制 2）用数码相机拍摄 3）用扫描仪扫描 4）从屏幕上截取 5）从网上下载 6）从光盘的图像库中复制。
图像文件大小计算：分辨率×颜色位数 如一幅彩色图像的分辨率为1024×768， 采用24位颜色，那么为了记录这幅图像需要多 大的存储空间呢？ 数据存储空间为1024×768×（24/8） =2359296个字节。 如果存储画面为800×600像素的黑白两色 图像，又至少需要多少字节呢？因为一个黑白 两色的像素只需用一个二进制数位表示，所以 存储空间为800×600×１/ 8=60000个字节。
3.3多媒体信息处理
图像、声音、视频
• 媒体 • 通常指承载信息的载体，如文本、图形、图像、 声音、视频、动画等 • 多媒体 • 指对多种媒体的综合。 • 多媒体技术 • 指以计算机为平台综合处理多种媒体的信息。 • 有三大特征：集成性、交互性、实时性。 • 多媒体计算机 • 指具有多媒体信息处理功能的计算机。