第5章 多媒体音频技术.ppt
合集下载
多媒体技术音频处理技术-PPT文档资料
2.1.2 模拟音频的数字化过程
对模拟音频数字化过程涉及到音频的采样、量化和编码。 采样和量化的过程可由A/D转换器实现。A/D转换器以固定 的频率去采样，即每个周期测量和量化信号一次。经采样 和量化后声音信号经编码后就成为数字音频信号，可以将 其以文件形式保存在计算机的存0 0 1 1 1 0 1
未压缩的声音文件的存储量可用下式计算： 存储量（KB） =（采样频率KHZ×采样位数bit×声道数×时间秒）/8
2.VOC文件
VOC文件是Creative公司所使用的标准音频文件 格式，多用于保存 Creative Sound Blaster(创新
声霸)系列声卡所采集的声音数据，被Windows平台
和DOS平台所支持。
3.MPEG音频文件——.MP1/.MP2/.MP3
MPEG音频文件的压缩是一种有损压缩，根据压缩质量 和编码复杂程度的不同可分为三层(MPEG Audio Layer 1/2/3)，分别对应MP1、MP2和MP3这三种声音文件；
MPEG 音频编码具有很高的压缩率， MP1 和 MP2 的压缩率 分别为4∶1和6∶1～8∶1，而MP3的压缩率则高达10∶1～ 12∶1 ，也就是说一分钟 CD 音质的音乐，未经压缩需要 10MB存储空间，而经过MP3压缩编码后只有1MB左右，同时 其音质基本保持不失真。
路连接，则可获得CD音质的声音。
4. RealAudio文件——.RA/.RM/.RAM
RealAudio文件是RealNetworks公司开发的一种 新型流式音频(Streaming Audio)文件格式；它包含 在RealNetworks所制定的音频、视频压缩规范 RealMedia中，主要用于在低速率的广域网上实时传 输音频信息；网络连接速率不同，客户端所获得的 声音质量也不尽相同：对于28.8kb/s的连接，可以 达到广播级的声音质量；如果拥有ISDN或更快的线
多媒体技术及应用第5章音频处理技术简明教程PPT课件
第5章 音频处理技术
多媒体技术及应用
第14页
采样与采样频率
奈奎斯特采样定理：设连续信号 x (t ) 的频谱 为 x( f ) ，以采样间隔T采样得到离散信号 x(nT )， 如果满足：当 f f c 时， fc 是截止频率，T 1 /(2 f c ) 或 fc 1/(2T ) 则可以由离散信号 x(nT ) 完全确定 连续信号 x (t )。当采样频率等于 1 /(2T ) 时， 即 f N 1 /(2T ) ，称 f N 为奈奎斯特频率。 奈奎斯特采样定理指出，采样频率不应低于声音 信号最高频率的两倍，这样才能把离散的数字音 频还原为原来的声音。
振幅和频率不变的声音为纯音，纯音一般都是用 专用电子设备产生的。 在自然界中，语音、乐声等大多数不是纯音，它 们都是由不同的振幅和频率组成的复音。 在复音中最低频一般是一个常数，称为基频，基 频是决定声音音调的基本因素。复音中的其他频 率通常称为谐音。 基频和谐音组合后，即可形成不同音质和音色的 声音。音色是辨别声音的特征，通过音色能区分 自然界不同的声源。若在传播过程中谐音有所损 失，则可能改变原声源的特征而发生畸变。
音频是时间的函数，声音信号是振幅随时间连续变化的模 拟信号。在计算机处理音频信号之前，必须将声音的模拟 信号进行数字化，形成数字音频。 数字化的具体过程包括采样、量化和编码3个环节。采样 和量化完成模拟信号的数字化表示，编码实现数字音频的 标准化和数据压缩。
音频数字化过程
数字化后的音频质量取决于采样频率、量化位数以及编码 压缩算法等因素。
第5章 音频处理技术
多媒体技术及应用
第2页
本章的学习目标
理解音频的基本知识 掌握常用的音频文件格式 理解音频数字化过程 熟练掌握音频的采集及处理
多媒体技术及应用
第14页
采样与采样频率
奈奎斯特采样定理：设连续信号 x (t ) 的频谱 为 x( f ) ，以采样间隔T采样得到离散信号 x(nT )， 如果满足：当 f f c 时， fc 是截止频率，T 1 /(2 f c ) 或 fc 1/(2T ) 则可以由离散信号 x(nT ) 完全确定 连续信号 x (t )。当采样频率等于 1 /(2T ) 时， 即 f N 1 /(2T ) ，称 f N 为奈奎斯特频率。 奈奎斯特采样定理指出，采样频率不应低于声音 信号最高频率的两倍，这样才能把离散的数字音 频还原为原来的声音。
振幅和频率不变的声音为纯音，纯音一般都是用 专用电子设备产生的。 在自然界中，语音、乐声等大多数不是纯音，它 们都是由不同的振幅和频率组成的复音。 在复音中最低频一般是一个常数，称为基频，基 频是决定声音音调的基本因素。复音中的其他频 率通常称为谐音。 基频和谐音组合后，即可形成不同音质和音色的 声音。音色是辨别声音的特征，通过音色能区分 自然界不同的声源。若在传播过程中谐音有所损 失，则可能改变原声源的特征而发生畸变。
音频是时间的函数，声音信号是振幅随时间连续变化的模 拟信号。在计算机处理音频信号之前，必须将声音的模拟 信号进行数字化，形成数字音频。 数字化的具体过程包括采样、量化和编码3个环节。采样 和量化完成模拟信号的数字化表示，编码实现数字音频的 标准化和数据压缩。
音频数字化过程
数字化后的音频质量取决于采样频率、量化位数以及编码 压缩算法等因素。
第5章 音频处理技术
多媒体技术及应用
第2页
本章的学习目标
理解音频的基本知识 掌握常用的音频文件格式 理解音频数字化过程 熟练掌握音频的采集及处理
《多媒体技术及应用》第5章 音频处理技术
数字化后的音频质量取决于采样频率、量化位数以及编码 压缩算法等因素。
第10页
5.2 音频数字化
采样与采样频率 量化与量化级 声道 音频采样的数据量 音频数据编码
第11页
采样与采样频率
所谓采样就是每间隔一段时间读取一次声音信号 幅度，使声音信号在时间上被离散化。
采样的主要参数是采样频率。 采样频率(Sampling Rate)是指将模拟声音波形
5.25MB
2.6MB 5.25MB 5.25MB 10.5MB
注释 相当于电话线路较差时的音质 效果不好的立体声 实际上勉强可以接受的最低频率，非常沉闷和压抑 在这样低的采样率下，使用立体声不占优势 相当于电视机的声音质量，非常实用，在 Macintosh 和多媒体 计算机上都能够播放 在全频宽回放不太可能的情况下是立体声录音的较好选择
数字化时，每秒钟所抽取声波幅度样本的次数， 其计算单位是kHz(千赫兹)。 一般来说，采样频率越高，声音失真越小，但用 于存储数字音频的数据量也越大。 采样频率的高低是根据声音信号本身的最高频率 和奈奎斯特采样定理(Nyquist theory)决定的。
第12页
采样与采样频率
奈奎斯特采样定理：设连续信号 x(t) 的频谱 为 x( f ) ，以采样间隔T采样得到离散信号 x(nT)， 如果满足：当 f fc 时， fc 是截止频率，T 1/(2 fc ) 或 fc 1/(2T ) 则可以由离散信号 x(nT ) 完全确定 连续信号 x(t )。当采样频率等于 1/(2T ) 时， 即 fN 1/(2T ) ，称 f N 为奈奎斯特频率。
对于语音是一种不错的选择，但是最好缩减到 8bit，这样可以 节约很多磁盘空间
由于采样频率较低，比 CD 听起来要沉闷。但由于采用高的量 化级和立体声，仍然比较饱满，适用于 CD-ROM 产品
第10页
5.2 音频数字化
采样与采样频率 量化与量化级 声道 音频采样的数据量 音频数据编码
第11页
采样与采样频率
所谓采样就是每间隔一段时间读取一次声音信号 幅度，使声音信号在时间上被离散化。
采样的主要参数是采样频率。 采样频率(Sampling Rate)是指将模拟声音波形
5.25MB
2.6MB 5.25MB 5.25MB 10.5MB
注释 相当于电话线路较差时的音质 效果不好的立体声 实际上勉强可以接受的最低频率，非常沉闷和压抑 在这样低的采样率下，使用立体声不占优势 相当于电视机的声音质量，非常实用，在 Macintosh 和多媒体 计算机上都能够播放 在全频宽回放不太可能的情况下是立体声录音的较好选择
数字化时，每秒钟所抽取声波幅度样本的次数， 其计算单位是kHz(千赫兹)。 一般来说，采样频率越高，声音失真越小，但用 于存储数字音频的数据量也越大。 采样频率的高低是根据声音信号本身的最高频率 和奈奎斯特采样定理(Nyquist theory)决定的。
第12页
采样与采样频率
奈奎斯特采样定理：设连续信号 x(t) 的频谱 为 x( f ) ，以采样间隔T采样得到离散信号 x(nT)， 如果满足：当 f fc 时， fc 是截止频率，T 1/(2 fc ) 或 fc 1/(2T ) 则可以由离散信号 x(nT ) 完全确定 连续信号 x(t )。当采样频率等于 1/(2T ) 时， 即 fN 1/(2T ) ，称 f N 为奈奎斯特频率。
对于语音是一种不错的选择，但是最好缩减到 8bit，这样可以 节约很多磁盘空间
由于采样频率较低，比 CD 听起来要沉闷。但由于采用高的量 化级和立体声，仍然比较饱满，适用于 CD-ROM 产品
多媒体技术ppt课件完整版
图像识别
利用计算机视觉技术，对图像中的 目标进行自动识别和分类。
04
音频处理技术
音频采集
通过麦克风等设备采集声音信号，转换为数 字音频数据。
音频特效
添加回声、混响、变声等特效，增加音频的 层次感和表现力。
音频编辑
对音频数据进行剪辑、拼接、降噪等操作， 以改善音质和效果。
音频压缩
采用MP3、AAC等压缩算法，减少音频文件 大小，便于存储和传输。
05
多媒体应用系统设计与开发
系统设计原则与方法
用户需求导向
深入了解用户需求，以用户为中心进行系统设计 ，确保系统满足用户需求。
可扩展性
设计时应考虑未来可能的扩展需求，便于系统升 级和扩展。
ABCD
先进性
采用先进的技术和算法，确保系统性能优越、稳 定可靠。
易用性
界面设计简洁明了，操作便捷，降低用户使用难 度。
有损压缩
通过去除数据中的部分冗余信息来减小 文件大小，但会损失一定的数据质量。
压缩算法
包括Huffman编码、LZ77、LZ78等 经典算法，以及近年来兴起的深度学
习压缩算法。
无损压缩
利用数据的统计特性进行压缩，可以 完全恢复原始数据而不损失任何信息 。
压缩标准
如JPEG、MPEG、H.264等，为多媒 体数据压缩提供了统一的规范和标准 。
其他领域应用案例
医学影像处理
01
多媒体技术可以对医学影像进行数字化处理和分析，提高医学
诊断和治疗的准确性和效率。
智能家居
02
通过多媒体技术实现家居设备的智能化控制和互联互通，提高
家居生活的便捷性和舒适度。
工业自动化
03
多媒体技术可以应用于工业自动化领域，实现生产过程的可视
利用计算机视觉技术，对图像中的 目标进行自动识别和分类。
04
音频处理技术
音频采集
通过麦克风等设备采集声音信号，转换为数 字音频数据。
音频特效
添加回声、混响、变声等特效，增加音频的 层次感和表现力。
音频编辑
对音频数据进行剪辑、拼接、降噪等操作， 以改善音质和效果。
音频压缩
采用MP3、AAC等压缩算法，减少音频文件 大小，便于存储和传输。
05
多媒体应用系统设计与开发
系统设计原则与方法
用户需求导向
深入了解用户需求，以用户为中心进行系统设计 ，确保系统满足用户需求。
可扩展性
设计时应考虑未来可能的扩展需求，便于系统升 级和扩展。
ABCD
先进性
采用先进的技术和算法，确保系统性能优越、稳 定可靠。
易用性
界面设计简洁明了，操作便捷，降低用户使用难 度。
有损压缩
通过去除数据中的部分冗余信息来减小 文件大小，但会损失一定的数据质量。
压缩算法
包括Huffman编码、LZ77、LZ78等 经典算法，以及近年来兴起的深度学
习压缩算法。
无损压缩
利用数据的统计特性进行压缩，可以 完全恢复原始数据而不损失任何信息 。
压缩标准
如JPEG、MPEG、H.264等，为多媒 体数据压缩提供了统一的规范和标准 。
其他领域应用案例
医学影像处理
01
多媒体技术可以对医学影像进行数字化处理和分析，提高医学
诊断和治疗的准确性和效率。
智能家居
02
通过多媒体技术实现家居设备的智能化控制和互联互通，提高
家居生活的便捷性和舒适度。
工业自动化
03
多媒体技术可以应用于工业自动化领域，实现生产过程的可视
多媒体技术与应用课件第五章
多媒体技术与应用教程
二, 声音的编辑处理
1,Sound Forge音频编辑软件
执行"开始""所有程序"SonySound Forge 8.0命令, 即可打开Sound Forge软件.选择一个合适的音频文件并将其导入, 此时的主界面如下图所示.
多媒体技术与应用教程
三, 音频软件的基本操作
1,打开现有音频文件
多媒体技术与应用教程
三, 音频软件的基本操作
2,创建一个新的波形数据
执行FileNew命令,弹出New Windows对话框,如下图 所示.选择合适的音频格式后按OK按钮,即可生成新的波形 数据窗口.这样创建的波形数据窗是空无任何声音的.实际 上Sound Forge并不认为这是没有"声音"的,只是这段"声 音"非常短,时间长度为0.
多媒体技术与应用教程
三, 音频软件的基本操作
3,声音数据的拷贝
(1)选中需要拷贝的波形 (2)执行EditCopy命令.快捷方式:Ctrl + C. (3)激活另一个波形数据窗,再执行EditPaste命令,即 3 Edit P 音频软件的基本操作
多媒体技术与应用教程
四, 声音效果的添加
2,回声效果
执行FileOpen命令,导入一 个声音文件. 执行Effects]Delay/Echo] Effects] Delay/Echo] Multi-Tap Delay命令,打开如右图 所示的"Sony Multi-Tap Delay-清 唱.wav"对话框.在Preset下拉列表 中选择Cathedral3选项,点击OK按 钮保存设置,这样便实现了模拟教 堂回声的效果,感觉好象一个人在 教堂中唱歌.
多媒体制作技术教程 第5章 GoldWave音频编辑技术
（ 4）选择“类似”选项面板，可以通过重叠或复制相似 的短声音片段来改变声音长度，音调没有改变。 （5）选择FFT选项面板，如图5-24所示。
图5-23 Time Warp对话框
图5-24 时间弯曲FFT调整面板 返回本节
5.2.6 特殊音效
（1）机器人声音（如图5-25所示）。
（2）倒序声音。
返回本节
5.3 声音文件格式的转换与输出
5.3.1 直接从CD光盘上获得声音文件
5.3.2 将WAV格式文件压缩成MP3格式文件
5.3.3 编辑已有的MP3格式文件
5.3.4 自制MP3声音文件
5.3.5 把录音带转录成数字化文件 5.3.6 声音文件的批处理
返回首页
5.3.1 直接从CD光盘上获得声音文件
图5-22 Shape对话框 返回本节
5.2.5 时间调整
【基本操作】
（1）将一段声音调入编辑器，并选中编辑区域。
（2）单击“时间弯曲”按钮，打开Time Warp对话框， 如图5-23所示。当前默认为“频率”选项面板。
（3）选中“改变”单选按钮，调整“改变”滑块，可以 改变声音的频率值，从而改变声音的时间长度。
5.1.2 GoldWave声音文件的操作
5.1.3 GoldWave声音文件的编辑
返回首页
5.1.1 GoldWave的工作界面
图5-1 GoldWave的工作界面
1．标题栏
用于显示该应用程序的名称及正在编辑的声音 对象的名称等。
2．菜单栏 包括文件 （ File）、编辑 （ Edit）、效果 （ Effect）、 查看 （ View）、工具 （ Tool）、选项 （ Options）、 窗口（Window）和帮助（Help）8个选项。用户可 以单击这些菜单选项，从弹出的下拉菜单中选 择相应的子命令，即可执行相应的任务。
图5-23 Time Warp对话框
图5-24 时间弯曲FFT调整面板 返回本节
5.2.6 特殊音效
（1）机器人声音（如图5-25所示）。
（2）倒序声音。
返回本节
5.3 声音文件格式的转换与输出
5.3.1 直接从CD光盘上获得声音文件
5.3.2 将WAV格式文件压缩成MP3格式文件
5.3.3 编辑已有的MP3格式文件
5.3.4 自制MP3声音文件
5.3.5 把录音带转录成数字化文件 5.3.6 声音文件的批处理
返回首页
5.3.1 直接从CD光盘上获得声音文件
图5-22 Shape对话框 返回本节
5.2.5 时间调整
【基本操作】
（1）将一段声音调入编辑器，并选中编辑区域。
（2）单击“时间弯曲”按钮，打开Time Warp对话框， 如图5-23所示。当前默认为“频率”选项面板。
（3）选中“改变”单选按钮，调整“改变”滑块，可以 改变声音的频率值，从而改变声音的时间长度。
5.1.2 GoldWave声音文件的操作
5.1.3 GoldWave声音文件的编辑
返回首页
5.1.1 GoldWave的工作界面
图5-1 GoldWave的工作界面
1．标题栏
用于显示该应用程序的名称及正在编辑的声音 对象的名称等。
2．菜单栏 包括文件 （ File）、编辑 （ Edit）、效果 （ Effect）、 查看 （ View）、工具 （ Tool）、选项 （ Options）、 窗口（Window）和帮助（Help）8个选项。用户可 以单击这些菜单选项，从弹出的下拉菜单中选 择相应的子命令，即可执行相应的任务。
《多媒体技术》讲稿第5章
19
m律压(缩)扩(展)算法 *
m律压扩用在北美和日本等地区的数字电话通信 中，按下面的式子确定量化输入和输出的关系：
m m F m(x ) sg x )n [ 1 l(|n x |/ ) ( l1 n ) (]
式中：x为输入信号幅度，规格化成-1 x 1;
sgn(x)为x的极性；m为确定压缩量的参数，它反
13
第四章 音频信号和声音卡
√音频编码基础
思
音频信号压缩技术
考 题
音频编码标准
声音卡的组成和工作原理
语音识别技术及应用
2021/4/6
14
音频信号压缩技术 *
概述 脉冲编码调制 增量调制 自适应脉冲编码调制 差分脉冲编码调制 自适应差分脉冲编码调制
2021/4/6
15
概述 *
第五章 音频信号和声音卡
音频编码基础 *
思
音频信号压缩技术 *
考 题
音频编码标准 *
声音卡的组成和工作原理
语音识别技术及应用 *
2021/4/6
1
音频编码基础
声音信号的特点 音频信号处理的方法 音频文件的存储格式 声音质量的度量
2021/4/6
2
声音信号的特点*
声音是通过空气传 播的一种连续的波， 这种连续性表现在 两个方面，一个是 时间上的连续性， 另一方面是指它在 幅度上是连续的。
映最大量化间隔和最小量化间隔之比，取
100m500。
2021/4/6
20
A律压(缩)扩(展)算法 *
A律(A-Law)压扩用在欧洲和中国大陆等地区的数字电话 通信中，按下面的式子确定量化输入和输出的关系：
sg x )A n [ (x )/(1 ( lA n ], 0 |x| 1 /A F A (x ) sg x )1 n [ l((A n |x|/)1 ( lA n )1 ] /A , |x| 1
多媒体音频技术
音频信号的采样 采样信号的量化
33
在相同的采样频率下，量化位数越高， 声音还原的层次越丰富，表现力越强，声 音效果越好，但数据量也越大。 。
34
采样与量化过程示例
对图1中的原始模拟波形(红线)进行采样 和量化。采样频率：1000次/秒，量化位数： 0-9共10个量化等级，并将采样的幅度值用最 接近0-9中的一个数来表示，采样效果如图所 示，图中每个长方形表示一次采样。
27
声音数字化过程示意图
连续的模拟声音信号
声音信号的采样
顺序
离散的音频信号
28
何谓采样？ 对模拟音频信号的连续波形进行分割使之 变成离散数字信号的方法，称为采样。 采样的过程是每隔一个时间间隔在模拟音 频的波形上取一个幅度值，把时间上连续的 模拟信号变成时间上离散的数字信号。该时 间间隔称为采样周期，其倒数为采样频率。
14
1857年，法国发明家斯科特（Scott）发明 了声波振记器，这是最早的原始录音机，是留 声机的鼻祖。
1877年，爱迪生发明了一种录音装置，可 以将声波变换成金属针的震动，然后将波形刻 录在圆筒形腊管的锡箔上。当针沿着刻录的轨 迹行进时，便可以重新发出留下的声音。这个 装置录下了爱迪生朗读的《玛丽有只小羊》的 歌词：“玛丽抱着羊羔，羊羔的毛象雪一样 白”，共8秒钟的声音成为世界录音史的第一声。
43.07 86.13
8
43.07
86.13
44.1
16
86.13
172.27
21
电声技术把声信号转换成电信号，经 扩音系统直接进行扩音；或者将其信号利 用磁带、CD或其他存储形式，使声音可超 越时间和空间，通过重放系统将信号放大， 由扬声器或耳机转换成声信号，进入最后 的终端---人耳，以实现任何时间和地点的 声音重现。
33
在相同的采样频率下，量化位数越高， 声音还原的层次越丰富，表现力越强，声 音效果越好，但数据量也越大。 。
34
采样与量化过程示例
对图1中的原始模拟波形(红线)进行采样 和量化。采样频率：1000次/秒，量化位数： 0-9共10个量化等级，并将采样的幅度值用最 接近0-9中的一个数来表示，采样效果如图所 示，图中每个长方形表示一次采样。
27
声音数字化过程示意图
连续的模拟声音信号
声音信号的采样
顺序
离散的音频信号
28
何谓采样？ 对模拟音频信号的连续波形进行分割使之 变成离散数字信号的方法，称为采样。 采样的过程是每隔一个时间间隔在模拟音 频的波形上取一个幅度值，把时间上连续的 模拟信号变成时间上离散的数字信号。该时 间间隔称为采样周期，其倒数为采样频率。
14
1857年，法国发明家斯科特（Scott）发明 了声波振记器，这是最早的原始录音机，是留 声机的鼻祖。
1877年，爱迪生发明了一种录音装置，可 以将声波变换成金属针的震动，然后将波形刻 录在圆筒形腊管的锡箔上。当针沿着刻录的轨 迹行进时，便可以重新发出留下的声音。这个 装置录下了爱迪生朗读的《玛丽有只小羊》的 歌词：“玛丽抱着羊羔，羊羔的毛象雪一样 白”，共8秒钟的声音成为世界录音史的第一声。
43.07 86.13
8
43.07
86.13
44.1
16
86.13
172.27
21
电声技术把声信号转换成电信号，经 扩音系统直接进行扩音；或者将其信号利 用磁带、CD或其他存储形式，使声音可超 越时间和空间，通过重放系统将信号放大， 由扬声器或耳机转换成声信号，进入最后 的终端---人耳，以实现任何时间和地点的 声音重现。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
要取决于声波频率的高低。频率越高， 音调越高，反之亦然。 在使用音频处理软件对声音的频率进行 调整时，其音调也会随之产生变化。例 如，男子发音，其频率约在90～140Hz之 间，其音调较低；女子发音的频率约在2 70～550Hz之间，其音调较高。
第五章 多媒体音频技术
音强：是指声音的强度，又称声音的响 度，由量。
② 音质与声音还原设备有关。 ③ 音质与信号噪声比有关。
第五章 多媒体音频技术
5.1.2 音频素材的获取
1. 自行录制
Windows自带的录音机 （Sound Recorder）
2. 从素材库或网站中 获取
3. 从CD、VCD等媒体 中获取
目录
第五章 多媒体音频技术
5.2 声音的数字化
5.1.2 数字化过程
或其他芯片来产生音乐或声音的电子装 置。 利用合成器产生MIDI音乐的主要方法有
调频合成法 波形表合成法
目录
第五章 多媒体音频技术
5.4.5 MIDI音乐制作系统（overture）
目录
第五章 多媒体音频技术
5.5 语音识别技术及应用
5.5.1 语音识别的基本原理及过程
第五章 多媒体音频技术
第5章 多媒体音频技术
1. 音频概述 2. 声音的数字化 3. Audition音频处理软件 4. MIDI与音乐合成 5. 语音识别技术及应用
5.1 音频基础
5.1.1 声音的基本概念 声音在物理学上称之为声波，是通过一
定介质（如空气、水等）传播的连续的 振动的波。 声波引起某处媒质压强的变化量称为该 处的声压。 声音的强弱体现在声波的振幅上 音调的高低体现在声波的周期和频率上。
f(Hz)
第五章 多媒体音频技术
3．声音的传播方向
当辐射出来的声波波长比声源的尺寸大 时，声波比较均匀地向各方向传播；
当辐射出来的声波波长小于声源的尺寸 时，声波集中地向正前方一个尖锐的圆 锥体范围内传播。
第五章 多媒体音频技术
4．声音的三要素
声音效果的三要素：音调、音强、音色。 音调：指声音的高低。音调的高低，主
.ape
● OGG( Ogg Vorbis) 一种免费的开源音频格式
.ogg
比MP3先进，可以在相对较低的数据速率下实现比MP3更好的音质。
● 其他… … AIFF 、VOC
.aiff
第五章 多媒体音频技术
● 文件
● WAVE (Waveform Audio)波形音频文件 .wav
多媒体系统、音乐光盘制作，记录物理波形，数据量大
声音合成是制造气氛、丰富声音表现力 的重要手段。常见的合成效果很多，如 录音，自然交响曲（音乐与鸟鸣声、大 风呼啸声等的合成），人为的热烈气氛 等。
目录
第五章 多媒体音频技术
5.4 MIDI与音乐合成
MIDI是多媒体计算机系统生成音乐的一 种主要方式，它不仅是多媒体音频技术 的重要组成部分，而且也使演奏音乐和 使用乐器的方式产生很大的变化。
声音的模拟信号
采样
量化
声音的数字信号 编码
1. 采样频率
在某个特定的时刻对模拟信号进行测量叫 做采样。采样频率也称取样频率，是指在 单位时间（1s）内采样的次数。
第五章 多媒体音频技术
5.2 声音的数字化
2. 量化位数
量化是将经过采样得到的离散数据转换成 二进制数的过程。量化位数，即分辨率， 是指将经过采样得到的离散数据转换成二 进制数的位数,一般为32、16、8、4位。
（空气、液体、固体）产生振动，并以波的形 式进行传播。 声源的形式多样，例如，吉他、人的声带、农 村的拖拉机等。 声源振动，通过它周围的空气、水等传播介质 进行传播，形成“声波”。 人耳接收到声波，耳膜随之振动，再通过听觉 神经末梢的传递，就可以听见声音。
第五章 多媒体音频技术
2．声音的频率
声源每秒振动的次数称为该声源的“频 率”。
用音频来表示声音信号的频率，单位为 赫兹（Hz）。
频率对于声音来说是个非常重要的概念，不 同的声音有不同的频率范围，人耳只能听到 频率范围在20Hz～20kHz之间的声音，低于2 0Hz的次声和高于20kHz的超声都听不到。
次声波
可听声波
20Hz
5.3.1 经典软件概念
Goldwave、Cakewalk、Adobe Audition
5.3.2 声音的一般处理
① 使用声音文件 ② 录制声音 ③ 选区的操作 ④ 利用剪贴板复制、剪切和粘贴声音 ⑤ 恢复/重做操作 ⑥ 形成静音 ⑦ 倒转声音
第五章 多媒体音频技术
5.3 Audition音频处理软件
第五章 多媒体音频技术
5.4.1 MIDI概述
1．什么是MIDI
MIDI是乐器数字接口（Musical Instrument D igital Interface）的英文缩写，是数字音乐 /电子合成乐器的统一国际标准。
它是数字乐器与计算机连接的接口，即在数字 乐器与计算机相连接时所使用的可以直接插到 计算机串口上的一个小部件，通过它可以使数 字乐器与计算机相互“沟通”信息。
5.3.3 声音的高级处理
① 声道变换
⑥ 消除环境噪声
② 改变声音文件的固有 音量
③ 淡入/淡出效果
④ 回声原理及其制作
⑦ 声音混响
⑧ 调整时间和音调
⑨ 直接从视频文件中提取 声音
⑤ 延迟效果
5.3.4 CD处理
第五章 多媒体音频技术
5.3.5 声音合成综合实例
把两个或两个以上的声音素材组合在一 起，形成多个声音共鸣的效果，这就是 所谓的“声音合成”。
20kHz
第五章 多媒体音频技术
超声波
f(Hz)
人耳对不同频率的敏感程度有很大差别
对中频段（2 kHz～4 kHz）最为敏感，幅度 很低的信号都能被人耳听到；
对低频区和高频区较不敏感，能被人耳听到 的信号幅度比中频段要高得多。
10 20 50
CD-DA
FM广播 AM广播
电话
200
3.4k 7k 15k 20k
5.5 语音识别技术及应用
5.5.2 文本—语音转换技术 5.5.3 语音识别软件（ViaVoice）
目录
第五章 多媒体音频技术
必须经过解压缩，数据量小
第五章 多媒体音频技术
5.2.4 音频压缩工具
AVI-MPEG-WMV-RM to MP3 Converter
第五章 多媒体音频技术
1 声音适配器与声音还原
（1） 声音适配器 (声卡)
主板
主机箱
声音适配器 数字信号
音频信号
音箱
音箱
● 作用: 数字信号与模拟信号之间的双向转换 ● 单板 (输出功率大，抗干扰，音质好) ● 主板集成 (易受干扰，性能指标比单板略差) ● 采样模式 16bit ~ 24bit ● 音频输出模式：2 STEREO
● MIDI (Musical Instrument Digital Interface)乐器接口文件 .mid
用于合成、游戏，记录音符时值、频率、音色特征，数据量小
● CDA (CD Audio)激光音频文件 .cda
准确记录声波，数据量大，经过采样生成WAV和MP3音频文件
● MP3/WMA(MPEG音频压缩标准)压缩音频文件 .mp3/wma
输入音频信号 编码器
传输/存储
解码器 输出音频信号
第五章 多媒体音频技术
5.2.2 数字音频压缩标准
2.音频压缩技术标准
目录
第五章 多媒体音频技术
5.2.3 数字音频的格式
● RA(RealAudio) Real音频文件
.rm
主要适用于在网络上的在线音乐欣赏
●APE 无损音频压缩格式 现在网络上比较流行的音频文件格式
音色：即声音的品质，它由泛音的多少、 泛音的频率和振幅决定。例如，不同的 乐器在基本振动频率相同的情况下，仍 然可以区分各自的特色，就是因为它的 音色不同。
第五章 多媒体音频技术
5．音质
“音质”是声音的质量，音质的好坏与 音色的频率范围有关。
影响音质的因素
① 对于数字音频信号，音质的好坏与数据采 样频率和数据位数有关。
12000Hz 20000Hz
第五章 多媒体音频技术
● 声道与音箱 ● 双声道立体声音箱
● 2.1 声道环绕立体声音箱
左声道
● 5.1 声道环绕立体声音箱
● 环绕立体声产品
(1) 声卡 (2) 音箱系统
左环绕
6 低音炮
1
2
3
低音炮
4 5
第五章 多媒体音频技术
中置 低音炮
右声道
右环绕 音频放大器
5.3 Audition音频处理软件
在这个接口之间传送的信息也叫MIDI信息。
第五章 多媒体音频技术
3.6.1 MIDI概述
2．MIDI术语 3．MIDI与普通音频的区别 MIDI与普通音频的本质区别是携带的信
息不同。MIDI本身并不是音乐，不能发 出声音。它是一个协议，只包含用于产 生特定声音的指令，而这些指令包括调 用何种MIDI设备的音色、声音的强弱及 持续的时间等。计算机把这些指令交由 声卡去合成相应的声音（如依指令发出 钢琴声或小提琴声等）。
3. 声道数
声音通道的个数称为声道数，是指一次采 样所记录产生的声音波形个数。声道有单 声道和立体声之分。
第五章 多媒体音频技术
5.2.2 数字音频压缩标准
1 音频压缩方法概述
音频压缩方法是指对原始数字音频信号 流（PCM编码）运用适当的数字信号处理 技术，在不损失有用信息量，或者所引 入损失可忽略的条件下，降低（压缩） 其码率，也称为压缩编码。逆变换的过 程，称为解压缩或解码。
第五章 多媒体音频技术
音强：是指声音的强度，又称声音的响 度，由量。
② 音质与声音还原设备有关。 ③ 音质与信号噪声比有关。
第五章 多媒体音频技术
5.1.2 音频素材的获取
1. 自行录制
Windows自带的录音机 （Sound Recorder）
2. 从素材库或网站中 获取
3. 从CD、VCD等媒体 中获取
目录
第五章 多媒体音频技术
5.2 声音的数字化
5.1.2 数字化过程
或其他芯片来产生音乐或声音的电子装 置。 利用合成器产生MIDI音乐的主要方法有
调频合成法 波形表合成法
目录
第五章 多媒体音频技术
5.4.5 MIDI音乐制作系统（overture）
目录
第五章 多媒体音频技术
5.5 语音识别技术及应用
5.5.1 语音识别的基本原理及过程
第五章 多媒体音频技术
第5章 多媒体音频技术
1. 音频概述 2. 声音的数字化 3. Audition音频处理软件 4. MIDI与音乐合成 5. 语音识别技术及应用
5.1 音频基础
5.1.1 声音的基本概念 声音在物理学上称之为声波，是通过一
定介质（如空气、水等）传播的连续的 振动的波。 声波引起某处媒质压强的变化量称为该 处的声压。 声音的强弱体现在声波的振幅上 音调的高低体现在声波的周期和频率上。
f(Hz)
第五章 多媒体音频技术
3．声音的传播方向
当辐射出来的声波波长比声源的尺寸大 时，声波比较均匀地向各方向传播；
当辐射出来的声波波长小于声源的尺寸 时，声波集中地向正前方一个尖锐的圆 锥体范围内传播。
第五章 多媒体音频技术
4．声音的三要素
声音效果的三要素：音调、音强、音色。 音调：指声音的高低。音调的高低，主
.ape
● OGG( Ogg Vorbis) 一种免费的开源音频格式
.ogg
比MP3先进，可以在相对较低的数据速率下实现比MP3更好的音质。
● 其他… … AIFF 、VOC
.aiff
第五章 多媒体音频技术
● 文件
● WAVE (Waveform Audio)波形音频文件 .wav
多媒体系统、音乐光盘制作，记录物理波形，数据量大
声音合成是制造气氛、丰富声音表现力 的重要手段。常见的合成效果很多，如 录音，自然交响曲（音乐与鸟鸣声、大 风呼啸声等的合成），人为的热烈气氛 等。
目录
第五章 多媒体音频技术
5.4 MIDI与音乐合成
MIDI是多媒体计算机系统生成音乐的一 种主要方式，它不仅是多媒体音频技术 的重要组成部分，而且也使演奏音乐和 使用乐器的方式产生很大的变化。
声音的模拟信号
采样
量化
声音的数字信号 编码
1. 采样频率
在某个特定的时刻对模拟信号进行测量叫 做采样。采样频率也称取样频率，是指在 单位时间（1s）内采样的次数。
第五章 多媒体音频技术
5.2 声音的数字化
2. 量化位数
量化是将经过采样得到的离散数据转换成 二进制数的过程。量化位数，即分辨率， 是指将经过采样得到的离散数据转换成二 进制数的位数,一般为32、16、8、4位。
（空气、液体、固体）产生振动，并以波的形 式进行传播。 声源的形式多样，例如，吉他、人的声带、农 村的拖拉机等。 声源振动，通过它周围的空气、水等传播介质 进行传播，形成“声波”。 人耳接收到声波，耳膜随之振动，再通过听觉 神经末梢的传递，就可以听见声音。
第五章 多媒体音频技术
2．声音的频率
声源每秒振动的次数称为该声源的“频 率”。
用音频来表示声音信号的频率，单位为 赫兹（Hz）。
频率对于声音来说是个非常重要的概念，不 同的声音有不同的频率范围，人耳只能听到 频率范围在20Hz～20kHz之间的声音，低于2 0Hz的次声和高于20kHz的超声都听不到。
次声波
可听声波
20Hz
5.3.1 经典软件概念
Goldwave、Cakewalk、Adobe Audition
5.3.2 声音的一般处理
① 使用声音文件 ② 录制声音 ③ 选区的操作 ④ 利用剪贴板复制、剪切和粘贴声音 ⑤ 恢复/重做操作 ⑥ 形成静音 ⑦ 倒转声音
第五章 多媒体音频技术
5.3 Audition音频处理软件
第五章 多媒体音频技术
5.4.1 MIDI概述
1．什么是MIDI
MIDI是乐器数字接口（Musical Instrument D igital Interface）的英文缩写，是数字音乐 /电子合成乐器的统一国际标准。
它是数字乐器与计算机连接的接口，即在数字 乐器与计算机相连接时所使用的可以直接插到 计算机串口上的一个小部件，通过它可以使数 字乐器与计算机相互“沟通”信息。
5.3.3 声音的高级处理
① 声道变换
⑥ 消除环境噪声
② 改变声音文件的固有 音量
③ 淡入/淡出效果
④ 回声原理及其制作
⑦ 声音混响
⑧ 调整时间和音调
⑨ 直接从视频文件中提取 声音
⑤ 延迟效果
5.3.4 CD处理
第五章 多媒体音频技术
5.3.5 声音合成综合实例
把两个或两个以上的声音素材组合在一 起，形成多个声音共鸣的效果，这就是 所谓的“声音合成”。
20kHz
第五章 多媒体音频技术
超声波
f(Hz)
人耳对不同频率的敏感程度有很大差别
对中频段（2 kHz～4 kHz）最为敏感，幅度 很低的信号都能被人耳听到；
对低频区和高频区较不敏感，能被人耳听到 的信号幅度比中频段要高得多。
10 20 50
CD-DA
FM广播 AM广播
电话
200
3.4k 7k 15k 20k
5.5 语音识别技术及应用
5.5.2 文本—语音转换技术 5.5.3 语音识别软件（ViaVoice）
目录
第五章 多媒体音频技术
必须经过解压缩，数据量小
第五章 多媒体音频技术
5.2.4 音频压缩工具
AVI-MPEG-WMV-RM to MP3 Converter
第五章 多媒体音频技术
1 声音适配器与声音还原
（1） 声音适配器 (声卡)
主板
主机箱
声音适配器 数字信号
音频信号
音箱
音箱
● 作用: 数字信号与模拟信号之间的双向转换 ● 单板 (输出功率大，抗干扰，音质好) ● 主板集成 (易受干扰，性能指标比单板略差) ● 采样模式 16bit ~ 24bit ● 音频输出模式：2 STEREO
● MIDI (Musical Instrument Digital Interface)乐器接口文件 .mid
用于合成、游戏，记录音符时值、频率、音色特征，数据量小
● CDA (CD Audio)激光音频文件 .cda
准确记录声波，数据量大，经过采样生成WAV和MP3音频文件
● MP3/WMA(MPEG音频压缩标准)压缩音频文件 .mp3/wma
输入音频信号 编码器
传输/存储
解码器 输出音频信号
第五章 多媒体音频技术
5.2.2 数字音频压缩标准
2.音频压缩技术标准
目录
第五章 多媒体音频技术
5.2.3 数字音频的格式
● RA(RealAudio) Real音频文件
.rm
主要适用于在网络上的在线音乐欣赏
●APE 无损音频压缩格式 现在网络上比较流行的音频文件格式
音色：即声音的品质，它由泛音的多少、 泛音的频率和振幅决定。例如，不同的 乐器在基本振动频率相同的情况下，仍 然可以区分各自的特色，就是因为它的 音色不同。
第五章 多媒体音频技术
5．音质
“音质”是声音的质量，音质的好坏与 音色的频率范围有关。
影响音质的因素
① 对于数字音频信号，音质的好坏与数据采 样频率和数据位数有关。
12000Hz 20000Hz
第五章 多媒体音频技术
● 声道与音箱 ● 双声道立体声音箱
● 2.1 声道环绕立体声音箱
左声道
● 5.1 声道环绕立体声音箱
● 环绕立体声产品
(1) 声卡 (2) 音箱系统
左环绕
6 低音炮
1
2
3
低音炮
4 5
第五章 多媒体音频技术
中置 低音炮
右声道
右环绕 音频放大器
5.3 Audition音频处理软件
在这个接口之间传送的信息也叫MIDI信息。
第五章 多媒体音频技术
3.6.1 MIDI概述
2．MIDI术语 3．MIDI与普通音频的区别 MIDI与普通音频的本质区别是携带的信
息不同。MIDI本身并不是音乐，不能发 出声音。它是一个协议，只包含用于产 生特定声音的指令，而这些指令包括调 用何种MIDI设备的音色、声音的强弱及 持续的时间等。计算机把这些指令交由 声卡去合成相应的声音（如依指令发出 钢琴声或小提琴声等）。
3. 声道数
声音通道的个数称为声道数，是指一次采 样所记录产生的声音波形个数。声道有单 声道和立体声之分。
第五章 多媒体音频技术
5.2.2 数字音频压缩标准
1 音频压缩方法概述
音频压缩方法是指对原始数字音频信号 流（PCM编码）运用适当的数字信号处理 技术，在不损失有用信息量，或者所引 入损失可忽略的条件下，降低（压缩） 其码率，也称为压缩编码。逆变换的过 程，称为解压缩或解码。