8.多媒体输入输出设备

多媒体输入输出设备
语音合成
语音基元数据库的构建
– 基元的选择
• 选择音节 • 选择双音素和三音素
– 语音数据的存储形式
• 波形存储方式存储 –数字化的语音波形数据
• 参数存储方式存储 –从语音信号中提取的参数，常用的有LPC参数、 LSP（LSF）、共振峰参数等
多媒体输入输出设备
语音合成
韵律模拟
《多媒体技术基础与应用》
多媒体输入输出设备
昆明理工大学计算中心
昆明理工大学
本讲主要内容
音频接口 音频输入输出设备 视频接口 视频输入输出设备 触摸屏 其它输入输出设备
多媒体输入输出设备
《多媒体技术基础与应用》
音频接口
昆明理工大学
音频卡的基本功能
（1）录制、编辑和回放数字声音文件； （2）在录制和回放声音文件时进行压缩和 解压缩，以节省存储空间； （3）采用语音合成技术，使计算机能够朗 读书面文字； （4）有乐器数字接口(MIDI)，使得计算机 可以控制多台带MIDI接口的电子乐器； （5）初步的语音识别。
多媒体输入输出设备
语音合成
合成方法
– 发音器官参数语音合成
• 对人的发音过程进行直接模拟
– 声道模型参数语音合成
• 基于声道截面积函数或声道谐振特性合成语音
– 波形编辑语音合成技术
• 波形编辑语音合成技术是直接把语音波形数据库中的波 形相互拼接在一起，输出连续语流。
• PSOLA（Pitch Synchronous Overlap Add）方法
多媒体输入输出设备
音频合成和MIDI接口规范
MIDI
– MIDI（Musical Instrument Digital Interface）是指 乐器数字接口，是数字音乐的国际标准。
– MIDI的音乐符号化过程实际上就是产生MIDI 协议信息的过程。
– 音乐合成器是电脑音乐系统中最重要的设备之 一。
多媒体输入输出设备
音频合成和MIDI接口规范
MIDI接口
电子琴
MIDI OUT MIDI IN
声音卡
MIDI 电缆
多媒体输入输出设备
语音合成
概述
– 实现计算机语音输出有两种方法：
• 录音/重放 • 文–语转换
– 计算机话语输出按其实现的功能来分，可以分 为以下两个档次：
• 有限词汇的计算机语音输出 • 基于语音合成技术的文字-语音转换（TTS）
多媒体输入输出设备
音频合成和MIDI接口规范
MIDI接口
– MIDI In（输入口）
• 接收从其他MIDI装置传来的消息。
– MIDI Out（输出口）
• 发送某装置生成的原始MIDI消息。向其他设备发送 MIDI消息。
– MIDI Thru（转发口）
• 传送从输人口接收的消息到其他MIDI装置。向其他 设备发送MIDI消息。
使用CODEC类芯片的声卡（ADSP-16），所 有功能由硬件完成，需要CPU控制的地方完 全由主机完成，与带CPU的声卡相比成本较 低，也代表了声卡的一种类型。
多媒体输入输出设备
常见声卡
声卡中比较有影响的产品是新加坡Creative Labs公司的声霸 卡（Sound Blaster）。
MIDI声音装置
操纵杆
音频卡的工作原理
音频卡的体系结构
– 音频卡由下列部件组成：
• MIDI输入/输出电路； • MIDI合成器芯片； • 用来把CD音频输入与线输入相混合电路； • 带有脉冲编码调制电路的模数转换器，用于把模拟
信号转换为数字信号以生成波形文件； • 用来压缩和解压音频文件的压缩芯片； • 用来合成语音输出的语音合成器； • 用来识别语音输入的语音识别电路； • 输出立体声的音频输出或线输出的输出电路等。
多媒体输入输出设备
音频卡的基本结构体系
ISA/PCI 总线
音效芯片 芯片组
波表 音色库
音频 CODEC
芯片
功率放大 芯片
S/P DIF 数字信号 输入输出
模拟信号 输入输出
输入
功率信号 输出 输入
多媒体输入输出设备
音频卡的外部接口
➢ Line-in：音频输入端口
➢ Microphone(MIC) ： 用 来 与 话 筒连接
波形和MIDI文件的 输入是来自通过 ISA总线的磁盘
LINE OUT 线输入
多媒体输P入C的I输SA总出线 设备
音频卡的工作原理
数字化声音处理
采样、保持 A/D S/H
抗混滤波器
音频程控放大器 PGA 4
声音输入 信号源：麦克风
DSP （ASIC）
DMA 接口
D/A
重建滤波器
PGA
4
声音输出
多媒体输入输出设备
《多媒体技术基础与应用》
视频接口
昆明理工大学
显示系统及数字像机
显示系统负责计算机的所有显示输出，它主要由 显示器和显示适配器组成。
显示器的英文名称是Monitor ， “监视器” ， 其作用是将主机发出的信号经过一系列处理后转 换成光信号，最后在屏幕上显示出各种文字、图 形、图像等信息。
多媒体输入输出设备
MIDI IN 输入
CD
L
AUDIO
R
LINE IN L
MICROPHONE R
CD驱动器
MIDI接口 MIDI合成器 语音合成器
D/A转换
多通道音频合成器
A/D转换 CD-ROM接口 压缩/解压缩
PC的ISA总线
MIDI OUT 输出 MIDI THRU
输入波形和 MIDI文件
• l990年IBM公司宣布了XGA高性能的视频子系统
多媒体输入输出设备
VGA显示
PC机通过显示器来输出图形和图像。其原理和电视基本相同，但 也存在一些差异。电视机的每帧图像行数为625行，每秒25帧。 而显示器为每帧480行，每秒60帧，有的甚至能达到每帧1024行。 显示器要通过显示卡才能工作。
多媒体输入输出设备
音箱
高档声卡需搭配有源防磁高保真音箱。 大部分声卡配备的放大器仅提供每声道4W或更小的
功率，严重影响了音质。购买自身含放大器的扬声 器，然后将其直接插入声卡上的立体声低级馈出插 口。通常，每声道10W的内置放大器已足以胜任。 多媒体计算机的音箱在相互间隔几十厘米并且距离 用户几十厘米的情况下应能提供最佳品质的立体声 音效，一般在一个桌面上摆放两个音箱。此外还有 一种三件式产品，在桌面上有两个立体声卫星音箱 和一个可藏于桌下的小亚低音音箱。卫星音箱再现 中高音调（150～20kHz），亚低音音箱处理更深沉 的低音音调（低于150Hz）。
声霸卡按推出的时间先后有以下系列产品：SB V1.0，SB V1.5，SB PRO V1.0，SB PRO V2.0，SB l6 ASP，SB l6以 及改进型SB DELUXE，SB PRO DELUXE，新产品SB 16 value PnP，SB 32 PnP，SB AWE32PnP。
所有声霸卡上都有数字信号处理（DSP）电路，实现音频信号 的采样和回放，它还能产生可被MIDI接口理解的信号。音频 合成器也是基本器件，用来合成乐器音或语音，声霸卡采用 Yamaha公司的OPL-2或OPL-3FM合成电路。SB卡上还有两个 CMOS芯片插座，用户可插入CMOS301电路，以便与早期的Game Blaster兼容。
电源
CD-ROM IDE接口 跳接线 音频输出
音
外部音频设备
频
卡
7、CD-ROM音频信号接口
的
6、CD-ROM的接口
连
8、跳接器
1、Line in（线性输入） 麦克风
接
2、Microphone（麦克风输入）
方
5、Volume Control（音量调节旋钮）
式
3、Speaker（扬声器输出）
音箱
4、MIDI/Game Port （MIDI/操纵杆端口）
显示系统技术
– VGA混合 – 可伸缩的VGA混合 – 双缓冲VGA混合/伸缩
多媒体输入输出设备
视频图像显示
视频显示技术标准
– 第一代标准：MDA和CGA – 第二代标准：EGA – 第三代标准：VGA
• 采用256K种颜色的调色板及用模拟量输出，使显示 的颜色更加逼真
– 第四代标准：XGA
– 自然语言中的韵律特征
• 语调、节奏和重音等能表达说话者的语义和感情， 是自然语流的重要组成部分
– 韵律合成及法
• 超音段特征（音高、音长、音强及频率分布的变化） 的修改构成了韵律合成的基础
• 方法：修改基频模式、共振峰模式、PSOLA算法等
– 韵律模拟的问题
• 需解决韵律规则、韵律描述、计算模型和修改算法
目前市场上的显示器主要有两类：一类是CRT显示 器；另一类是LCD显示器，LCD具有许多优点，它 占空间小、低功耗、低辐射、无闪烁，可以降低 视觉疲劳，但是，价格偏高一些，因此目前使用 比较广泛的还是CRT显示器。 多媒体输入输出设备
视频图像显示
概述
– 为了显示原始图像（这里使用的“图像”是泛 指，包括全运动视频）的可接受的复制图，需 要使用各种显示系统技术来解码信号和压缩数 据。
多媒体输入输出设备
音频数据的采集与处理
音频数据的采集就是将声音通过声卡设备， 利用声音采集软件将其以数字信息的形式 保存在计算机中。音频数据的处理就是将 我们采集到的音频信号利用音频处理软件 对其进行降噪、剪接以及各种效果处理等。
常用的声音采集（录音）与处理软件有 Windows附件中的录音机、Gold Wave、 Sound Forge和Cool Edit Pro等。