专业音视频基础知识培训共23页文档
音视频专业知识
TRS
TRS插头，俗称“大三芯”，音频设备连接插头，用于平衡信号的 传输（此时功能与卡农插头一样）。 或者用于不平衡的立体声信号的传 输，比如耳机
实物图
TRS的含义是Tip（signal）、Ring（signal）、Sleeve（ground）。 分别代表了该接口的3个接触点。
优点——耐磨损外，还具有 平衡口拥有的高信噪比，抗干扰 能力强等特点。对于一个真正的 1/4 TRS平衡接口来说，其成本将 是非平衡的2倍多。因此采用1/4 TRS平衡接口的设备一般是高档设 备，只有在2000元以上的专业卡 上才可以看到。
VGA
VGA（Video Graphics Array） 还有一个名称叫D-Sub。VGA接口 共有15针，分成3排，每排5个孔，是 显卡上应用最为广泛的接口类型，绝 大多数显卡都带有此种接口。它传输 红、绿、蓝模拟信号以及同步信号 （水平和垂直信号）。使用VGA连 接设备，使用本公司生产的VGA线 （128铜编3+6VGA线），线缆长度 可达200米，不失真不重影。
回声
当声投射到距离声源有一段距离的大面积上时，声能的一部分 被吸收，而另一部分声能要反射回来，如果听者听到由声源直接发 来的声和由反射回来的声的时间间隔超过十分之一秒，它就能分辨 出两个声音这种反射回来的声叫“回声”。
产生条件： 扩声两音箱声程>17M 两平行墙面或或多边形墙面、吸声系数小、声反射强
自由声场：声源在均匀、各向同性的媒质中, 边界的影响可以不 计的声场称为自由声场。在自由声场中，声波按声源的辐射特性向 各个方向不受阻碍和干扰地传播。
混响声：声源在封闭空间中连续稳定地辐射声波时，空间各点 的声能是来自各方向的声波叠加的结果。其中未经反射、直接传播 到某点的声波称为直达声；一次和多次反射声的叠加称为混响声。
第章音视频编辑基础知识PPT课件
第1章 音视频编辑基础
1.1音视频编辑概述
5．常用的文件格式 （1）常用的图像文件 JPEG格式
BMP格式
PSD格式 GIF格式
TGA格式
TIFF格式
第1章 音视频编辑基础
1.1音视频编辑概述
5．常用的文件格式 （2）常用的音频文件 WAV格式 MP3格式
MIDI格式
第1章 音视频编辑基础
1.1音视频编辑概述
1．数字音频概述 几个关于数字音频的基本知识： （4）量化级 简单地说就是描述声音波形的数据是多少位的二进制数据，通 常用bit做单位，如16bit、24bit。16bit量化级记录声音的数据是 用16位的二进制数，因此，量化级也是数字声音质量的重要指标。 形容数字声音的质量，通常就描述为24bit（量化级）、48KHz采样， 比如标准CD音乐的质量就是16bit、44.1KHz采样。
它对同时传送的两个色差信号中的一个色差信号采用逐行倒相，另一个色
差信号进行正交调制方式。这样，如果在信号传输过程中发生相位失真， 则会由于相邻两行信号的相位相反起到互相补偿作用，从而有效地克服了
因相位失真而起的色彩变化。因此，PAL制对相位失真不敏感，图像彩色
误差较小，与黑白电视的兼容也好，但PAL制的编码器和解码器都比NTSC 制的复杂，信号处理也较麻烦，接收机的造价也高。采用PAL制的国家较
一帧，从一段视频的起始帧到终止帧，其间的每一帧都有唯一的 时间码地址。根据电影与电视工程师协会（SMPTE）使用的时间码
标准，其格式是：“时：分：秒：帧（Hours：Minutes：Seconds：
Frames）”，用来描述剪辑持续的时间。若时基设定为每秒30帧， 则持续时间为00：02：50：15的剪辑表示它将播放2分50.5秒。
第5章 音视频学基础
第5章音视频学基础ISSUE 1.0日期：引入视讯会议系统是一门综合的学问，要正确的使用好视讯会议系统，需要具备音视频学基础理论知识课程目标学习完本课程，您应该能够：⏹掌握听觉和视觉的特点⏹理解声音和色彩的三要素⏹掌握视觉暂留原理和三基色原理⏹理解影响听觉和视觉效果的因素⏹熟悉音视频质量的评判标准目录⏹声音和听觉基础⏹色彩和视觉基础⏹音视频质量的评判标准什么是声音？●物体的振动产生声音●声音传播需要介质●声音在空气中传播形成一种连续的波叫声波●正在发声的物体叫做声源●声音信号在时间和幅度上都是连续的模拟信号●频率→每秒钟振动的次数，决定了声音音调的高低，单位为Hz●振幅→物体振动的幅度，决定了声音能量的大小，即音量的大小，单位为dB●声音的三要素→响度、音调、音色●人类语音的频率范围为300Hz～3400Hz●声音被感知器官（人耳）感知形成听觉●人耳可感知的声音频率范围为20Hz～20000Hz●人耳对1000Hz～3000Hz的声音最敏感●利用人耳的掩蔽效应，音频编码器可以提高压缩比影响语音质量的因素●延迟●回声●噪声●抖动目录⏹声音和听觉基础⏹色彩和视觉基础⏹音视频质量的评判标准视觉的特点●物体的反射或透射光进入人眼，刺激视神经，引起视觉反应，经过大脑整合产生视觉影像，形成最终图像●人类视觉系统的特性→人眼对色度信号的敏感程度比亮度信号低→人眼对图像细节的分辨能力有限视觉暂留现象●视错觉的一种表现●人眼对于物体形状和颜色的感知不会随着物体移开而立即消失●物像在人眼会有一个短暂的停留，时间约为0.1秒●正因为有了这种视觉暂留现象，人们才能欣赏到电影、电视的连续画面色彩的三要素●色调→色彩的颜色类别●亮度→色彩作用于人眼引起的明暗程度的感觉●色饱和度→颜色的深浅程度即颜色的浓度三基色原理●自然界中出现的各种色彩，可以用三种单色光以不同比例混合而得到●具有这种特性的三种颜色叫三基色●三基色中任一颜色均不能由其他两种颜色混合产生，同时这三种颜色可以混合成其他的所有颜色●根据人眼的视觉特征，电视系统通常选择人眼最敏感的红、绿、蓝作为三基色影响视觉效果的因素●图像跳跃●块效应●模糊度●噪声图像显示的相关概念●隔行扫描与逐行扫描●显示分辨率●CIF、QCIF、4CIF和SQCIF目录⏹声音和听觉基础⏹色彩和视觉基础⏹音视频质量的评判标准●MOS（Mean Opinion Score，平均意见分）→遵循ITU-T P.800→依据许多收听者的感受给出主观的度量数据MOS 收听质量收听状态5Excellent 最佳Complete relaxation 放松地听4Good 好（4.5～4.0 =可收费电信级）Attention necessary 注意地听3Fair 中级（4.0～3.5 =可通话通信级）Moderate effort required 努力地听2Poor 较差（3.5～2.5 =可建立连接级）Considerable effort required 费劲地听1Bad 差No meaning understood 听不明白●PSQM（Perceptual Speech Quality Measure ）→1996年提出→遵循ITU-T P.861→感知音质测量法●PESQ（Perceptual Evaluation of Speech Quality）→2001年提出→遵循ITU-T P.862→感知音质评估法●将待评价的图像序列播放给评论者观看，并记录他们的打分●对所有评论者的打分进行统计，得出平均分作为评价结果●遵循ITU-RBT.500-7→DSCQS：( Double Stimulus ContinuousQuality Scale，双刺激连续质量分级法)→SSCQE：( Single Stimulus Continuous QualityEvaluation，单刺激连续质量评价方法)●ITU-RVQEG （ITU-R Video Quality Experts Group ，ITU-R视频质量专家组）→专门研究和规范图像质量客观测量的方法和标准●基于仿人眼视觉模型，对图像质量进行客观评估，并给出客观评价分●求出重建图像与原始图像的差别→将这些差别统一认为是噪波，并以峰值信噪比（Peak Signal to Noise Ratio，PSNR）的分贝数作为指标客观地表征数字图像质量本章总结⏹描述声音特性的三要素⏹视觉暂留的基本原理⏹描述物体色彩的三要素⏹评价音视频质量的标准杭州华三通信技术有限公司。
音视频基础
波长公式
答案是1.128英尺： 波长（1000Hz）=1128ft/sec÷1000Hz=1.128英尺
12
音频
• • 单击此处编辑母版文本样式 “音频”这一词用于更准确地定义机械和电子术语的声音。在A/V中，
• 为实现这一点，第一步是将空气中声波运动转换成电信号，需要用换 • 第三级 能器来完成，换能器将一种形式的能量转换成另一种类型。在音频系 – 第四级 统实例中，麦克风履行着将声音转化为电能的功能。 » 第五级 • 一旦引入电子领域，声音就可放大、混合、均衡、数字化、录制、传 输和转换回声能。 音频用于描述声音的电子传输。 – 第二级
– 0dB是人类听力的最低极限 – 130dB是人类听力的最高极限，是 人耳能承受的最大值 – +4 dBu是专业音频设备信号电平 – -10 dBv是消费类音频设备信号电 平，注意：许多打算用于专业应用 的产品，如果采用RCA接头，则也 会用这个电平。
19
音频信号电平
• 单击此处编辑母版文本样式
• 麦克风电平是指标准麦克风信号输出，麦克风电平的电压非常低，为 – 第二级 775毫伏(-60dBu) • 第三级 • 因为信号电平十分低，在输入其它音频处理设备进行音频传输前，需 – 第四级 要用前置放大器将信号提高到线路电平，前置放大器在视听系统中可 » 第五级 以是一个内置电路或外部组件。
21
13
• 单击此处编辑母版文本样式
• – 第二级 早期，我们用分贝描述人类听觉的有效范围，从0到130dB。分贝是 用于描述两个功率、压力电平、电压、电流等比值的单位。所以它可 • 第三级 广泛应用于声学、电子声学和声音功率情况。 – 第四级 » 第五级 • 分贝是描述电子领域信号总量和声学领域声音响度的重要方式。 • 一分贝是指两个功率电平比值的对数的十倍，表达如下：
音视频技术基础知识
音视频技术基础知识技术大讲堂（4）第一部分：基本概念讲解媒体：是表示，传输，存储信息的载体，常人们见到的文字、声音、图像、图形等都是表示信息的媒体。
多媒体：是声音、动画、文字、图像和录像等各种媒体的组合，以图文并茂，生动活泼的动态形式表现出来，给人以很强的视觉冲击力，留下深刻印象多媒体技术：是将文字、声音、图形、静态图像、动态图像与计算集成在一起的技术。
它要解决的问题是计算机进一步帮助人类按最自然的和最习惯的方式接受和处理信息。
流媒体：流媒体是指采用流式传输的方式在Internet播放的连续时基媒体格式，实际指的是一种新的媒体传送方式，而不是一种新的媒体格式（在网络上传输音/视频等多媒体信息现在主要有下载和流式传输两种方式）流式传输分两种方法：实时流式传输方式(Realtime streaming)和顺序流式传输方式(progressive streaming)。
多媒体文件：是既包括视频又包括音频，甚至还带有脚本的一个集合，也可以叫容器；媒体编码：是文件当中的视频和音频所采用的压缩算法。
也就是说一个avi的文件，当中的视频编码有可能是A，也可能是B，而其音频编码有可能是1，也有可能是2。
转码：指将一段多媒体包括音频、视频或者其他的内容从一种编码格式转换成为另外一种编码格式视频：连续的图象变化每秒超过24帧（Frame）画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面，看上去是平滑连续的视觉效果，这样连续的画面叫做视频音频：人类能听到的声音都成为音频，但是一般我们所说到的音频时存储在计算机里的声音第二部分：视频文件格式基本视频概念讲解：码率：码率就是数据传输时单位时间传送的数据位数,一般我们用的单位是kbps 即千位每秒。
通俗一点的理解就是取样率，单位时间内取样率越大，精度就越高，处理出来的文件就越接近原始文件，但是文件体积与取样率是成正比的，所以几乎所有的编码格式重视的都是如何用最低的码率达到最少的失真。
音视频通信基础知识
音视频通信基础知识目录1. 内容概要 (3)1.1 音视频通信的定义与重要性 (4)1.2 历史发展概述 (5)1.3 本文内容和架构概览 (7)2. 音视频通信基础 (7)2.1 声音与音乐基本原理 (9)2.1.1 声音波形与频率 (10)2.1.2 编码与解码 (11)2.1.3 常见音频格式 (12)2.2 视频基本原理 (13)2.2.1 视频信号与帧率 (14)2.2.2 分辨率与压缩 (16)2.2.3 视频编解码标准 (16)2.3 音视频数据处理 (18)2.3.1 数据包结构和传输协议 (19)2.3.2 编解码与码流控制 (20)2.3.3 错误检测与恢复 (22)3. 音视频通信网络 (23)3.1 网络基础与架构概述 (24)3.2 常见网络协议与音视频传输 (26)3.2.1 TCP/IP 协议栈与音视频通信 (28)3.2.2 RTSP, RTP, RTCP 等协议 (29)3.3 音视频通信中的网络质量管理 (31)3.3.1 网络带宽与速度 (33)3.3.2 延迟与抖动 (34)3.3.3 拥塞控制与带宽自适应 (36)4. 音视频通信应用 (37)4.1 实时音视频会议 (38)4.1.1 系统架构与组件 (40)4.1.2 音频和视频流的处理与同步 (41)4.1.3 安全性与隐私保护 (42)4.2 远程教育和远程医疗 (44)4.2.1 音视频通信的需求与挑战 (45)4.2.2 实例分析与应用案例 (47)4.3 音视频流媒体应用 (49)4.3.1 流媒体服务体系结构 (50)4.3.2 流式传输与自适应流媒体 (51)4.3.3 用户体验与流媒体质量 (52)5. 未来发展与挑战 (53)5.1 下一代音视频通信技术 (55)5.1.1 新型编解码技术的突破 (56)5.1.2 AI 与机器学习在音视频中的应用 (57)5.1.3 全息、虚拟现实和增强现实 (59)5.2 音视频通信网络的演进 (60)5.2.1 从有线到无线网络的扩展 (61)5.2.2 5G 和 WiFi 6+ 的影响 (63)5.3 标准化与合作 (64)5.3.1 国际标准组织的角色与贡献 (65)5.3.2 性能评估与测试方法 (67)1. 内容概要音视频通信作为现代通信的主要手段，其发展历史悠久，应用广泛。
视频基础知识培训XXXX-03-17-11-21-02
11
彩色电视制式
顺序传送彩色与存储SECAM的主要特征是： (1) 625行(扫描线)/帧，25帧/秒(40 ms/帧) (2) 每场中有25行作为场回扫，所以每帧中只有
息，因此只有485条线的可视数据。 (5) 每行63.5微秒，水平回扫时间10微秒(包含5微
秒的水平同步脉冲)，所以显示时间是53.5微秒 (6) 颜色模型：YIQ (7)美国、加拿大等大部分西半球国家，及日本、
韩国、菲律宾和中国的台湾采用这种制式。
10
彩色电视制式
倒相正交平衡调幅制PAL制式电视信号的特性： (1) 625行(扫描线)/帧，25帧/秒(40 ms/帧) (2) 每场中有25行作为场回扫，所以每帧中只有
• YCbCr颜色空间是由YUV颜色空间派生的一种 颜色空间，主要用于数字电视系统中。从RGB 到YCbCr的转换中，输入、输出都是8位二进 制格式。
6
YUV、YIQ与YCrCb颜色空间
7
电视扫描
逐行扫描 (non-interlaced scanning)
隔行扫描 (interlaced scanning)
• 分量电视信号：是指每个基色分量作为独立的 电视信号，使用分量电视信号是表示颜色的最 好方法，但需要比较宽的带宽和同步信号。
13
复合C信号与S－Video信号
一般的广播电视的亮度信号带宽为6MHz，
而国内的PAL制式彩色信号带宽为1.5MHz。复
合视频输出是将4.43MHz的色度副载波信号调
制视频亮度信号中，在显示输出时进行色度解
视频会议音视频基础培训讲课文档
◦
RGB分量视频可以产生从摄像机到显示终端的高质量图像，但传输这样的信号至少需要三个独立通道分别处理，使信号具有相同
的增益、直流偏置、时间延迟和频率响应，分量视频的传输特性如下：
- 传输介质：3-5根带屏蔽的同轴电缆
- 传输阻抗：75 Ω - 常用接头：3-5×BNC接头
- 接线标准：红色=红基色(R)信号线，绿色=绿基色(G)信号线，蓝色=蓝基色(B)信号线，黑色=行同步(H)信号线，黄色=场
，避免了因繁琐的传输过程所带来的图像失真，所以色差输出的接口方式是目前各种视频输出接口中最好的一种 。
◦ 在YUV中，“Y”代表明亮度（Luminance或Luma），也就是灰阶值；而“U”和“V”表示的则是色度（ Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。“亮度”是通过RGB 输入信号来创建的，方法是将RGB信号的特定部分叠加到一起。“色度”则定义了颜色的两个方面— —色调与饱和度，分别用Cr和Cb来表示。其中，Cr反映了RGB输入信号红色部分与RGB信号亮度值 之间的差异，而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的差异，此即所谓的色 差信号，
◦
- 传输介质：单根带屏蔽的同轴电缆
◦
- 传输阻抗：75Ω- 常用接头：BNC接头、莲花(RCA)接头
◦
- 接线标准：插针=同轴信号线，外壳公共地＝屏蔽网线
17
第十七页，共191页。
17
模拟复合视频
复合
意思是 “不同部分的组合”
+
+
=
所有视频信号中最基本的要素
Luminance (亮度) 也称做“ Y”
14
第十四页，共191页。