视频信息处理与传输课题研究报告

课程研究报告

课程：视频信息处理与传输

班级：电子110x班

姓名： xxx

学号： xxxxxxxx

指导老师：詹曦

2014年12月21日

课程学习目的：

视频信息处理是数字媒体技术与传输系列课程中的一门专业必选课，学习的目的是让我们系统地理解和掌握视频信息的采集、压缩编码、运动估计、滤波、数字水印的嵌入与抽取、视频信息检索、视频信息传输等数字视频技术、并灵活应用。注重理论与实践结合、培养学生在视频信息处理与传输应用领域从事研究、教学、产品设计及管理工作的初步能力。以视频信息应用系统为主线，系统地介绍视频信息采集、处理、检索、传输等方面的基本理论和相关技术及标准。

学习的内容目录

第一章视频信息处理与传输概述

1.1 信息传输发展历程

1.2信息安全与信息垃圾

1.3视频信息应用系统

第二章视频信息采集技术

2.1 视频信息基础

2.1.1 时变图像构成模型

2.1.2 模拟视频

2.1.3 数字视频

2.1.4 数字视频格式

2.2 视频信息采样理论

2.2.1 图像的视觉基础

2.2.2 视频的采样结构

2.2.3 采样图像的量化

2.3 CCD图像传感器与视频采集卡

第三章视频信息压缩编码及标准

3.1 视频信息压缩的必要性与可行性

3.2 视频信息压缩的分类

3.3 视频信息压缩的评价指标

3.4 典型的视频信息压缩编码方法

3.5 视频信息压缩编码标准

第四章视频信息传输网络及协议

4.1 视频信息传输网络

4.1.1 协议体系结构

4.1.2 数据通信理论

4.1.2 传输介质

4.1.3 网络通信系统

4.2 视频信息传输协议

4.2.1 以太网协议

4.2.2 IP协议：IPv4、IPv6

4.2.3 TCP、UDP协议

4.2.4 RTP、RTCP协议

第一章视频信息处理与传输概述

随着科学技术的日新月异，视频信息处理与传输的技术也成了人们关注的一个热点。从采集到应用系统，每步都在提升，此文着重讲了里面几部分比较热门的研究点。视频压缩是为了节约空间和方便传输，依据不同的视频用不同的编码压缩；而压缩之后人们会关注视频还原的质量如何，于是就有了视频质量的评价；信息安全与信息垃圾就如人们的生活中的隐私与生活垃圾一样重要，如何维护信息的安全和如何处理信息垃圾已成为一个热点。

视频信息处理与传输的研究领域有：

1、采集

2、压缩编码

3、视频信息处理技术

4、视频质量评价

5、视频信息检索

6、视频信息传输

7、视频传输协议

8、视频传输质量评价

9、应用系统

研究热点：

1、视频压缩

2、信息安全与信息垃圾

3、视频转码

4.视频信息检索

视频压缩编码：

视频压缩的目标是尽可能保证视觉效果的前提下检索视频数据率。视频压缩比一般指压缩后的数据量与压缩前的数据量之比。由于视频是连续的静态图像，因此其压缩编码算法与静态图像的压缩编码算法有些共同之处，但是运动的视频还有其自身的特性，因此在压缩时还应考虑其运动特性才能达到高压缩的目的。在视频压缩中常用到以下一些基本概念：

一、有损和无损压缩：在视频压缩中有损（Lossy ）和无损（Lossless）的概念与静态图像中基本类似。无损压缩也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用RLE行程编码算法。有损压缩意味着解压缩后的数据与压缩前的数据不一致。在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音频信息，而且丢失的信息不可恢复。几乎所有高压缩的算法都采用有损压缩，这样才能达到低数据率的目标。丢失的数据率与压缩比有关，压缩比越大，丢失的数据越多，解压缩后的效果一般越差。此外，某些有损压缩算法采用多次重复压缩的方式，这样还会引起额外的数据丢失。

二、帧内和帧间压缩：帧内压缩也称为空间压缩。当压缩一帧图形时，仅考虑本帧的数据而不考虑其相邻帧之间的冗余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩，由于帧内压缩时各个帧之间没有相互关系，所以压缩后的视频信息数据仍可以以帧为单位进行编码。帧内压缩一般达不到很高的压缩。

视频质量评价：

视频质量评价分为两个方面：主观和客观评价。

主观评价：视频质量主观评价凭感知者主观感受评价视频对象的质量，包括视觉信息的录入系统，即人眼成像系统；视频信息处理系统，即人脑对视觉信息的加工。成像系统与信息处理系统两部分互相结合，对视频评价的结果产生显著的影响，目前尚没有合适的数学模型对其进行精确的刻画。

客观评价：目前，视频客观质量评价一般是通过模拟HVS的生理特征建立视觉感知模型，并将模型的输出值作为质量的评价或失真的度量，研究集中在如何提高模型输出与主观评价结果的相关性。目前已有多种基于HVS生理特征的质量客观评价方法：感知模拟器模拟人眼时域的平滑效应和掩蔽效应，分析了人眼的不对称评价方式，即相对图像质量从差到好的变化；快效应检测联合掩蔽效应模型进行质量评价能给出质量客观评价，它也可以用于衡量视频块效应的严重程度。

信息安全与信息垃圾：

信息安全是指信息网络硬件、软件及其系统中的数据受到保护，不受偶然或者恶意的原因而遭到破坏、更改、泄露。系统连续可靠正常地运行，信息服务不中断。信息安全主要包括以下五方面：保证信息的保密性、真实性、完整性、未受权拷贝和所寄生系统的安全性。信息安全的根本目的就是使内部信息不受外部威胁，因此信息通常要加密。为保障信息安全，要求有信息源认证、访问控制，不能有非法软件驻留，不能有非法操作。

信息垃圾就是那些混在大量有用信息中的无用信息、有害信息，以及对人类社会的各个方面带来危害的信息。它对信息安全应用和转播构成了威胁。比如计算机病毒；通过网络传播的黄色淫秽、背离社会道德、国家法律的信息。

视频信息检索

视频检索把图像检索、模式识别、图像数据库技术等技术成果结合了起来,有着广阔的发展前景,并将在许多领域中道得到应用。

视频检索就是要从大量的视频数据中找到所需的视频片断。根据给出例子或是特征描述,系统就能够自动的找到所需的视频片断点,即实现基于内容的视

频检索。

根据提交视频内容的不同,视频检索一般分为镜头检索和片段检索。一般来说,

片段的概念等价于场景的概念,也是由一连串语义相关的连续镜头构成,不同的是,片段可以是一段完整场景的部分或者全部。目前视频检索的多数研究还集中在镜头检索上。而片段检索方面的研究则刚刚开始。实际上,从用户的角度分析,他们对视频数据库的查询通常会是一个视频片段而很少会是单个的物理镜头。从信息量的角度分析,由几个镜头组成的视频片段有比单个镜头更多的语义,它可

以表示用户感兴趣的事件,因此,查询的结果也比较有意义。例如在新闻中检索感兴趣的事件、电影中检索喜欢的情节、体育节目中检索喜爱的体育运动、电视台检索某条广告是否播出等。

第二章视频信息采集技术

2.1视频信息基础：

静态图像+时间->视频信息

优点:

储存便利

便于编辑

便于提供新业务

图像质量好(数字视频)

2.1.1 时变图像构成模型

时变图像：

图像由三维空间投影到二维平面形成，并随着时间的变化，其场景中的实体也将发生变化的过程形成的。

数学表达式:

2.1.2 模拟视频

模拟视频:

视频的记录、存储和传输以模拟的形式进行。

全电视信号考虑要索：

清晰度、闪烁性、彩色黑白兼容性、占用带宽等权衡。

电视扫描:

将二维图像变成一维的像素串，或者将一维像素串变换为原图像的过程，称为扫描。

行扫描和场扫描。

逐行扫描和隔行扫描。

2.1.3 数字视频

电视图像数字化方法：

数字视频结构

它由多幅连续的图像序列构成。具有时间和空间二维结构。

典型格式：

音频：

WAV,MP3,WMA,AAC,M4A,OGG,APE,AC3,RMA

视频：

AVI,VCD,SVCD,DVD,MPG,WMV,ASF,RM,RMVB,FLV,

F4V,MOV,QT,MP4,MPEG4,3GP,3G2,MKV,TS,TP,

MTS, M2TS,MOD,TOD,SDP,YUV

图像：

JPG、PNG、ICO、BMP、GIF、TIF、PCX、TGA

2.1.4 数字视频格式

数字视频结构

它由多幅连续的图像序列构成。具有时间和空间二维结构。典型格式：音频：

WAV,MP3,WMA,AAC,M4A,OGG,APE,AC3,RMA视频：

AVI,VCD,SVCD,DVD,MPG,WMV,ASF,RM,RMVB,FLV,

F4V,MOV,QT,MP4,MPEG4,3GP,3G2,MKV,TS,TP,MTS,M2TS,MOD,TOD,SDP,YUV图像：JPG、PNG、ICO、BMP、GIF、TIF、PCX、TGA2.1.4数字视频格式AVI视频格式ASF视频格式RM视频格式

2.2 视频信息采样理论

连续图像需要用空间和时间两种变量对其采样。形成时空图像视频信号。

2.2.1 图像的视觉基础

图像概念

图像是当光辐射能量照在物体上，经过它的反射或者投射，或由发光物体本身发过来的光的能量，在人的视觉器官中所重现出来的物体的视觉信息。

图像分类:

按其亮度可以分为

二值图像

灰度图像

按色调不同可以分为:

无色调的灰度图像

有色调的彩色图像

图像分辨率：在位图图像处理时必须区分的三种分辨率描述：

①屏幕分辨率是指在某一特定显示模式下，计算机屏幕上以水平和垂直的像素表示的最大显示区域。

②图像分辨率是指数字化图像的大小，以水平的喝垂直的像素表示。

③像素分辨率是指一个像素的宽和长的比例，有时候也称像素的长宽比。

人眼的视觉特征：

①在亮度大的区域，对灰度误差不敏感。

②对亮度信号的空间分辨率大于对色度信号的空间分辨率。

③容易感觉到边缘位置的变化。对于边缘的灰度误差不敏感，对灰度变化平缓区域的灰度变化敏感。

④画面切换后约100ms时间内，分辨率较低。

⑤对不同频率的信号有不同的灵敏度，对高频分量不敏感，允许较粗的量化。

2.2.2 视频的采样结构

采样：就是把一副连续图像在空间上分割成MxN的网格，每个网格用一亮度值来表示。

正交采样点阵:其中，每一个圆圈表示一个像素位置，数字表示采样的次数。