数字智能视频技术发展与应用创新
中国安全防范产品行业协会专家委员会技术组
公安部第一研究所中盾公司
资料来源：中国安防行业网
https://www.360docs.net/doc/402147663.html,
一、数字智能视频技术发展
视频监控技术经历了模拟技术和模数混合技术的发展。由于大规模视频联网、资源整合和信息共享的需要，以及多业务管理和统一联动的要求，视频数字化、网络化和智能化成为视频监控技术发展的必然趋势。
（一）智能视频技术简介
智能视频源自计算机视觉技术，计算机视觉技术是人工智能研究的分支之一，它能够在图像及图像描述之间建立映射关系，从而使计算机能够通过数字图像处理和分析来理解视频画面中的内容。运用智能视频分析技术，当发现存在符合某种规则的行为（如定向运动、越界、游荡、遗留等）发生时，自动向监控系统发出提示信号，采取某种对应措施（如声光报警器报警）或通知监控人员进行人工干预。让相关工作人员把时间和精力集中放在重要事务的处理上。
（二）智能视频技术的主要算法
智能视频技术可以实现对移动目标的实时检测、识别、分类以及多目标跟踪等功能。目前，智能视频技术的主要算法分为以下六类：目标检测、目标跟踪、目标识别、行为分析、数据融合和基于内容的视频检索。
（1）目标检测
目标检测（Object Detection）是按一定时间间隔从视频图像中抽取像素，采用软件技术来分析数字化的像素，将运动物体从视频序列中分割出来。运动目标检测技术是智能化分析的基础。常用的目标检测技术可以分为三类\[1\]：背景减除法（Background Subtraction）、时间差分法（Temporal Difference）和光流法（Optic Flow）。
1）背景减除法
背景减除法利用当前图像与背景图像的差分检测运动区域。背景减除法能够提供相对来说比较完全的运动目标特征数据，但对于动态场景的变化，如光线照射情况、摄像机抖动和外来无关事件的干扰特别敏感。
背景减除法假设视频场景中有一个背景，而背景和前景并未给出严格定义，背景在实际使用中是变化
的，所以背景建模是背景减除法中非常关键的一步。常用的背景建模方法有时间平均法、自适应更新法、高斯模型等。
2）时间差分法
时间差分法充分利用了视频图像的时域特征，利用相邻帧图像的相减来提取出前景移动目标的信息。该方法对于动态环境具有较强的自适应性，不对场景做任何假设，但一般不能完全提取出所有相关的特征像素点，在运动实体内部容易产生空洞现象，只能够检测到目标的边缘。当运动目标停止时，一般时间差分法便失效。
3）光流法
光流法通过比较连续帧为每个图像中的像素赋予一个运动矢量从而分割出运动物体。光流法能够在摄像机运动的情况下检测出独立的运动目标，然而光流法运算复杂度高并且对噪声很敏感，所以在没有专门硬件支持下很难用于实时视频流检测中。
（2）目标跟踪
一旦目标被检测出来，接下来的任务是对检测出的目标进行跟踪。目标跟踪（Object Tracking）算法根据不同的分类标准，有着以下两种分类方法：根据目标跟踪与目标检测的时间关系分类和根据目标跟踪的策略分类。
1）根据目标跟踪与目标检测的时间关系分类
根据目标跟踪与目标检测的时间关系可以分为三类：
一是先检测后跟踪(Detect before Track)，先检测每帧图像上的目标，然后将前后两帧图像上目标进行匹配，从而达到跟踪的目的。这种方法可以借助很多图像处理和数据处理的现有技术，但是检测过程没有充分利用跟踪过程提供的信息。
二是先跟踪后检测(Track before Detect)，先对目标下一帧所在的位置及其状态进行预测或假设，然后根据检测结果来矫正预测值。这一思路面临的难点是事先要知道目标的运动特性和规律。
三是边检测边跟踪(Track while Detect)，图像序列中目标的检测和跟踪相结合，检测要利用跟踪来提供处理的对象区域，跟踪要利用检测来提供目标状态的观察数据。
2）根据目标跟踪的策略分类
根据目标跟踪的策略来分，通常可分为3D方法和2D方法。相对3D方法而言，2D方法速度较快，但对于遮挡问题难以处理。
基于运动估计的跟踪是最常用的方法之一。精确有效的目标运动预测可以大大提高目标跟踪的精度和实时计算的效率,预测通常采用卡尔曼滤波（Kalman Filter）、Blob运算、扩展卡尔曼滤波（Extended Kalman Filter）和粒子滤波（Particle Filter）等技术。
（3）目标识别
目标识别（Object Recognize）利用物体速度、形状、尺寸等信息进行判别，区分人、交通工具和其他对象。在图像数据中增加音频信息可以实现说话人跟踪、环境声音识别以用于事件识别。目标识别常用于人脸识别和车辆识别。
1）人脸识别
基于视频的人脸识别是根据已学习的人脸数据库和用户输入的年龄、种族、性别、表情等限定信息从视频中识别人物的技术。相对静止图像，基于视频的人脸识别能提供丰富的时域信息，易于自动分割出人脸，并能从多幅图像中选择较为有效的人脸进行识别；其难点在于视频中的人脸往往较模糊，并且分辨率较低。
视频人脸识别通常分为四个步骤：人脸检测、人脸跟踪、特征提取和比对。人脸检测指在动态的场景与复杂的背景中判断是否存在面像，并分离出这种面像。人脸跟踪指对被检测到的面貌进行动态目标跟踪。常用方法有基于模型的方法、基于运动与模型相结合的方法、肤色模型法等。
人脸特征提取方法归纳起来分为三类:第一类是基于边缘、直线和曲线的基本方法，第二类是基于特征模板的方法，第三类是考虑各种特征之间几何关系的结构匹配法。单一基于局部特征的提取方法在处理闭眼、眼镜和张嘴等情景时遇到困难，相比而言，基于整体特征统计的方法对于图像亮度和特征形变的鲁棒性更强。目前大多都是基于整体统计特征的提取方法，如活动形状模型(Active Shape Model, ASM)、弹性外观模型(Flexible Appearance Model,FAM)、活动外观模型(Active Appearance Model,AAM)等。
人脸比对是将抽取出的人脸特征与面像库中的特征进行比对，并找出最佳的匹配对象。人脸比对常用的算法有贝叶斯分离器、支持向量机(SVM)和神经网络分类器(NNC)等。
2）车辆识别
车辆识别主要分为车牌照识别、车型识别和车辆颜色识别等，应用最广泛和技术较成熟的是车牌照识别。车牌照识别是指从视频中提取车辆的牌号。车牌照识别的步骤分别为：车牌定位、车牌字符分割、车牌字符特征提取和车牌字符识别。
车牌定位是指从车牌图像中找到车牌区域并把其分离出来。字符分割是将汉字、英文字母和数字字符从牌照中提取出来。常用的字符分割技术有基于模板匹配的字符分割算法、基于小波分析和变换的分割技术、基于遗传算法的图像分割技术、利用Hough变换和先验知识的车牌字符分割算法等。车牌特征提取的基本任务是从众多特征中找出最有效的特征，常用的方法有逐像素特征提取法、骨架特征提取法、垂直水平方向数据统计特征提取法、特征点提取法和基于统计特征的提取法。车牌字符识别可以使用贝叶斯分离器、支持向量机(SVM)和神经网络分类器(NNC)等算法。
（4）行为分析
行为分析(Behavior Analysis)是在目标检测、跟踪和识别的基础上，对其行为进行更高层次的语义分析。现有的行为分析技术根据分析的细节程度和对分析结果的判别要求可以分为三类。作为一个极端，第一类使用了大量的细节，并往往使用已经建立好的数据进行分析而较少使用目标的时域信息。基于人脸、
手势、步态的行为分析方法属于这一类。第二类是另一个极端，这类技术将目标作为一个整体，使用目标跟踪的算法来分析其运动轨迹以及该目标与其它目标的交互。第三类是在前两类的基础上做一个折中，它使用时域和空域的信息，分析目标各部分的运动。
（5）数据融合
数据融合(Data Fusion)是将来自不同视频源的数据进行整合，以获得更好的数据。常见的数据融合应用有可见光与红外的融合、视频与音频的融合。
可见光与红外的融合技术可以分为两类。一类是基于图像呈现的融合。这种方式将不同的图像进行结合，以输出一张更清晰、更有效的图像。另一类是基于视频分析的融合，它不仅仅局限于获取更好的图像质量，而是对多个视频源进行综合分析以获取信息。常见数据融合的算法有概率法(Probabilistic Methods)、模糊逻辑法(Fuzzy Logic Method)和信任模型法(Belief Models)。
（6）基于内容的视频检索
基于内容的视频检索(Content based Video Retrieval)技术是由用户提交检索样本，系统根据样本对象的底层物理特征生成特征集，然后在视频库中进行相似性匹配，得到检索结果的过程。
现有基于内容的检索方法主要分为：基于颜色的检索方法、基于形状的检索方法和基于纹理的检索方法。基于颜色的检索方法使用目标的颜色特征，常用的特征有颜色直方图、主颜色特征等。基于形状的检索方法常用的特征有不变矩、骨架和边缘直方图等。基于纹理的检索方法常用的特征有DCT系数等。
（三）智能视频技术产品
智能视频技术产品按视频分析单元的位置可分为前端DSP分布式处理和中心计算机集中式处理。
智能视频产品结构图
（1）前端分布式处理
智能视频处理在前端DSP上实现，前端设备需要内嵌智能算法。直接在前端完成采集和智能处理，不受传输带来的延时、画质损失等问题影响。分布式架构没有集中处理的中央服务器性能瓶颈。
（2）中心集中式处理
智能视频处理在中心计算机上实现。只要摄像机位置、编码码流和分辨率合适，画质损失将不会影响智能视觉效果。此种方式可以对需要的实时图像或历史录像进行视觉分析，可随需变更检测区域，提高视频分析的灵活性。
智能视频系统作为一个开放、标准的视频监控处理单元，可通过开放内部协议接口、开放SDK接口，与其它各安防业务系统集成应用。
（四）智能视频测试
目前国内外在智能视频测试方面的研究取得了很大的进展，但仍存在着很多不足。例如在标注阶段，视频的标注会受到主观因素的影响，不同的标注者对相同视频的标注会有区别；在算法设计阶段，不同的算法设计者对视频的理解有所不同从而导致算法输出之间的差异；在评估阶段，每个工作组或项目各自有自己的一套评估标准，缺乏一个公认的、权威的评估标准等问题。这些都需要我们在智能视频评估方面做进一步研究，为智能视频的普及使用奠定基础。
（1）国外测试情况
目前国际上关于智能视频测试方面的研究很多，例如PETS、ETISEO、VACE、CLEAR等。在这些工作中，研究者提供了一系列手工标注基准（Ground Truth）数据的视频序列，算法设计者可以在这些序列上比较输出结果与标注数据，以此评估该算法的效果。
PETS全名为Performance Evaluation of Tracking and Surveillance（跟踪和监视性能评估），它的主要目的是评估计算机视觉中的跟踪和监控算法。PETS提出了大量的以像素、目标、帧为单位的统计评估方法。
ETISEO是由法国政府赞助的视频监控系统评估项目，主要研究视频特征和算法之间的关系，确定一个给定的算法所适用的场景特征，从而帮助算法设计人员来发现算法的弱点。
VACE全称为Video Analysis and Content Extraction，它关注人脸检测/跟踪、文本检测/跟踪/识别、行人检测/跟踪/定位、手检测/跟踪、事件检测等任务，以及算法处理的准确度和速度等。
CLEAR是由VACE和CHIL（Computers in the Human Interaction Loop）联合主办的工作组会议，其全称为Classification of Events, Activities and Relationships–Evaluation Campaign and Workshop。主要关注人/车跟踪、人识别（语音）、头部姿态估计、有声场景分析等任务。
（2）国内测试情况
相对国外而言，国内在智能视频测试方面的工作并不是很多。北京中盾安全技术开发公司在这方面做出了一些研究工作，收集了大量的视频序列，通过测试人员、算法设计人员以及视频专家之间的讨论分析，针对运动检测、可疑物体检测、禁区闯入、逆行等智能功能，选择了各个功能的测试视频序列集，同时通过对国内外智能视频测试方面的调研，提出了各个功能的评估方法。第一阶段采用的测试方法为人工测试。在第二阶段，开发一系列的软件，对测试视频进行标注，实现自动的评估测试。
二、智能视频技术应用现状
智能视频技术在防范打击犯罪、强化治安管理和重大活动安全保卫等公安业务领域发挥了重要作用，已初步应用在治安、刑侦、交通、内保、指挥及反恐等多种场合。智能视频技术具体应用如下：
（一）运动目标检测
通过智能图像识别技术自动检测场院、楼宇、重点部位、停车场和地下车库内出现的非法入侵、跨越警戒线等各种异常情况，并自动向值班人员发出告警，及时制止事件的发生，实现7×24小时无间断自动值守，避免人工值守的传统方式容易因疲劳或疏忽而错失及时发现并制止安全事件的时机。
（二）人车分类识别
根据预设条件，可以自动区分人和车，只对满足预设条件的目标进行告警和跟踪。
（1）人和机动车的区分
经人车运动目标分类识别算法，区分汽车和行人。用矩形框等形式对检测出的运动车辆进行“Car”标识，对检测出的行人进行“Person”标识。
（2）人的识别
1）单行人识别
在特定的安防应用场景中，可以离摄像头有相当远的距离内在人群中识别出特定的个体。如追捕通辑逃犯、嫌疑犯与惯犯，可通过与数据库档案中的面像特征进行比较，来识别或验证是否该犯的身份。识别了该犯后，立即预/报警，并跟踪锁定其面部，直到公安抓捕解除报警为止。
2）多行人识别
识别人群的整体运动特征，包括速度、方向等等，用以避免形成拥塞，或者及时发现异常情况。典型的应用场景包括超级市场、火车站等人员聚集的地方。
（3）车的识别
能够识别出运动中机动车的类型（自行车、卡车、小车、面包车）、颜色及行驶方向，为案件的有效
侦破提供线索。
（三）异常物体滞留或丢失
（1）物体滞留检测
在摄像机监视的视场范围内，当有满足预设门限大小的物品被遗留在警戒区域内并停留时间达到预设门限后，则自动产生告警，并在物品停放位置产生告警框提醒相关人员注意有异常物品遗留。
（2）物体搬移检测
在摄像机监视的视场范围内，当警戒区域内的目标物品被移动且时间达到预设门限，则自动产生告警，并在目标物品原来放置位置显示告警框提醒相关人员注意物品被移动。
（四）多运动目标的跟踪
对公安业务应用面较广的人和车辆等特定目标进行识别、跟踪，实时确定其运动轨迹，尤其在物体相互交错或互遮挡现象是复杂场景下运动对象跟踪，可以精确地对特定目标的运动和事件的进程实施有效监控和预警处理。
（1）手工圈定跟踪
手工模式——通过手工选择来锁定目标（鼠标点击方式），控制PTZ摄像机进行自动跟踪。在摄像机监视的视场范围内，当人为选择移动目标后，PTZ镜头将自动跟踪移动目标，直到移动目标运动出视场。
（2）PTZ自动跟踪
当通过入侵检测功能发现入侵者的时候，可以控制具有PTZ功能的摄像机（例如高速球等）自动拉近镜头放大画面（更容易看清入侵者的脸部和动作），锁定入侵者，并在PTZ摄像机的监控区域范围内自动跟踪入侵者（始终保持入侵者位于画面中央），同时自动进行录像（记录整个入侵过程，用于事后分析取证）。
（3）接力跟踪
传统监控中经常会遇到的入侵者跑出固定摄像机的监视画面的问题，而自动PTZ 跟踪很好地解决了这个问题。而且当报警触发时，不再需要警卫人员通过手工来操纵PTZ 控制键盘来寻找入侵者。PTZ 摄像机在接收到报警事件时会自动锁定目标并触发自主跟踪，同时自动回传即时视频画面。
（五）异常行为分析
通过对大量案件的分析发现犯罪分子在做案之前，一般都会有一些异于常人的行为发生，比如可疑的游荡行为、异常尾随、非法进入禁止区域等等。根据公安业务的特点，可以制定异常行为的判定规则，发现异常及时预警，做到防患于未然。
异常行为的检测与分析可以为警务人员分析警情提供重要线索，智能化、自动的异常行为检测与分析则能有效地节省人力和时间，大大提高办案效率。
（1）禁区闯入
禁区闯入检测侧重于检测人和交通工具，针对运动目标不同的尺寸大小和运动特征进行检测，发出报警信号并提供即时的视频确认机制，有效减少了由于误报引起的不必要的警卫行动。另外，入侵检测在确保监控场景安全的同时，还为警卫人员做出有效的响应行动。禁区闯入有入侵检测、翻越围栏和定向报警三种方式。
（2）逆行
1）人员逆流
在一些场合如商场、超市、博物馆等，一般会有不同的入口和出口，正常的人员流向应该是同一个方向，若有不同的人流方向将会被认为是异常行为。
2）车辆逆行
在摄像机监视的视场范围内，可以任意设置警戒区域及逆行方向，当有运动目标（人或车）按照逆行方向在警戒区域内移动，则触发告警，同时逆行目标被告警框标识出，并跟踪其运动轨迹。
（3）徘徊
在银行及其他较重要的场所，若有人长时间在较小的范围内游荡时，一般可以认为是一种异常行为。通过运动目标检测与跟踪技术可以确定其运动的轨迹，运用即定的规则对轨迹进行分析即可判断出是否是异常行为。
（4）尾随
判断异常的尾随行为并记录，异常尾随则有可能是盗窃或迫害。
（六）运动物体计数
（1）人数统计
统计穿越入口或指定区域的人或物体的数量。例如为业主计算某天光顾其店铺的顾客数量。人数统计的最佳时机为当人进入或离开某区域、路过走廊或通道时，此种情况下统计精度较高。而当人群拥挤交错时，摄取的图像模糊不清，软件无法精确识别并分析，容易造成较高的误报率。
（2）车流密度
自动统计路面、路口交通流量信息，为交通信号控制系统、交通引导系统提供实时数据；为道路交通规划提供准确历史数据。
三、智能视频技术应用创新
智能视频在提高预警和防范能力，解放警力、提高效率等方面具有独特的优势，在锁定目标、固定证据、发现线索中具有特殊的应用。智能视频技术在公安业务应用中的创新性主要表现在以下方面。
（一）治安管理
有效防范和处置突发性群体事件、即时发现违法犯罪活动是治安部门迫切需要解决的问题，智能视频处理技术在治安管理方面能够发挥预警和提示作用。
（1）群体性事件检测
在政府机关门口等敏感部位，本不应该有大量人员聚集而聚集了大量人员，且长时间不离去。当发生群体性事件时，需要及时报警并对参与事件的人流量和聚集度做出估计，根据警情和预案及时报告上级单位。从而为领导及时、合理地调配警力、现场指挥提供科学的决策依据。此功能为智能视频的重要应用之一。
（2）扒窃案、拎包案及两抢案
通过徘徊、跟踪等功能，辨识同一地点经常出现的非游览、购物人员，追踪跟踪行人的可疑行为。街面抢劫、抢夺案件，多有跟踪行为。例如骑摩托车跟踪单独骑车或行走的行人，跟踪单独步行的行人等。
（3）大型活动控制
对于重大活动现场安全保卫，根据特定活动区域设置禁区规则，在该区域内一旦有静态物体移动或禁区闯入、遗留物检测等则自动报警。
（二）刑事侦察
智能视频监控系统在刑侦、国保等部门侦破案件中的创新性应用表现在以下方面：
（1）智能视频检索
公安工作中大量视频资料作为历史记载和办案证据予以保存,需要经常调用，如经常需要根据犯罪嫌疑人或车辆的基本图片资料在大量的历史视频资料中查找证据。而要想在大量的视频资料中查找某个人或车辆是一项非常耗时的工作，目前多数视频监控系统能提供的检索功能一般都是以特定的镜头、时间来搜索，而不能实现对视频内容的搜索。智能视频技术实现基于内容的快速检索，在公安业务中将发挥一定作用。
（2）模糊图像处理
由于聚焦不准、光照不足、运动目标速度过快等原因造成图像模糊，不能提供清晰的可辨识的目标图像信息，不能满足公安部门取证的需要。根据监控图像所反映的犯罪嫌疑人动态过程、引起模糊和变形的规律，通过模拟画像技术、人像组合方法，对监控图像信息进行视频增强和还原。在图像检验的实际工作
中，运动模糊图象的复原直接影响着案件的侦破和审理工作。
（三）交通管理
采用智能图像识别技术实现交通违章自动检测和交通流量自动统计，并且同步捕捉和识别车牌号码作为事后处理的依据。可用于城市路口、城市道路、快速路、高速公路、治安卡口、隧道/桥梁和停车场等场合。
（1）违章停车
在摄像机监视的视场范围内，可以任意设置警戒区域，当有车辆从警戒区域外驶入警戒区并停留在警戒区域内达到门限时间后，则触发告警，同时该车辆被告警框标识出，并显示其运动轨迹。
（2）分类车辆行驶
可事先将车辆进行分类，例如单双号等。某类车辆可在相关时间或相关路段行驶，某类车辆需要禁行，不按照规定行驶的，则作为交通违法嫌疑。
（3）高速公路管理
异常停车、逆行车辆、慢性车辆以及行人闯入等都是高速公路的危险因素，对此系统会自动识别并立即报警，同时在监视设备上会画出被监控目标的运动轨迹。
（四）内部保卫
应用于金融单位等重点目标保卫。例如，突然入侵检测可以感知设定区域内突然出现和入侵的人或物体并及时报警。应能正确区分人与动物的区别，避免误报。
（五）应急指挥
（1）可疑图像的自动显示
在监控图像众多，而监控中心的显示单元有限，难以显示全部监视画面时，敏感可疑图像的自动显示非常必要。
（2）突发事件现场视频动态跟踪显示
运用多图像关联应用和PTZ自动跟踪技术，实现突发应急事件现场的动态视频跟踪显示。
（六）反恐预警
反恐预警主要针对机场、地铁等人员密集场所。在机场通过对停机坪和机场设施进行目标跟踪和异常行为检测与报警，为机场保安提供智能化的解决方案。地铁智能视频监控系统通过智能化设备具有智能化报警功能，比如通过非动态侦测功能识别出超过一段时间被遗留在某地的物体，并向保安人员发出报警，
对该物体进行检查。
四、结束语
目前，视频技术数字化基本成熟，网络化正在完善，智能化已经兴起。智能化是视频监控技术发展的必然趋势。在传统视频监控迅速发展的今天，只有深刻理解市场需求，正确引导技术发展方向，走技术与应用相结合的道路，才能保证视频监控系统能力的提高，并使视频资源发挥更大的作用。
从总体上看，国外的智能视频应用正在从“概念验证”阶段向“规模应用”阶段转化，智能视频已逐渐形成为一个产业。与国外相比，我国智能视频技术还处在初期研发推广阶段，基本处于起步状态。但随着“平安城市”建设的顺利推进和公安业务需求的不断增长，智能视频技术正面向应用逐渐成熟和完善，显示出广阔的发展前景和勃勃生机。
参考资料：
[1] Praveen Kumar, Ankush Mittal and Padam Kumar. Study of robust and intelligent surveillance in visible and multimodal framework .Informatica 32,pp 63-77,2008.
[2] 方帅. 计算机智能视频监控系统关键技术研究. 博士学位论文. 东北大学. 2005.
[3] W. Zhao, R. Chellappa, P. J. Phillips and A. Rosenfeld. Face Recognition: A Literature Survey. ACM Computing Surveys, 35(4), 399-458, 2003.
智能视频技术的现状及发展趋势探析
智能视频技术的现状及发展趋势探析 智能视频技术（IVT，Intelligent Video Technology），属于计算机视觉（CV，Com puter Vision）与人工智能（AI，Artificial Intelligent）领域研究的一个分支，融合了图像处理技术、计算机视觉技术、计算机图形学、人工智能、图像分析等多项技术，其发展目标在于在监视场景与事件描述之间建立一种映射关系。同大部分计算机系统一样，智能视频系统可以被分为构成智能视频监控的硬件，以及智能视频软件两个部分。 硬件设备主要包括：采集视频数据的摄像机、支撑摄像机以及整个系统运行的电力系统、用于存放拍摄到的视频数据的存储设备、承载智能视频分析软件的高性能计算机、能够高速传输视频以及分析结果等数据的网络接口。 智能视频软件是指通过硬件提供的输入信息，自动地提取并理解视频源的关键信息。智能视频软件具有其独特性，即专用性、多样性等。而不同的商业环境和用户对监控的功能需求大相径庭，对于不同的应用系统软件实现的算法也完全不同，甚至智能视频软件的实现平台也是可选的：既可以在X86的服务器上实施，也可以在基于DSP的嵌入式系统上实施。这一特点，也正是智能视频行业探讨的热点所在。 智能视频的发展现状 智能视频软件市场是一个成长非常快速的市场，根据IMS的市场研究分析，在未来3 年内有关视频技术的软件市场会成长到8亿美元的份额。注意，仅仅是在软件部分就有这么大的一个份额。 在视频智能分析软件的市场需求急剧增长的刺激下，国外提供视频智能分析软件产品的厂商已经有许多：Verint、Vidient、Westec、Interactive、Visual Defence、Nextiva、V istascape、NiceVision、ioimage、TASC、MATE、Ov、Dallmeier、Ivbox、Viseowave等，他们都能提供视频智能分析产品，大部分厂商提供的视频智能分析产品，都基于ObjectVid eo公司的图像分析技术，采用Object Video OnBoard平台来设计并创建自己品牌的OEM产品，这是大部分视频智能分析产品商以最小的投资成本及最快的时间来赢得市场的好办法。 在解决方案的提供上，国外也有许多成功的案例，比如旧金山国际机场采用了由Vidie nt公司提供的智能视频分析系统Smart Catch。Smart Catch与机场现有的闭路电视(CCTV)系统协同检测异常或可疑行为（如图1）。当智能视频分析软件识别出一个异常情况时，就立即将视频片段通过呼机、手提电脑、移动电话或其它通讯设备发送给响应者前来进行现场调查。 国内的众多企业也开始了对智能视频分析软件的尝试。比如上海世平伟业公司开发的I vbox智能视频分析系统，上海皓维推出的智能视频分析预警系统等等。
几种高带宽数字视频接口的发展及应用
几种高带宽数字视频接口的发展及应用 类别：电子综合阅读：1249 随着人们对图像显示质量要求的不断提升，传统的以模拟方式来传输和显示多媒体信号的技术已经不能满足人们的要求，广播电视行业数字化和数字电视的整体转换的实施、数字化、网络化、光纤化是IT行业的发展趋势。以高清数字电视为代表的消费类数字视频设备的应用越来越普遍，传统的模拟视频接口标准无法适应新的产品在带宽、内容保护、音频支持等方面的发展需求，使得HDMI、UDI和DisplayPort等新标准显得更能适应市场的需求，本文从传统模拟视频接口开始，简要介绍几种数字视频接口技术及标准，并重点介绍HDMI和DisplayPort两种数字视频接口。 模拟视频接口的发展 在我国，最简单、最原始、使用最广泛的视频接口是复合视频信号(CVBS、A/V)接口，就是通常所称的RCA接口，伴随着S-VHS摄录像机、VCD等激光视盘产品，出现了将亮度信号Y和色度信号C分离的S端子（Y/C、S-Video）接口，伴随着DVD、卫星数字电视机顶盒(IRD)出现了模拟分量视频信号(Y、U、V或Y、R-Y、B-Y)接口；而在PC通信领域，出现了通用接口D-SUB( 9芯)端口,也就是通常所说的VGA端子。 DVI、HDMI和UDI标准及应用 1 DVI标准 DVI全称为Digital Visual Interface，它是由数字显示工作组DDWG（Digital Display Working Group）于1999年4月推出的开展PC 和VGA显示器间连接的传输非压缩实时视频接口标准。它基于TMDS(最小化传输差分信号)技术来传输数字信号，如图1所示。图1 Single-link TMDS连接图 TMDS包括3个RGB数据和1个时钟，共计４个通道(称为１个TMDS连接或Single-link)的传输回路。TMDS是把8位的RGB视频数据变换成10位转换最小化、DC平衡的数据，再完成数据的串行处理；接收端设备对串行数据解串行变成并行数据，再转换成8位视频
数字视频技术论文
多视点视频编解码 吕永超 [摘要]与二维视频编码有所不同，多视点视频编码还存在不同视点间的 空间冗余，因此除了进行运动估计和运动补偿外，还需要对立体视频进 行视差补偿预测，来消除视点间的空间冗余，提高视频压缩的效率。大 模块所占比率大，耗时少，小模块所占比例小，但是耗时多。而且，立 体视频编码中，小模块模式相对于平面视频编码所占的比例更少，这也 说明了立体视频编码中模式选择的重要性。JMVC测试模型遍历所有模式然后选择最优编码模式，致使编码速度低下。我们通过快速模式选择， 尽可能的减少小模块模式的预测，在保证图像质量和压缩效率的基础上，大幅度的提高了立体视频编码速度。CPU单独解码效率较低，最多仅能 支持6个视点1280X720P格式的高清视频实时解码。而基于本文提出的CPU和GPU混合解码技术，由于IDCT和彩色空间变换这些并行运算均有GPU完成，充分发掘了当前GPU的特点，CPU主要负责解码控制类型的 运算，整体解码运算效率较高，可以实时解码8个视点的1280X720P格 式的高清视频。 [关键词] 多视点视频快速帧间模式选择IDCT和图像彩色空间变换
目录 第一章绪论 (1) 第二章多视点视频编码 (1) 2.1多视点视频编码原理 (1) 2.2视频编码方案 (2) 2.3立体视频运动估计搜索算法 (3) 2.4快速帧间模式选择 (3) 2.5本章小结 (3) 第三章基于GPU和CPU混合运算的解码技术 (4) 3.1 IDCT运算在GPU上实现的基本原则 (4) 3.2图像彩色空间变化在GPU上的实现 (4) 3.3 本章小结 (4) 参考文献 (5)
智能视频分析技术方案
智能视频分析技术方案 一、概述 随着视频监控行业发展，AI 技术的不断提升，在智能楼宇，智慧办公领域需求不断增加，传统视频监控手段已无法满足需求，泓涵智联基于“云-边-端”相结合，打造集多源数据接入、数据质量分级、视频/图像混合解析、全目标识别、多类型任务调度、高智能任务分配于一体的超融合计算解决方案，遵循GA/T 1400 标准体系，高兼容、易对接。 二、功能描述 1.视频流直播 通过云端流媒体技术，可以在异地实时查看IPC 设备视频，通过自适应编解码技术，视频播放低延时，占用带宽小。直播视频按需推拉流播放，不观看时不会占用带宽。 2.视频回放存储 监控视频会默认存放在“边缘计算”设备中，通过智能分析和规则出发“按需”将关键视频存储 到云端，云端采用对象存储技术，异地多副本，保证数据高可用，可实时会看溯源。 3.边缘计算快速响应 在本地放置边缘计算设备，边缘计算设备可实时分析IPC 设备视频流，可进行多路\按需智能分析，通知边缘设备和云端进行交互，做到“边缘快响应，云端轻压力”。 全面兼容GB 国标/ONVIF 协议，无缝对接主流IPC 摄像头。 通过边缘函数计算技术，可以实时下放规则，在本地快速响应时间，发送通知和报警。 4.视频智能分析 人脸识别：通过AI 算法模型实时提取视频中的人脸，转化成AI 结构化数据，能够及时识别监控中人员的身份信息。 人员黑名单\关键人员：边缘设备可存储黑名单\关键人员人脸信息，当有人员进入通过规则引擎及时出发相关行为。 人员统计：可以统计监控设备中的人员数量，身份等信息。 区域\绊线闯入监控：在监控区域可以设定“特殊区域”，有人员闯入会触发相关事件，可以结 合人员黑名单\关键人员信息进一步处理。 三、系统展示
数字视频技术发展
3.11 数字视频处理技术的发展 一、DSP数字处理技术 从90年代起，人类社会步入信息时代，而信息时代一个重要特征就是数字化的产品大行其道，其中最典型的代表就是以DSP为核心的技术及其产品应用。DSP是数字信号处理的英文缩写，但是它的发展已经超越了其自身的表面含义，它已经成为一种新的数字处理技术。特点是DSP在摄像机中的成功应用掀开了现代摄像技术的新篇章。成为继CCD之后的又一个划时代的摄像机新技术应用成果。 DSP数字信号处理技术是数字信号处理、微电子学、计算机科学和计算机数学的综合科研成果。DSP芯片现已广泛应用于磁量驱动器，蜂窗式电话、调制解调器、无线电接收机、微控制器、光盘机、数码相机和数字摄像机等诸多领域，并将在绝大部分的电子设备中得以应用。 DSP数字信号处理器在彩色摄像机中的应用使其成为整个系统最核心的部件之一，它的功能是通过一系列复杂的数字算法，对数字图像信号进行优化处理，包括白平衡、彩色平衡、伽玛校正及边缘校正等，这些优化处理将直接影响图像信号的质量。 就任何一个DSP芯片来说，其本质上都是一个单片微型计算机，但它是专门用来处理数字信号的，其最大特点就是运算速度极快，比普通的微型计算机快2个数量级，能在短时间内完成复杂而繁琐的数学运算。DSP数字信号处理摄像技术于90年代中期开发，并首先在VHS-C格式摄录机中应用。图3-81就是这种摄录机中DSP处理电路的典型结构图。
图中从CCD摄像头送出的图像信号经A/D变换成数字信号后就送进了DSP 数字信号处理集成电路。在集成电路中首先进行Y/C白平衡的调整，然后从Y/C 处理电路送出的数字信号经数字变焦后存入帧存储器。同时,数字变焦处理电路可根据不同比例，从帧存储器中取出放大或缩小的图像信号送到自动聚焦处理器，经过对信号中主频分量的分析，控制电机调整镜头距离，使信号中主频分量为最大，即最佳聚焦状态。 在掌中宝型摄录机的实际应用中一个重要的问题就是操作者手掌的晃动，由于晃动引起图像的不稳定，而不使手掌晃动又几乎是不可能的。因此，必须要在摄录机电路中解决这个问题，而电路中的模糊图像稳定处理，就是专门解决这个问题的。在图中，经Y/C处理的信号分出一路送运动检测电路，检测图像运动状态，并送入模糊处理电路。通过模糊逻辑分析，判断图像的运动是否由手抖引起的，电路根据手抖动的程度进行判断，认定是手抖动引起的晃动，则从储存器中选择读取图像信息去抵消图像的晃动。 经上述数字化处理后，再经D/A变换还原成模拟视频信号送入记录系统，并记录在磁带上。 经过几年的开发研制，DSP摄像技术已趋成熟。目前主要摄像机厂商代表当前最高水平的机型全部都采用了DSP摄像技术。如索尼公司3CCD DSP彩色摄像机DXC—D30Pjiushi比较突出的机型。（如图） 二、全数字化视频处理技术 目前数字摄像机仍有部分模拟处理电路，其发展方向是视频信号处理的全部数字化，而关键在于发展产量化。 比特的A/D转换器。目前最新一代的是14比特DSP数字信号处理的摄像机，如JYC公司的DY-90EC，DY-70EC（D9格式），SONY公司的DSR-PDX10P （DVCAM），松下公司的DVCPRRO50个市的AJ-D900等等，在性能上提高了图像清晰度，扩展了图像的细节校正，提供更为灵活的色度控制，增加了更大的过曝光信号的控制等等。 D Y-90 E C(D9格式）
几种数字视频接口的技术标准和发展应用
几种数字视频接口的技术标准和发展应用 随着人们对图像显示质量要求的不断提升，传统的以模拟方式来传输和显示多媒体信号的技术已经不能满足人们的要求，广播电视行业数字化和数字电视的整体转换的实施、数字化、网络化、光纤化是IT行业的发展趋势。以高清数字电视为代表的消费类数字视频设备的应用越来越普遍，传统的模拟视频接口标准无法适应新的产品在带宽、内容保护、音频支持等方面的发展需求，使得HDMI、UDI和DisplayPort等新标准显得更能适应市场的需求，本文从传统模拟视频接口开始，简要介绍几种数字视频接口技术及标准，并重点介绍HDMI和DisplayPort两种数字视频接口。 模拟视频接口的发展 在我国，最简单、最原始、使用最广泛的视频接口是复合视频信号（CVBS、A/V）接口，就是通常所称的RCA接口，伴随着S-VHS摄录像机、VCD等激光视盘产品，出现了将亮度信号Y和色度信号C分离的S端子（Y/C、S-Video）接口，伴随着DVD、卫星数字电视机顶盒（IRD）出现了模拟分量视频信号（Y、U、V或Y、R-Y、B-Y）接口；而在PC通信领域，出现了通用接口D-SUB（9芯）端口，也就是通常所说的VGA端子。DVI、HDMI和UDI标准及应用 1 DVI标准 DVI全称为Digital Visual Interface，它是由数字显示工作组DDWG（Digital Display Working Group）于1999年4月推出的开展PC和VGA显示器间连接的传输非压缩实时视频接口标准。它基于TMDS（最小化传输差分信号）技术来传输数字信号，如图1所示。 图1 Single-link TMDS连接图 TMDS包括3个RGB数据和1个时钟，共计４个通道（称为１个TMDS连接或Single-link）的传输回路。TMDS是把8位的RGB视频数据变换成10位转换最小化、DC平衡的数据，再完成数据的串行处理；接收端设备对串行数据解串行变成并行数据，再转换成8位视频
数字视频技术及应用复习题
第一章数字视频概述 1．什么是复合视频？2页，可改为填空题 例如：黑白视频信号是一个已经经过加工处理并包含扫描同步和消隐的图像信号，通常也叫做复合视频，简称视频。由于频带范围在1-6MHZ人们又把它叫做电视基带视频。 2．什么是视频技术？它主要应用在哪些领域？3页，可以改为填空题 例如：在不考虑电视调制发射和接收等诸多环节时，单纯考虑和研究电视基带信号的摄取、改善、传输、记录、编辑、显示的技术就叫做视频技术。 主要应用领域：广播电视的摄录编系统、安全及监控、视频通信和视频会议、远程教育及视听教学、影像医学、影音娱乐和电子广告。 3．什么是数字视频？5页 广义的数字视频表述为数字视频是指依据人的视觉暂留特性，借着计算机或微处理器芯片的高速运算，加上Codec技术、传输存储技术等来实现的以比特流为特征的，能按照某种时基规律和标准在显示终端上再现活动影音的信息媒介。狭义的数字视频时指与具体媒体格式所对应的数字视频。 第二章彩色数字视频基础 1．彩色电视系统是根据色光三基色原理来再现彩色图像的。按照此原理，任何一种色光颜色都可以用R G B三个彩色分量按一定的比例混合得到。7页 2．匹配兼容制彩色电视亮度信号的公式是：8页（2-2） 3．两个色差信号正交调制的目的是什么？10页 4．电视扫描分为逐行扫描和隔行扫描两种。 5．电视基带视频有复合视频、亮色分离视频和分量视频三种。13页 6．彩色电视制式有哪三种？制式差异主要体现在哪些方面？14页或改为填空 世界上现行的彩色电视制式有NTSC制式、PAL制式和SECAM制式三大制式。制式差异主要体现在亮度合成公式、色差信号提取、色副载选取及其正交调制类型、扫描方式、同步时基确定等方面的参数。 7．彩色电视图像的数字化有信号上游数字化和信号下游数字化两种。 8．A/D转换主要包括哪些环节？量化的实质是什么？编码的实质是什么？17，18页，可改为填空 A/D转换就是指对幅值连续变化的模拟视频电信号进行脉冲抽样保持、量化、编码等环节后形成二进制码流的技术处理过程。 9．一般常用的线性D/A转换器，其输出模拟电压U和输入数字量D之间成正比关系。19页 10．YCbCr信号和YUV信号是正比关系。21页，或选择A正比B反比C非线性D平方11．CCIR601标准为NTSC、PAL、和SECAM制式规定了共同的图像采样频率是13.5MHZ。21页 12．PAL制NTSC制的现行标准数字电视有效显示分辨率（清晰度）各为720X576像素和720X480像素。公用中分辨率为352X288像素。23页 第三章广义数字视频及分类 1．广义数字视频的定义？28页 2．广义的数字视频是依据人的视觉暂留特性，借助计算机或微处理器芯片的高速运算加上Codec编解码技术、传输存储技术等来实现的比特流为特征的全新的信息媒介。 3．图像序列的特点有哪些？33页 特点是每帧的分辨率相同，图像内容相关、图像文件名连续编号，而且有表示开始的图像序列头和表示结束的图像终止码。
视频监控技术简介与发展趋势
视频监控技术简介与发展趋势 https://www.360docs.net/doc/402147663.html, ( 2007/5/15 09:34 ) 摘要视频监控作为一种传统视频技术与现代通信技术相结合的应用，目前在国内外已引起了越来越多的关注。本文对视频监控业务作了简单的介绍与回顾，指出当前视频监控业务与传统视频监控业务在需求上的转变，以及与视频监控相关的一些技术的进展情况，然后指出当前视频监控系统所面临的主要问题，以及为了解决这些问题所带来的未来技术发展趋势。 1、引言 视频监控业务具有悠久的历史，在传统上广泛应用于安防领域，是协助公共安全部门打击犯罪、维持社会安定的重要手段。近年来，随着宽带的普及，计算机技术的发展，图像处理技术的提高，视频监控正越来越广泛地渗透到教育、政府、娱乐、医疗、酒店、运动等其他各种领域。 2、业务简介 视频监控的基本业务功能是提供实时监视的手段，并对被监视的画面进行录像存储，以便事后回放。在此基础上，高级的视频监控系统可以对监控装置进行远程控制，并能接收报警信号，进行报警触发与联动。业务功能如图1所示。 图1视频监控业务功能示意图 最早的视频监控系统是全模拟的视频监控系统，也称闭路电视监控系统（CCTV）。图像信息采用视频电缆，以模拟方式传输，一般传输距离不能太远，主要应用于小范围内的监控，监控图像一般只能在控制中心查看。全模拟视频监控系统以模拟视频矩阵和磁带式录像设备VCR为核心。 随着数字技术的发展，数字视频监控系统从20世纪90年代中期开始出现，以数字控制的视频矩阵替代原来的模拟视频矩阵，以数字硬盘录像机DVR替代原来的长延时模拟录像机，将原来的磁带存储模式转变成数字存储录像，实现了将模拟视频转为数字录像。DVR 集合了录像机、画面分割器等功能，跨出数字监控的第一步。在此基础上产生了全数字的视频监控系统，可以基于PC机或嵌入式设备构成监控系统，并进行多媒体管理。这类系统是目前视频监控市场的主流。
数字视频技术总复习题
数字视频技术总复习题 一基本概念填空题 1 摄像机在拍摄时，通过光敏器件，将光信号转换为电信号，这种电信号就是（RGB）信号。 2 模拟彩色电视机的制式主要有（NTSC制、PAL制和SECAM制）；中国、朝鲜等国家采用（PAL）制式彩色电视机标准。 3 电视机的扫描方式有（隔行扫描和非隔行扫描（逐行扫描））之分。 4 行频f H是指（每秒钟扫描多少行）；场频f f是指（每秒钟扫描多少场）；每秒扫描多少帧称为（帧频）f F。 5 PAL制式电视的场扫描频率是（50 Hz）,周期为（20 ms）；帧频是25 Hz，是场频的（一半），周期为（40 ms）。 6 彩色电视中，用Y、C1, C2彩色表示法分别表示亮度信号和两个色差信号，C1，C2的含义与具体的应用有关。在NTSC彩色电视制中，C1，C2分别表示（I、Q）两个色差信号；在PAL彩色电视制中，C1，C2分别表示（U、V）两个色差信号；在CCIR 601数字电视标准中，C1，C2分别表示（Cr，Cb）两个色差信号。 7 电视图像数字化常用的方法有两种，一种是（从复合彩色电视图像中分离出彩色分量，然后数字化）；另一种是（用一个高速A/D转换器对彩色全电视信号进行数字化，然后在数字域中进行分离，以获得所希望的YCbCr，YUV，YIQ 或RGB分量数据）。 8 NTSC制、PAL制和SECAM制共同的电视图像采样频率是fs=（13.5MHZ）。 9 目前数字电视图像使用（MPEG-2）video标准。 10 目前传输数字电视的主要方式是（卫星，地面广播和电缆）；用它们传输的电视分别称为（卫星数字电视、地面数字电视和有线数字电视）。 11 数字彩色电视机的制式主要有（ATSC DTV、DVB和ISDB）。中国等国家采用（欧洲DVB）制式数字彩色电视机标准。 12 数字电视的视频接口主要有（DVI、HDMI、UDI和DisplayPort）四种接口。 13 模拟电视信号转换为数字电视信号的过程是（模拟/数字转换编码过程），称可为（PCM调制脉冲编码调制），由（A/D转换器实现)。数字电视信号转换为模拟信号则称（PCM解调过程），由（D/A转换器实现）。 14全数字电视系统的信源编码采用（MPEG-2标准对数字化视频信号进行）压缩编码，其目的是（降低数字信号的传输码率）。 15全数字电视系统压缩编码后的数字视频信号在调制前，为了保证在传输工程中尽可能减少差错，通常还要加入（用于纠错的RS码和卷积码）。其目的是（提高数字信号的传输的可靠性）。 16 为了在编码中实现最大的压缩比，MPEG使用三种类型的图像，分别是（I 帧、P帧和B帧）。 17 VCD视频压缩采用（MPEG-1）标准，图像分辨率为（352×240）；DVD视频压缩采用（MPEG-2）标准，图像分辨率为(720×480). 18 信息熵表示的是（信源产生信息量的大小）。信息熵越大，不确定度越大，所含信息越多。
视频监控智能分析技术应用分析
视频监控智能分析技术应用分析 一、概述 在视频监控飞速发展的今天，海量视频画面已经大大超过了人力有效处理的范围。而智能视频分析技术极大地发挥与拓展了视频监控系统的作用与能力，使监控系统具有更高的智能化，大幅度降低资源与人员配置，全面提升安全防范工作的效率。目前已广泛应用于平安城市、智能交通、金融行业、政法监管、商业等领域。 智能视频分析技术是计算机视觉技术在安防领域应用的一个分支，是一种基于目标行为的智能监控技术。它能够在图像或图像序列与事件描述之间建立映射关系，从而使计算机从纷繁的视频图像中分辩、识别出关键目标的行为，过滤用户不关心的信息，其实质是自动分析和抽取视频源中的关键信息。 按照智能分析算法实现的方式进行区分，可以概括为以下几种类型的智能分析： 识别类分析：该项技术偏向于对静态场景的分析处理，通过图像识别、图像比对及模式匹配等核心技术，实现对人、车、物等相关特征信息的提取与分析。如人脸识别技术、车牌识别技术及照片比对技术等。 行为类分析：该项技术侧重于对动态场景的分析处理，典型的功能有车辆逆行及相关交通违章检测、防区入侵检测、围墙翻越检测、绊线穿越检测、物品偷盗检测、客流统计等。 图像检索类分析：该技术能按照所定义的规则或要求，对历史存储视频数据进行快速比对，把符合规则或要求的视频浓缩、集中或剪切到一起，这样就能快速检索到目标视频。 图像处理类分析：主要是对图像整体进行分析判断及优化处理以达到更好的效果或者将不清楚的内容通过算法计算处理达到看得清的效果。如目前的视频增强技术(去噪、去雾、锐化、加亮等)、视频复原技术(去模糊、畸变矫正等)。 诊断类分析:该项分析主要是针对视频图像出现的雪花、滚屏、模糊、偏色、增益失衡、云台PTZ失控、画面冻结等常见的摄像头故障进行准确分析、判断和报警，如视频质量诊断技术。 二、智能分析核心算法介绍 1. 运动检测算法 帧差法
数字视频技术基础复习题
数字视频技术考复习题 一、填空题 1、MPEG-1视频流采取分层式数据结构，包括视频序列、、图像、 像条、、块共六层。 2、已知HDB3码为-1000-1+1000+l-l+l-100-1+l，原信息代码 为。 3、以在上一帧图像中找到相似的块，这两个宏块之间的位移，称为。 4、数字复接过程中，按各支路信号的交织情况来分，可以分为复 接、复接和复接。 5、视频基本码流(ES)层次结构由视频序列层、、、像条层、 宏块层和。 6、当前宏块与它匹配的宏块之间的差值称为。 7、模拟彩色电视信号，世界存在三种制式，它们分别是制、制 和制。 8、PAL制式彩色电视信号中，为了节省频带宽度，一般将色度信号调制在 -----MHZ的频率上，再安插在信号中。 9、在NTSC制式电视信号中，色度矢量的幅度代表，初 相位代表。 10、标准清晰度电视演播室标准规定，亮度信号每行的取样点 数，取样频率为MH Z。 11、基带传输时，接收波形满足取样值无串扰的充要条件是：仅在本码元的取 样时刻上有，而在其他码元的取样时刻，本码元的值为。 12、准同步复接中一般采用正码速调节，其方式为当缓存器即将读空时，禁止 读时钟输出，使缓存器读出一位，在输出码流中插入一个，可以把码速调高。 13、某一信道传输二进制时，速率为a，如果利用这一信道传输8进制时， 传输速率将是。 14、MPEG-2结构可分为和层，针对不同的环 境，MPEG-2规定了两种系统编码句法，分时是流和流。 15、H．264标准算法在概念上分为2个层次，分别是层和层。 16、H．264除了有I、P、B帧之外，还有2个切换帧，分别是帧 和帧。 17、SDH帧结构由和两大部分组成，他们的字长分别 （）和。 18、在一个STM-1中，可包容的基群个数为。
智能分析助力大数据时代视频检索技术发展复习过程
智能分析助力大数据时代视频检索技术发展 随着“和谐社会”、“平安城市”建设的不断深入，全国进入了安防设施建设的高潮期，监控摄像头已遍布中国大地的每个街头，昼夜不停地监视和录像。然而，有了相关视频不等于就找到了目标信息，查找视频、分析视频的工作常常会耗用大量的时间和人力。如何在海量视频中更方便、更省力地查找到相关信息呢?现在，随着安防智能化需求越来越强烈，视频检索技术也得以快速发展。 随着视频监控系统在公安、交通等敏感领域的大规模应用，电子眼帮助破案的报道时有耳闻。一方面，这些事例从正面体现了视频监控系统的社会价值;另一方面，也引发了更多的关于视频检索的深层次需求。在实际应用的过程中，用户常常希望可以快速地从海量的数以万计的摄像头视频录像中，方便地找到一些有明显特征的人或物。传统的基于预设告警和时间的视频检索方式，对于这类深层次的需求往往无能为力，常有“隔靴搔痒”之憾，因而如何快速准确地进行智能的检索就成为大型视频监控系统需要解决的重要课题。 视频监控检索是针对视频监控平台，为用户查找视频监控信息的检索。用户通过录入相关监控事件的检索信息，由系统运算并返回检索结果。 视频监控检索关注的数据以视频为主，主要目的是定位查找某个事件的起因和关联的发展过程，事件的关键信息数据包含：时间、地点、主导事件的人或物、图像和声音信息。检索条件传递的信息越丰富，定位越精准，检索的算法也就越简单;相反，检索条件传递的信息越简单，定位就越模糊，想要精确定位时，检索算法的难度也就越大。一般来说，用户期望检索条件简单，同时也能定位精准。 常见的视频检索技术主要分为两大类：选中码流和选中时间。对于选定码流，可以是直接通过摄像机的名称、编号等进行检索，选中感兴趣的码流。因此可引伸出来一些具体的应用：如，知道地理位置，在设备资源分级里进行检索;知道设备编号，进行编号的快速查找;知道名称，对名称进行的模糊检索以确定具体码流;也可借助电子地图，知道设备的大概位置，在地图上进行查看，从而选定码流。而对于选中时间，常常是在选中码流的基础上进行的，可以是选定一路或者多路的码流，精确到以秒为单位的检索;也可以是所有的码流，关注在某一时间点开始的视频，对应的是多路同时同步回放检索。目前较为主流的切片检索、快照检索、基于时间轴的拖动快速预览检索均是属于这一类，先选中码流，再选中时间。 切片检索，指使用者知道具体感兴趣的物体、人或车在哪一位置，对应的是哪一路码流，但不确定是在什么时间发现变化，出现、消失或者其它的状态改变。切片检索可理解为二分法，将指定的码流在时间上进行等分，通过两两快照的对比，找到感兴趣的物体发生变化的那一时刻。快照检索，是基于先选定某一时刻，再选择一组码流或所有码流进行快照显示，通过快照的检索。这种应用主要解决
高速公路数字化视频技术发展说明
高速公路数字化视频技术发展说明 高速公路监控系统的建设是伴随着高速公路的兴建而起步、发展的，湖南省从首条高速公路建成投入运营已历经了十余年的历程。这十余年来随着经济的发展、科技的进步，湖南省高速公路事业发展也突飞猛进。 视频传输系统作为高速公路监控及收费系统的重要子系统之一，保障运营管理人员对路面及收费站实时状况直观的了解，并对各类事件及时监控、管理与调度，为高速公路的正常运营提供有效的管理手段。在十余年的时间里，视频传输方式也经历了几次较大的系统发展，在不同的阶段，为高速公路运营提供了有效的保障。以下从几个方面阐述下湖南省高速公路视频传输的应用和发展说明。一、高速公路视频传输系统现状及标准 视频传输技术在高速公路机电系统建设中，从最早的CCTV（模拟闭路电视)系统,到近年来正逐步被广泛应用的基于H.264协议的全光视频综合接入系统及数字非压缩光传输平台系统,从模拟图像到数字图像,从复杂的机电系统构架,到简洁的网络拓扑。数字化、网络化的图像传输应用为高速公路机电系统建设提供了更便捷的组网模式，成为行业视频传输发展新的方向。 不同的视频传输应用，在不同的历史阶段发挥了其各自的作用和特点。目前在高速公路采用数字化视频解决方案的主要有以下几种模式： 1、数字非压缩光端机方式 数字非压缩光端机是高速公路机电系统中，视频传输应用较多的一种模式。数字视频光端机对视频信号进行模数转换，然后将数字信号不压缩也不编码直接调制到光器件上输出，在对端采用数字视频光端机再将数字信号还原成模拟图像输出到监视器上。 在高速公路近年机电系统中，应用较多的是点对点数字非压缩光端机和节点式数字非压缩光端机，由于在光纤中传输的图像采用数字化方式传输，避免了模拟方式受到非线性失真等因素的影响，图像质量较高。另外由于数字视频光端机采用TDM及CWDM技术的应用，可以在一芯光纤中实现多节点图像的传输，较普通的数字传输模式增加了光纤的利用效率，对高速公路全程监控、隧道监控等环境适应性更强。
智能视频分析技术在电力行业的应用
智能视频分析技术在电力行业的应用 前言 近年来，电力行业的改革一直在推行，近期国家发展改革委又召开电视电话会议部署全国电力体制改革工作。在电力行业的改革工作中，电网管理是重要的内容板块。这几年我国的智能电网建设获得了较快的发展，“十二五”期间，国家电网推广了智能变电站等重点项目，规划新建100KV以上的智能变电站5100座，新建以及改扩建电站推动安防视频监控系统在电力系统的广泛应用。着紧，随着视频监控市场的快速发展，各种监控需求逐年增多，监控设备也越来越丰富，人们不断对监控系统提出了更高、更新的要求。对智能视频分析的需求是视频监控应用到一定阶段后的需要，它能很好地缓解传统视频监控中海量信息冗余问题，本文将对智能分析技术在电力行业的应用与发展做简单的介绍。 一、电力行业对智能视频分析技术的应用现状 随着技术的发展目前电力设备越来越先进，也越来越复杂，以往依靠人工读各种表盘、监视设备的运行工况的方法越来越不显示，尤其在无人值守的变电站更是如此。同时，置于无人值守或少人值守的变电站的电力物资往往吸引了众多不法之徒的眼光，如盗窃设备，放置危险物品破坏设备等犯罪活动成为了电网安全运行的重大隐患。因此，为了减轻电网工作人员在电网监控中的有效信息筛选的难题以及提升智能化管理水平，今年来智能视频分析成为电力行业的新技术需求。我们知道，早起电力行业中的视频监控系统遇到异常情况一般都是进行事后处理，这往往为时已晚。而以计算机视觉与模式为基础的视频分析技术，能够自动的从纷繁的视频图像中分辨。识别和提取出关键目标的有用信息，可以做到事前预警，事中处理。事后取证，同时也进一步丰富了视频检测的功能。利用这些优点，将视频分析技术应用于电力行业，可以解决对电气设备运行工况以及生产应用的智能判断，提升电力监控系统的智慧化水平。为电力客户管理起到减员增效的重要作用。 这几年，随着智能电网的建设以及我过对公共安全要求的提升，现在电力行业对智能分析的需求越来越迫切，电厂，电站不断引进了智能分析技术的应用，从目前来看，周界防范，入侵检测，人脸检测，遗弃物、拌线，物体搬移等这些智能算法在变电站或者转变仓库等的应用比较成熟，其它的一些应用仍需要推进，总体来说，目前由于智能技术的发展缓慢，电力行业的视频智能分析技术应用还属于比较初级阶段，因为电力行业的特点决定了其对智能分析产品的需求有自身的特殊性。比如要求设备必须具备良好的电能兼容性，防水，防爆以及必须适应服务的应用环境。可以说由于应用场景负责，误报率比较高，这一定程度上影响客户的使用体验。这是目前各个厂家需要突破的技术问题。 二、需求及具体应用
数字智能视频技术发展与应用创新
中国安全防范产品行业协会专家委员会技术组 公安部第一研究所中盾公司 资料来源：中国安防行业网 https://www.360docs.net/doc/402147663.html, 一、数字智能视频技术发展 视频监控技术经历了模拟技术和模数混合技术的发展。由于大规模视频联网、资源整合和信息共享的需要，以及多业务管理和统一联动的要求，视频数字化、网络化和智能化成为视频监控技术发展的必然趋势。 （一）智能视频技术简介 智能视频源自计算机视觉技术，计算机视觉技术是人工智能研究的分支之一，它能够在图像及图像描述之间建立映射关系，从而使计算机能够通过数字图像处理和分析来理解视频画面中的内容。运用智能视频分析技术，当发现存在符合某种规则的行为（如定向运动、越界、游荡、遗留等）发生时，自动向监控系统发出提示信号，采取某种对应措施（如声光报警器报警）或通知监控人员进行人工干预。让相关工作人员把时间和精力集中放在重要事务的处理上。 （二）智能视频技术的主要算法 智能视频技术可以实现对移动目标的实时检测、识别、分类以及多目标跟踪等功能。目前，智能视频技术的主要算法分为以下六类：目标检测、目标跟踪、目标识别、行为分析、数据融合和基于内容的视频检索。 （1）目标检测 目标检测（Object Detection）是按一定时间间隔从视频图像中抽取像素，采用软件技术来分析数字化的像素，将运动物体从视频序列中分割出来。运动目标检测技术是智能化分析的基础。常用的目标检测技术可以分为三类\[1\]：背景减除法（Background Subtraction）、时间差分法（Temporal Difference）和光流法（Optic Flow）。 1）背景减除法 背景减除法利用当前图像与背景图像的差分检测运动区域。背景减除法能够提供相对来说比较完全的运动目标特征数据，但对于动态场景的变化，如光线照射情况、摄像机抖动和外来无关事件的干扰特别敏感。 背景减除法假设视频场景中有一个背景，而背景和前景并未给出严格定义，背景在实际使用中是变化
智能视频处理分析技术
智能视频处理技术 学号：1017082020 名字：黄振华 内容：智能分析系统概述、视频技术分析. 摘要：智能视频技术（概念）就是使用计算机图像视觉分析技术，通过将场景中背景和目标分离进而分析并追踪在摄像机场景内出现的目标。智能视频技术源于人工智能的一个分支领域——计算机视觉技术。其主要概念是指，由机器自动分析视频图相源，从中识别并提取有用的关键信息，并自动控制机器进行相应的动作。智能视频技术的应用领域主要安监，如金融、交通、社会性突发事件等。智能视频分析系统是一种涉及图像处理、模式识别、人工智能等多个领域的智能视频分析产品。它能够对视频区域内出现的警戒区警戒线闯入、物品遗留或丢失、逆行、人群密度异常等异常情况进行分析，及时发出告警信息。智能视频技术不仅仅局限于提供视频画面，而且能主动对视频信息进行智能分析，识别和区分物体，可自定义事件类型，一旦发现异常情况或者突发事件能及时的发出警报，其在安防领域的应用必然有助于克服了人力疲惫的局限性，从而更加有效地协助安全人员处理突发事件。 关键字：检测、分析、处理。 智能视频技术的概述 智能视频技术（概念）就是使用计算机图像视觉分析技术，通过将场景中背景和目标分离进而分析并追踪在摄像机场景内出现的目标。智能视频技术源于人工智能的一个分支领域——计算机视觉技术。其主要概念是指，由机器自动分析视频图相源，从中识别并提取有用的关键信息，并自动控制机器进行相应的动作。智能视频技术的应用领域主要安监，如金融、交通、社会性突发事件等。 用户可以根据的视频内容分析功能，通过在不同摄像机的场景中预设不同的报警规则，一旦目标在场景中出现了违反预定义规则的行为，系统会自动发出报警，监控工作站自动弹出报警信息并发出警示音,用户可以通过点击报警信息，实现报警的场景重组并采取相关措施。针对目前智能视频技术的发展，智能视频技术的监控特点，研究智能化视频图相技术分析处理系统。 智能视频分析系统是一种涉及图像处理、模式识别、人工智能等多个领域的智能视频分析产品。它能够对视频区域内出现的警戒区警戒线闯入、物品遗留或丢失、逆行、人群密度异常等异常情况进行分析，及时发出告警信息。智能视频技术不仅仅局限于提供视频画面，而且能主动对视频信息进行智能分析，识别和区分物体，可自定义事件类型，一旦发现异常情况或者突发事件能及
数字视频技术
数字视频技术 模式识别：摄像机+计算机模仿人眼+大脑 --- 图像、视频与色彩空间的应用 图像:模拟与数字图像；处理、传输、保存、检索、显示等；数字图像是可以看作是两个变量的离散函数f(x,y) 视频:视频是一个图像序列，数字视频可以看作是三个变量的离散函数f(x,y,t)；帧率函数值可以是一个数值（灰度图像），也可以是一个向量（彩色图像） 一个基本视频通信系统的框架 视频采集系统—数字视频处理系统—视频编码系统—视频传输系统—视频解码系统—数字视频处理系统 图像的分类：二值化图像，灰度图像，彩色图像 像素：一个像素通常被视为图像的最小的完整采样 图像的空间分辨率：指图像中每单位长度所包含的像素或者点的数目 色彩空间就是表达色彩的数学模型（表达逻辑性）（需要计算机实现）（用不同方式表达同一色彩信息，因为应用不同） YUV颜色空间里，亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量，那么这样表示的图就是黑白灰度图。 彩色电视采用YUV空间正是为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题，使黑白电视机也能接收彩色信号。 数字视频技术 --- 图像处理中的数学工具 时域（空间域）:加减乘除，微积分，直方图 频域：傅里叶变换，dct（数字余弦）变换 图像变换的实质是建立输入图像与输出图像之间所有各点之间映射关系的数学关系（函数）（线性，非线性）。 熵（信息量）：混乱情况下信息量大
同空间，不同空间的转换：是为了通过转换，在保持信息量不变的情况下，找到更便于观察的方式 直方图：分析不同灰度值的浓度分布（所占百分比） 二次化的方法：1划定像素值范围2找出每个像素在图中出现的次数3横纵轴标注名称（横轴：像素值；纵轴：像素浓度比例） 卷积：选定一个对称轴相加 非线型处理：对图像局部处理线型处理：对图像全局处理 对图像平面进行直接的数据操作：空域操作 1加减乘除2线性与非线性函数变换3微分4卷积5矩阵操作 卷积在图像中的应用 用一个模板和一幅图像进行卷积，对于图像上的一个点，让模板的原点和该点重合，然后模板上的点和图像上对应的点相乘，然后各点的积相加，就得到了该点的卷积值。对图像上的每个点都这样处理。 边缘检测（卷积，依照需求选取核）：一阶导数找出变化信息，检测出边缘信息 微分在图像中的应用 Sobel检测使用两个上述的3×3卷积内核来逼近水平边缘和垂直边缘。第一个矩阵(Sx)检测垂直边缘的变化，而第二个矩阵(Sy)检测水平边缘的变化。 傅立叶变换：将原来难以处理的时域信号转换成了易于分析的频域信号（信号的频谱）。 傅立叶变换提供另外一个角度来观察图像，可以将图像从灰度分布转化到频率分布上来观察图像的特征。 傅立叶变换在图像处理以下几个话题都有重要作用： 1.图像增强与图像去噪 2.图像分割之边缘检测
智能视频分析技术未来发展前景展望
——招专业人才 上一览英才 ——招专业人才 上一览英才 智能视频分析技术未来发展前景展望 随着网络基础设施的完善，视频监控系统的发展越来越迅猛，从模拟时代转向数字时代，如今正向着智能化时代前进——智能视频分析技术的应用。 近年来在视频监控市场中，智能视频分析技术成为热点产品，诸如行为分析、车牌识别、人脸抓拍、客流统计等智能化技术，在城市管理、公共安全、银行、交通等行业得到了较广泛的应用，取得了很好的社会效益和经济效益，成为安防企业一个新的技术制高点和发展方向。 随着智能化技术的普及使用，市场渐渐不再满足于现有的智能化技术种类，而是寻求更新的算法、更丰富的业务应用、更整体化的系统应用，力求实现在应用的广度、深度上的突破。为此，安防行业已经开始进行对新一代智能视频分析技术的研究，提出了一些新的产品形态，新的应用模式，新的系统架构。这些新技术、新产品正在逐渐与市场结合，探求新的发展空间。 为此，记者走访了多家企业，他们一致认为，智能化是安防行业的发展大趋势，但离应用高峰期还差得远。现在的智能化从技术、应用角度都还是初级阶段。厂商需要从以下几个方面努力：从硬件芯片的角度，需要更强的算法处理能力的芯片；从智能算法的准确率和广度，前面还有一大段路要走；从应用的角度，现在人们还处在认识的初级阶段，以后应该还有很多很多的应用可以挖掘。 中安消技术有限公司的代表进一步解释：如今的智能技术不再只是停留在口头和演示的阶段，在未来将会有更加广泛而丰富的应用，要做好下一代智能视频监控的良好推广与深入应用，厂家和客户仍需要努力。从厂家方面，仍然要不断的完善产品核心算法技术，或者开发出更多符合各个特定场景的应用模式。用户方面，需要更好的了解智能视频分析的技术现状，理性看待视频中的“智能”。一个较为合理的观点是把现有的智能视频分析产品当做一个无用信息过滤器，或者一个高级传感器，能把大致的事件从多数无用的信息中提炼出来，但最终还是要靠人去把最后的一道关。 虽然智能化技术进入安防行业已有七、八年的时间了，从早期的技术摸索到算法的逐渐成熟，但是对于视频分析的“深度应用”却刚刚起步，虽然现在很多应用看起来有些无力，但是只要市场有需求，更多高端技术必将涌入安防市场，发展前景不容小觑。
智能视频分析技术在智能交通应用现状
智能视频分析技术在智能交通应用现状 我国智能交通已有十多年的历史，但拥堵和事故现象依然严重，甚至愈演愈烈，究竟是何原因?政府每年在交通领域的投入逐年增多，却使城市惨不忍“堵”，人们开始畅想四通八达的交通方式。于是，将目光投向智能技术的发展。可以说，未来我国智能交通建设，智能技术将牵“引着”其发展，是城市交通建设中最为核心的技术突破点。 智能视频分析技术在智能交通中的作用 智能交通首要解决智能化。通过智能视频分析技术，可以从视频中分理出一些值得关注的关键信息，并通过实时分析加工，获取交通状况信息，同时对实施现场路况作出即时反应。智能视频分析技术源自计算机视觉(CV，ComputerVision)技术。 计算机视觉技术是人工智能(AIArtificialIntelligent)研究的分支之一，它能够在图像及图像描述之间建立映射关系，从而使计算能够通过数字图像处理和分析来理解视频画面中的内容。而视频监控中所提到的智能视频技术主要指的是：“自动的分析和抽取视频源中的关键信息。”如果把摄像机看作人的眼睛，而智能视频系统或设备则可以看作人的大脑。智能视频技术借助计算机强大的数据处理功能，对视频画面中的数据进行高速分析，过滤掉用户不关心的信息，为用户提供对监控和预警有用的关键信息。 目前市场上的智能视频分析技术通常都具有以下功能：图像采集：一般图像信号通常是以压缩图像流的形式存在，将图像流解压还原成原始图像格式后再进行分析；运动物体检测，发现图像中运动的物体。当然去除了由相机自身引入的变化，外界环境引入的变化，如抖动和风；多物体跟踪：在复杂环境下，如多个运动物体，多个摄像机，运动物体之间互相遮挡，消失及重现等情况下进行有效跟踪；行为特征分析：行为特征分析是从图像中寻找满足预先设定的行为特征的事件。如车辆的停止或者突然加速，当聚集人员过多时报警，人员倒地，或者其它异常情况。 智能视频分析技术在这些智能化功能方面有所创新，如，动态背景建模技术：利用自适应高斯背景模型，能够从复杂背景中检测出运动目标。利用扩展的EM算法，为每个像素建立多个混合高斯分类模型，该模型可以自动更新，并能自适应地将每个像素分类为背景、影子或者运动前景，在复杂背景的情况下也能较好地完成运动区域的分割，能够有效克服背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响；形状信息和运动特性的融合：将运动目标的形状信息和运动特性相结合，利用分散度和面积信息，区分人、车及混乱扰动。非刚性物体(人)的运动相比于刚性物体(车辆)运动而言具有较高的平均残余光流，同时它也呈现了周期性的运动特征，据此可以将人与车区分开来，利用时间一致性约束使得分类更加准确；利用光流场分析和动态轮廓技术，结合水平集理论进行目标跟踪和轨迹描绘该系统利用活动轮廓的方法，利用封闭的曲线轮廓来表达运动目标，利用该运动目标的轮廓，确定每个物体的质心，结合LK光流法跟踪质心，结合LevelSet理论在图像序列中检测和跟踪多个运动目标；利用隐马尔可夫模型匹配时变数据，对目标行为进行特征分析：利用隐马尔可夫模型HMMs(HiddenMarkovModels)：HMMs对时变数据进行特征匹配。HMMs的使用涉及到