监控视频云存储系统整合方案

监控视频云存储系统

整

合

方

案

目录

一、前言 (3)

物联网与视频监控 (3)

项目运用背景 (6)

二、云计算和云存储 (8)

云计算的概念 (8)

云存储的概念和技术优势 (8)

三、云存储产品介绍 (10)

云存储核心产品 (10)

架构 (10)

优势及特点 (11)

四、现有存储与云存储对比 (12)

现有存储系统结构 (12)

云存储结构 (13)

两种存储方式详细比较 (14)

五、基于云的云存储解决方案 (17)

方案背景及概述 (17)

方案拓扑图 (19)

功能特色 (19)

一、前言

物联网与视频监控

当前，物联网技术在社会公共安全领域的综合应用时机已逐渐成熟。视频监控技术是物联网技术的重要组成部分，是感知安防的主要手段。视频监控也是应用历史相对较长、技术密集度较大的应用领域。在信息化建设深入开展的背景下，现有视频监控网络存在着缺乏深度应用的模式、监控网的智慧化程度不高、系统建设的投入产出比低等突出问题。如何用新技术改造现有的视频监控网络，使之能更好地适应物联网时代视频监控智慧化、情报化的应用需求已迫在眉睫。

视频监控系统作为面向城市公共安全综合管理的物联网应用中智慧安防和

智慧交通的重要组成部分，面临着深度应用的巨大挑战。其应用的瓶颈是视频信息如何高效提取，如何同其他信息系统进行标准数据交换、互联互通及语义互操作。解决这一问题的核心技术即是视频结构化描述技术。用视频结构化描述技术改造传统的视频监控系统，使之形成新一代的视频监控系统———智慧化、语义化、情报化的语义视频监控系统。

视频监控应用和技术的瓶颈

视频监控系统在社会管理和案件侦破等工作中有着不可替代的作用。粗略估算，"十一五"期间全国各地投入到视频监控系统建设的资金约为数十亿元。视频监控系统无论在数目还是在建设资金的规模上都非常庞大。

目前视频监控系统应用中存在一些突出问题：

1.缺少视频信息情报的标准化生成方法，进而缺少利用视频信息情报指导侦查、破案的新型警务工作模式。

2.视频信息的跨域、跨警种共享以及与其他信息系统的互联互通问题突出，跨系统的语言不统一造成信息成为一个个的孤岛，限制了大情报、大信息系统的建设及应用。

3.存储传输的问题、由于要节省大量的存储空间及传输带宽的限制，不得不对视频数据进行大量压缩，不仅造成图像模糊的问题，而且视频压缩时固定压缩比的方式不够灵活，不得不占用大量的存储空间及传输带宽。

4.高效计算的问题。由于视频监控要求计算的多功能性和实时性，而视频数据的特殊性，带来计算成本的增加，需要构建统一的用于视频监控的视频计算理论和框架。

5.视频信息化情报化警务应用各环节缺乏统一的标准和规范。所有这些问题的根本在于对视频内容的不理解，没有一个高效的、标准化的视频数据交换和视频情报提取的方法。解决这些实际问题，需要对视频结构化描述及以此技术为核心的新型视频监控系统构建进行重点研究。

视频结构化描述技术的目标及应用前景

视频结构化描述技术紧紧抓住视频内容信息处理和网络化共享应用的主线，力争经过若干年的技术攻关和系统建设，全面实现监控视频信息的情报化、视频监控网络的智慧化，强化警务视频应用的普适性。即实现以机器自动处理为主的视频信息处理和分析，并且通过技术手段转化为可用的情报；实现监控网络之间、终端之间、警种之间的信息共享和主动互操作，实现主动监控、自动联网分析等网络功能；全方位拓展视频在警务工作中的应用模式，大幅度提高技术的易用性，实现以业务民警为中心的随时随地的灵活、简单和多样的视频按需服务应用。

从应用前景看，视频监控技术所面临的巨大市场潜力为视频结构化描述提供了广阔的应用前景。IDG的研究报告显示，2009年中国视频监控市场的总体规模已达181亿美元。当前，许多国外公司已经瞄准了我国的视频监控市场。全面开展视频结构化描述技术研究和产品开发，建立完全自主知识产权的技术体系，不但对我国安防行业的健康发展极为重要，也可以大力带动相关芯片制造、软硬件产品开发等一大批民族产业的健康发展。

视频结构化描述技术及其发展战略

视频结构化描述是一种视频内容信息提取的技术，它对视频内容按照语义关系，采用时空分割、特征提取、对象识别等处理手段，组织成可供计算机和人理解的文本信息的技术。

从数据处理的流程看，视频结构化描述技术能够将监控视频转化为人和机器可理解的信息，并进一步转化为实战所用的情报，实现视频数据向信息、情报的转化。

为实现视频数据向视频情报的转化，建议采用以下三大举措突破制约视频监控建设和应用的深层问题。

1.研究关键技术，突破应用难题。在研究业务部门视频应用规律的基础上，建立监控视频结构化描述的模型，攻克一批涉及视频分割、内容提取、内容描述的关键技术。研究涉及关键应用的描述数据库管理技术、图像视频语义检索技术和相应的数据服务技术。

2.加强顶层设计，同步构建标准体系。标准化是信息共享的基础。通过对视频结构化技术自身特点和应用模式的研究，建立有关视频结构化描述的标准体系模型，制定覆盖技术实现和应用系统的标准化体系，有步骤地制定相关标准，以

规范技术研究和设备开发，指导系统建设、运行以及评估的各个方面，从源头上为视频信息情报化应用的全面展开打好基础。

3.有步骤地开展视频信息情报化系统平台的建设，逐步推动信息资源之间的整合应用。开展有关视频结构化描述数据的应用服务模式研究，制定视频结构化应用的系统及解决方案，并针对一到两个典型的应用环境，建设应用示范系统。通过系统的建设和运行，验证有关视频结构化描述系统的解决方案，探索视频监控网络与业务专网之间的数据交互和服务交互问题，尝试与其他信息系统的资源整合。

运用背景问题

随着视频采集、编码技术不断发展，ITS系统中图片和视频文件清晰度越来越高，随之而来的是对存储空间的需求也呈几何级数增长。面对庞大的数据量，以下几个问题亟待解决:

容量扩展的技术和成本

通常来说，图片信息需要在短期内（一年）保存，随着卡口和监控点数量将不断增加，需要保存的数据量将飞快增长。传统ITS系统存储架构，存在着容量扩展困难、扩展成本高、且随着设备数量增加难以统一管理等诸多问题。需要先进完善的ITS存储架构加以解决。

存储系统性能瓶颈

面对日益增长的庞大数据量和高清化的趋势，前端摄像头采集的数据本身将从容量和并发性能两个方面带来业务上的压力，传统方案中存储系统性能有限，越来越难满足增长的需求，如此一来，ITS系统对资料进行读写时将耗费系统较多资源，潜在影响系统整体性能，表现出访问延时增大等问题。

难以统一管理

随着数据量的规模增长，很容易达到单套存储系统的容量上限。在很多情况下，已经需要多套存储系统提供空间，而跨系统的数据无法进行统一的管理。存储成为一个个信息孤岛，无法有机的融合成一体的存储资源池。同时，随着设备数量的增加，设备状态的监控和日常维护也渐渐成为一个不可忽视的技术挑战。

云计算/云存储是并行计算、分布式计算、网络存储、虚拟化、等传统计算机技术和网络技术发展融合的产物，通过网络对IT资源进行大规模集中建设和共享管理,实现各种IT应用及资源的集中供给。云存储具有弹性扩展，按需分配，自动负载均衡以及更高级别的可靠性等显著优点，支持超大存储容量、超高聚合性能、便捷的共享方式以及统一管理等需求，可从体系结构上有效解决ITS系统中传统存储存在的一些问题。

二、云计算和云存储

云计算的概念

云存储是在云计算概念的基础上发展出来的，要想搞清楚什么是云存储，首先要弄清云计算的概念。

云计算（CloudComputing）的概念提出较早，但一直到2007年才有一个较为清晰的定义。目前较为流行的说法是云计算是一种新兴的商业计算模型，他是从对等计算（P2PComputing）、分布计算（DistributedComputing）、网格计算（GridComputing）等概念的基础上发展来的。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。商业化是云计算一个非常重要的特征。对广大互联网客户来说，如何使用云资源，如何把云计算转化成商业利润非常重要。云计算是以服务的形式提供给个人和企业用户。目前主要有三种云服务的形式，如下图所示：

云存储的概念和技术优势

云存储是在云计算概念上衍生和发展出来的一种技术或者服务。将网络中各类存储设备汇集在云计算系统当中，通过云计算的概念组织起来协同工作，对外提供数据存储和业务访问的功能，或与存储相关的增值应用，即称为云存储。

私有云存储是一个新型的云状结构的存储系统系统，这个存储系统由

多个服务器及存储设备组成，通过集群功能、分布式文件系统和类似网格计算等功能联合起来协同工作，并通过特定的应用软件或应用接口，对用户提供存储服务和访问服务。

当我们使用独立存储设备时，我们必须非常清楚这个存储设备是什么型号，什么接口和传输协议，必须清楚地知道存储系统中有多少块磁盘，分别是什么型号、多大容量，必须清楚存储设备和服务器之间采用什么样的连接线缆。为了保证数据安全和业务的连续性，我们还需要建立相应的数据备份系统和容灾系统。除此之外，对存储设备进行定期地状态监控、维护、软硬件更新和升级也是必须的。如果采用云存储，那么上面所提到的一切对使用者来讲都不需要了。云存储系统中的所有设备对使用者来讲都是完全透明的，任何一个经过授权的使用者都可以通过一根接入线缆与云存储连接，对云存储进行数据访问。

云存储带给用户的好处是显而易见的：

1. 更低的扩展成本：任何共享存储架构不外乎有两种方式，开放的云存储系统和封闭的IPSAN存储。在需要解决新问题的时候，封闭的架构限制了用户在技术、成本、功能和可用性方面的选择，将用户锁定在某一个品牌上，使其只能向单一厂商采购。相反，云存储其本质就是开放的架构，更佳的成本效率使其易于管理和扩展。不限制其接入主机的数量。所有的存储服务由云存储系统集中提供，从而消除了通过增加服务器扩展系统时的隐含的成本。增加存储容量与增加服务器类似，云存储系统对于它可以管理的容量和它可以建立的卷的数量没有实际的限制，用户可以自由选择他们想要提高容量的任何存储厂商以及将来需要增加的必要的数据服务。

2. 提高业务灵活性：云存储能够实现用户控制、按需分配的存储容量和性能。用户可以按照需求轻松的扩展容量，从而大大降低了对存储的依赖性，提高了业务灵活性。

3. 提高性能：云存储一般一个数据要在多个地方存放，以提高数据的安全性。这样在读取的时候，云存储管理系统应该可以控制在多个地方同时读写，从而达到性能的线性提升。

三、云存储产品介绍

云存储核心产品

私有云解决方案的云存储核心产品为大规模分布式存储系统。能够以大量的通用服务器和存储设备为基础，构建一个大规模存储集群，提供上百PB的存储容量，并能够方便的进行容量的扩充，具有良好的弹性调整性能。

架构

Master(支持HA）

管理文件系统的元数据（包括文件目录树组织、属性维护、文件操作日志记录、授权访问等）；管理整个存储系统的命名空间，对外提供单一的系

统映像；文件读写调度;文件空间回收;多节点拷贝。

ChunkServers

管理磁盘和卷;存储用户的文件数据;是整个UFS存储系统的存储资源提供者;为客户提供数据传输;由多个物理服务器组成;数据存储目录，看不见实际的数据（只有带编号的目录及文件）

客户端（计算节点）

挂接分布式文件系统；一般是应用服务器；客户端可以是各种类Unix、Linux，也可以是Windows

UCSG（云存储网关）

以Active-Active方式提供其他非客户端的标准文件协议访方式，支持NFS、CIFS协议。

UFSM（WebGui，界面管理系统）

优势及特点

系统具有以下优势及特点

●高性能，弹性扩展：

–可支持200个以上的存储节点，达到数十PB的存储容量，高效管理上百亿个文件，单目录可以有效支持千万级的文件数量。

–对外聚合带宽随节点数线性增长，高效数据读写技术和文件查询技术能够提供高达400Gbps的稳定聚合带宽以及每秒数十万个的文件查

询效率。

●高智能，易管理：

–智能负载均衡技术，保证数据在多个存储节点之间形成最优化存储，

提高每台设备的存储利用率，网络传输效率，保证整体性能最优；

–当数据节点动态增加时，系统能够清晰的自动识别这一变化，并将数据流按照一定规则分布到新加入到数据节点中，提高整体性能。

高可用：

–系统全冗余技术（包括元数据服务器集群、存储服务器集群、网关集群），不存在单点故障，保证了系统的高可用特性。

–独有的自动故障探测和高效的自动恢复和容错技术，可同时使用多条高速数据通道，消除网络层的单点故障，进一步提高系统的高可用性。

–根据用户的安全要求，数据块存在多个副本，保证单个数据节点损坏时不会产生数据丢失。用户可配置数据冗余策略。

四、现有存储与云存储对比

现有存储系统结构

分析：现有存储是通过ISCSI将磁盘阵列挂载到存储服务器上（IP存储阵列）来实现。这种存储方式的缺点主要有如下：

1.单一实体，PC架构或者运行Windows、Linux以及存储软件的专用设备，

或者是带IP连接的专有RAID系统

2.通过安装额外的软件模块来增加额外的存储服务，进行数据访问时须耗

费磁盘阵列一定的资源，读写性能受影响

3.通常需要大量的高速缓存用以补偿在随机读写时较低的磁盘性能

4.兼容性差，IPSAN存储具有单一性，不能与其它厂商的IPSAN存储互操作，

不支持异构环境

5.数据安全无保障，即使做了RAID，出现一块磁盘损坏须进行长时间校验

恢复操作，严重影响存储读写性能，如果出现两块或以上硬盘的损坏则

整个磁盘阵列的数据将全部丢失

6.大容量的系统中，这种方式构建的存储没有统一管理的机制，无法实时

监控各存储设备的运行状态

云存储结构

说明：在物理连线上与现有存储系统相似，但是工作方式完全不同。

分析：智能交通平台与云存储系统的契合点就是平台中的存储服务器，在存

储服务器上安装云存储系统客户端软件，将云存储空间提供给存储服务器使用。相比较现有存储系统，云存储有以下一些优点：

1.按需扩展。实际应用中，项目需要扩容时，只须将新增存储设备作为

ChunkServer加入云存储系统中即可实现存储扩容。

2.在云存储系统中，数据大小、存放位置等结构化数据全部由Master管理，

磁盘阵列（ChunkServer）只负责实际数据的读写，提高了磁盘阵列自身

的性能。

3.无论是随机还是顺序读写，性能都是线速的，具备较高载荷性能。

4.高可靠。Master端采用双机热备方式实现对元数据的保护；Chunkserver

端按照数据重要性设置复制因子，实现对数据的冗余保护。

5.提供界面管理系统，对系统内所有设备统一管理，且实时监控运行状态。两种存储方式详细比较

?性能

IPSAN存储阵列

在所有的ISCSI存储模式中，与存储访问性能相比，网络的性能通常可以忽略不计。这一点对于选择一个能够处理所有接入服务器随机读写请求的存储解决方案是十分重要的。随机读写性能比顺序读写性能更具重要性。

IPSAN存储产品一般被设计为一个RAID控制器下连接8到15颗SATA或ATA的磁盘驱动器，通常使用512MB高速缓存。依据不同的厂商，IPSAN存储的性能被设定在顺序每秒IO为100MB到200MB之间，但是在一个多服务器环境中，顺序读写性能对于读取数据周期，备份操作或者数据复制会话而言是不切实际的。所有已连接服务器的随机IO请求可能会使IP存储阵列中

的高速缓存处于饱和状态，因为对于大量的读写请求，磁盘驱动器无法实现足够地快速响应。这同时会导致内存溢出或者过多的经由网络层的重复发送请求。这种情况会导致网络过载，并且使得IPSAN存储的性能急剧下降。

当增加更多的服务器以及通过增加磁盘驱动器或者网络上额外的链接存储扩展存储空间时，这种情况会变得更加严重。另外，当逻辑卷物理地分散在网络中多个独立的存储上时，IPSAN存储的随机读写性能可以显著地影响服务器性能。如果需要的数据不在服务器相应的主IPSAN存储的挂载卷上，那么这台阵列必须从网络上的其它存储阵列上读写数据块，然后通过其自身传递该数据块并且转发到服务器，这就是“IO跳跃”，其相当程度地影响了服务器性能。

在读写数据操作期间，特别是在随机条件下，“IO”跳跃可以导致性能降低到原来的三分之一。一些阵列厂商，很大程度上依靠增加高速缓存或者IPSAN存储的数量来弥补可怜的磁盘性能，但是高速缓存只有在全部服务器的总体性能要求总是低于存储系统所能提供的性能时才是有用的；如果不是这样，高速缓存将会饱和，并且使得应用服务器显著变慢。而且高速缓存没有得到很好地保护，任何电力问题都会引起高速缓存中的数据丢失或者被损坏，从而导致数据不可用。

云存储系统

云存储系统被设计为可以支撑高水品的随机读写操作，可以向多台相互独立的存储阵列同时读写数据，不象IPSAN存储由于其内部接入过多的存储空间导致“IO跳跃”，从而使性能显著降低。由于存储卷在多台独立的存储系统上展开，并且可以不通过其它控制器层传输数据而直接访问那些存储系

统，云存储系统可以对那些存储系统保持线速性能，而不管数据存放的位置。

有关性能的结论

IPSAN存储的性能受限于作为阵列一部分的磁盘驱动类型和高速缓存。IPSAN存储的数据卷被扩展至围绕以太网连接的多台对等阵列控制器上时，其性能可下降至不可接受的40MBs以下。云存储系统不受限于任何类型或品牌的存储阵列。此外，云存储系统性能不会因为增加更多的阵列扩展存储空间而受到影响，事实上，云存储的性能可以随着阵列的增加而提高，这是因为随机读写请求可以被扩展并且同时被多台存储系统同时处理。

?数据安全

IP存储阵列

IPSAN存储存在数据可用性问题，因为其自身将成为一个单故障点。如果出于任何原因，连接IPSAN存储的网络，RAID控制器，电源或者磁盘总线失效，那么所有使用其数据的服务器将不能在服务其客户端。一些阵列装备了冗余部件以减少由于电源，控制器或磁盘失效导致系统失效的可能性。但是IPSAN存储仍然在一个单独的阵列中保存了所有数据，因此无法保护由水灾、火灾、网络中断、停电、人为破坏和盗窃造成的系统失效和数据丢失。

云存储系统

对比IPSAN存储，云存储系统利用群集技术在多台ChunkServer之间建立失效切换和失效恢复场景，除了系统冗余之外，对相互独立的存储系统进行实时（同步）数据镜像，提供了极高的持续和容错数据环境，有效防止数据丢失，同时Master支持HA。

?隐性成本

IP存储阵列

IPSAN存储是封闭的架构。整个系统只是用于单一厂商，并且不能与其它设备、存储系统，或者IPSAN存储互操作。一旦用户选择购买了某一IPSAN 存储解决方案，如果用户打算扩展更多的应用服务，存储服务或数据容量，他们必须继续从相同的厂商购买产品。IPSAN存储厂商锁住了用户，不允许他们从下降的存储成本、新存储技术或其它可能满足工业标准或业务需要产品和功能中收益。

云存储系统

云存储系统本质就是开放的架构，更佳的成本效率使其易于管理和扩展

1）增加应用服务器

云存储不限制其接入的主机数目，对于每一台增加的服务器不需要

软件代理或许可费。用户不需要任何与云存储系统有关的投入就可

以对应用服务器进行扩展。

2）增加存储容量

增加存储容量与增加服务器类似。云存储系统对于它可以管理的容

量没有实际上的限制。当增加更多的磁盘驱动器，磁盘柜或者阵列

以增加可用容量时，不会产生与云存储相关的成本。用户可以自由

选择他们想要提高容量的任何存储厂商，并且可以充分地从不断下

降的磁盘/容量价格中获得利益。

五、基于云的云存储解决方案

方案背景及概述

图片系统存储总量估算：大型城市规模在500个路段上建有卡口设备，每个

卡口设备平均每天有2万条过车记录，每条过车记录包含1张1M的照片，通常图片需要保存一年以上。

按照此规模，存储总量将达到500*20000*1Mb*365天=456.25TB。

根据系统的存储需求，采用云海创想的作为海量存储系统。整套系统由安

装在用户服务器处的Client及在后台运营Master(Metadata)Server、ChunkServer、ManagementServer组成。

●存储服务器及分析服务器处安装Client软件包，由它来连接后台的

Server。Client是提供的客户端软件,用户通过它来访问UFS提供的存

储空间。

●MasterServers为UFS系统的元数据服务器，管理文件系统的元数据（包

括文件目录树组织、属性维护、文件操作日志记录、授权访问等），管

理整个存储系统的命名空间，对外提供单一的系统映像。

●ChunkServers为UFS的存储服务器，管理磁盘和卷，存储用户的文件

数据，是整个UFS存储系统的存储资源实际提供者。

●ManagementServer即UFS文件系统管理平台，统一管理UFS系统中的

集群节点、文件、日志、告警、网关等。

●用户也可以通过API或UCSG（云存储网关）方式连接服务器，WebClient

提供基本的文件管理功能。利用浏览器来对数据进行管理，实现上传

下载，分发共享等功能。

●除了Client，用户也可以使用各种API或UCSG（云存储网关）来访问

存储，UCSG利用标准协议进行访问，不需要在应用服务器端安装软件。

支持的访问协议包括NFSv2/3协议，CIFS（兼容WindowsXP、Windows2000、

Windows2003、Windows7等等）协议，FTP以及HTTP协议。

方案拓扑图

功能特色

本方案具有以下优势及特点：

高性能，易扩展，满足用户海量存储需求

最大可支持200个以上的存储节点，达到数十PB的存储容量，高效管理上百亿个文件，单目录可以有效支持千万级的文件数量，能够满足用户对海量存储空间的需求。对外聚合带宽随节点数线性增长，高效数据读写技术和文件查询技术能够提供高达400Gbps的稳定聚合带宽以及每秒数十万个的文件查询效率。

所有文件在写入文件系统时进行了分块处理，用户可以同时读取多个数据块，以提高数据读取效率。在容量或带宽不足时，可以通过添加数据节点进行在线扩展，无需中断业务运行。

●智能化平台，易于管理，有效降低用户整体拥有成本

当数据节点动态增加时，系统能够清晰的自动识别这一变化，并将数据流按照一定规则分布到新加入到数据节点中；当有新的用户申请数据存储时，系统同样会根据当前所有数据结点的负载情况，动态分配合适的数据结点给用户使用。这些智能负载均衡技术，保证数据在多个存储节点之间动态分配，提高每台设备的带宽、存储利用率，以及网络传输效率，保证整体性能达到最优。

具有简单易用的多语言图形化管理和监控界面，支持通过专用的安全通道进行远程配置和全系统监控。采用全局命名空间，所有应用服务器看到一致视图，方便用户数据的统一管理。

同时，具有多个实用的小工具，如快照、回收站等，降低维护难度。

●全方位高可用设计，最大程度保证业务连续性

系统关键系统均采用了全冗余设计（包括元数据节点集群、存储节点集群、网关集群），不存在单点故障，保证了系统的高可用性。

独有的自动故障探测和高效的自动恢复和容错技术，可同时使用多条高速数据通道，消除网络层的单点故障，进一步提高系统的高可用性。

根据用户的安全要求，数据块可保存多个副本，保证某些硬盘和数据节点损坏时不会产生数据丢失。

以上设计最大程度保证了业务结连性。