智慧城市中的大数据分析

智慧城市中的大数据分析

摘要：以物联网、云计算等新一代大数据技术为核心的智慧城市建设理念，是未来城市发展的全新模式。智慧城市一个重要职能就是采集、存储、分析、挖掘城市运行中所承载的大数据，具备全面感知和全面分析的能力，同时能够展示和扩展。智慧城市的建设，有利于解决城市发展问题，有利于提升城市信息管理水平。在智慧城市发展过程中必然产生大数据，因此需要通过处理大数据来体现智慧，其核心是智慧城市信息系统的大数据处理平台，其关键技术对于智慧城市的建设和运转起决定性作用，对提升城市服务、提高管理水平和城市的可持续发展具有重大的应用价值。

关键词：智慧城市；云计算；物联网；大数据；Hadoop1.智慧城市简介

智慧城市就是运用互联网+、物联网、计算机网络、云

计算等新一代信息技术手段，对城市运行系统海量数据的关

键信息进行的采集、存?Α⒅悄艽?理和分析，对社会管理、

政府管理及社会公共服务的各种需求做出智能化响应和智

能化决策支持，从而实现城市的智慧式管理和运行。智慧城

市将改变人们传统的生产、生活方式和思想观念，将原有的

粗放式模式改变为科学可持续发展的创新驱动和市场发展

模式，以满足城市的可持续发展，从而构建城市发展的全新

城市形态。智慧城的关键特征有以下几点。

1.1全面感知

智慧城市中分布大量的感知终端，通过传感器网络，捕

捉到人们的生活、生产及城市环境的多种数据。信息感知网

络应覆盖城市的个个角落，能够大量采集不同形态、不同属

性的各种数据。随着物联网技术的发展和应用，将为智慧城

市提供更多的信息资源。

1.2深度互联

智慧城市的信息感知是以多种信息网络为基础的，城市

中拥有快捷的互联通道，数据通过互联网、移动互联网和有

线电视网等网络实现陕速互联，各个部门专用网络的加入，

实现信息资源的一体化。智慧城市将大大增加信息的交互程

度，将多个分散独立的小网连接成互联互通的大网络，使网

络的价值大大提升，形成更强的驱动力。

1.3智能处理

智慧城市拥有海量级PB单位的信息数据，这些大数据是智慧城市得以正常运转、决策、控制、展示的基础，智慧

城市要具有对所拥有的海量信息进行智能处理的能力，这要

求通过大数据处理平台将收集到的数据进行效的集中存储

和处理，并对数据进行分析，产生具有价值的信息，为自主

进行判断和预测提供支持，从而实现智能决策。这一过程中

还需要体现出自我学习的能力，主要是通过数据挖掘和机器

学习，从历史信息中提炼相关的知识，指导未来的分析和处

理。在技术上，以云计算为代表的分布式处理框架和线性扩

展能力，为智慧城市的智能处理提供了有力支撑。

1.4开放应用

开放性是智慧城市的信息应用特征，信息的应用不能局

限在政府或城市管理部门对信息的掌控和分配。智慧城市应

具有信息开放式应用的能力，最终目标是要能够将处理后的

各类信息送给信息的需求者，从而完成信息的完整增值利

用，其中搭建开放式的信息应用平台是关键，通过该平台使

个体间进行信息交互，充分利用系统现有能力，大大提升智

慧城市的信息资源并产生新应用。

2.智慧城市中的大数据特征

在智慧城市中，城市的管理与服务涉及各个领域，智慧

城市中产生的大数据由于体量巨大，处理要求高，传统的信

息技术和IT架构已不能解决问题。这些大数据具有的特征如

下。

2.1数据量巨大

智慧城市中诸多领域都产生大量的数据，通常是在PB 级以上，如中国1个1000万人口的城市50年积累的医疗数

据量就达到了50PB。智慧城市的智慧化管理需要多方协同

管理，共享数据，这就需要把多领域的数据进行综合的分析

和汇集，如流行病的预防，需要综合分析人口数据、社保数

据、医保数据、医院数据等，进行这样的综合分析需要将这

些数据集中存储于大数据平台上，这是传统的数据库平台不

能完成的。

2.2种类繁多，增长迅速

智慧城市中的大数据汇集众多领域、众多行业的数据，

数据类型多样化且结构复杂，有结构化的，半结构化或非结

构化数据点大多数。靠传统的关系数据库系统己不解决其存

储问题，更谈不上进行分析。例如，银行、学校更多是结构

化的数据；交通管理包含大量的视频和图像是非结构化数

据；气向、医疗数据是半结构化的。随着社会经济的发展伴

随数据量的高速增长，如一个1000万人口的中等城市，每

天采集交通卡口过车数量数据约占几个TB。

2.3价值巨大

维克多?迈尔?舍伯恩认为“大数据的重要价值在于建立

数据驱动的关于大数据相关分析，而建立在相关分析基础上

的预测是大数据的核心！大数据让人们知道‘是什么’”。从价值层面上看，智慧城市中的大数据经过加工分析后，蕴含

了无穷无尽的价值，对城市的运行和管理起到了极大的辅助

作用。一是实现巨大经济效益，如大数据使美国零售业净利

润增长达到60%，使制造生产成本下降50%；二是能够增强

社会管理水平，在政府和公共服务领域的大数据应用，能够

提高政府部门的决策水平，增加服务效率和提升社会管理水

平，有效推动政务工作的开展，将会产生巨大社会价值；三

是能够提高安全保障能力，通过对大数据整理、分析，可以

有效地预测金融、国防、安全等领域的风险，提高国家安全

保障能力。

3.大数据处理平台构成

智慧城市建设的关键构建大数据处理平台，该平台的主

要功能是为智慧城市提供支撑环境，来实现智慧应用管理、

数据关联分析和数据深度挖掘、展示和扩展等功能。大数据

平台的组成如下：

3.1云计算公共平台

智慧城市集成海量级的数据，数据多数是非结构化的数

据，传统的关系型数据库无法进行处理，只有借助云计算的

分布式处理框架和线性扩展能力，才能满足智慧城市基础平

台的需要，目前应用比较广泛的是基于Hadoop 的分布式处理框架云平台。在海量数据存储方面，Hadoop 中的HDFS 是一个典型的海量存储系统，它采用主从结构体系，存储服

务器集群由一个主节点和众多数据结点构成，从而实现分布

式数据存储和集群冗余机制，能够把PB级的数据存放到分

布式服务器上，并提供数据安全可靠性。在对海量数据进行

综合分析和挖掘处理，其计算量非常大，分为在线计处和离

线计算。对于实时性不高的信息处理，采用离线计算平台，