基于大数据的供水管网风险可视化分析的研究与应用

基于大数据的供水管网风险可视化分析的研究与应用发表时间：2019-07-22T15:43:34.837Z 来源：《基层建设》2019年第13期作者：颜愉愉[导读] 摘要：供水管网是城市生命线之一，随着城市的快速发展以及供水规模的不断扩大，地下供水管网的体系越来越庞大和复杂，面对管网老化、管网非正常工况运行等容易造成管网事故的隐患，传统的管网风险评估方法存在以经验判断为主，缺少充足数据支撑的问题，难以对供水范围内所有管网做到全面的分析与评估，也难以对管网进行风险预测。

上海积成慧集信息技术有限公司上海 200233摘要：供水管网是城市生命线之一，随着城市的快速发展以及供水规模的不断扩大，地下供水管网的体系越来越庞大和复杂，面对管网老化、管网非正常工况运行等容易造成管网事故的隐患，传统的管网风险评估方法存在以经验判断为主，缺少充足数据支撑的问题，难以对供水范围内所有管网做到全面的分析与评估，也难以对管网进行风险预测。

本文阐述了如何基于大数据技术，将供水管网的各类数据集成与整合在一起，进行数据分析、数据预处理、风险影响等级设置和可视化分析，实现了对供水管网动态化的风险评估，最后对基于大数据的供水管网风险评估的效益进行了分析。

关键字：大数据、供水管网、管网风险评估Study and Application of Water Supply Pipe Risk Visualized Analysis Based on Big DataYan YuyuShanghai HUGEGIS Technology Co.,Ltd, Shanghai Shanghai 200233Abstract: Water supply pipe network is the lifeline of a city. With the rapid development of cities and continual expansion of water supple scale, the system of underground water supply network is becoming more and more vast and complicated. Facing the hidden dangers which are easy to cause pipe accidents, such as pipe aging and operating in abnormal state, traditional pipe risk evaluation methods, which are mainly depended on experience and lack of data support, are difficult to achieve overall pipe analysis and assessment of entire water supply area and also difficult to predict pipe risks. This article expounds how to integrate, analyze, pretreat and visualize various water supply pipe data and set risk influence level in order to realize dynamic water supply pipe risk evaluation and finally analyze the benefit of water supply pipe risk evaluation which is based on big data. Key words: Big Data、Water Supply Pipe Network、Water Supply Pipe Risk Evaluation1.引言供水管网是城市生命线之一，承载着将“生命之源”从水厂运输到用户终端的职责，随着城市的快速发展以及供水规模的不断扩大，地下供水管网的体系越来越庞大和复杂，不同区域的管网存在材质不同、管网竣工年限不同、管网施工质量不同等问题，而管网老化、管网非正常工况运行等情况又容易造成管网漏水、爆管等事件，对居民生活及城市安全运行均会造成影响，因此供水企业对供水管网的管理难度和管理压力日益增大。

对管网运行状态进行及时的评估与处置，可以有效预防管网事故的发生，降低管网的爆漏率，提高供水安全，但由于供水管网具有分布广且埋设于地下的特点，难以具有直接且直观的评估方法，因此国内供水企业通常是将管龄较长、漏损率较高的管网作为更新改造的主要对象，同时通过日常巡检、及时维修维护等工作来保障供水管网的安全运行，这些传统的管理办法存在以经验判断为主，缺少充足数据支撑的问题，难以对供水范围内所有管网做到全面的分析与评估，也难以对管网进行风险预测。

而大数据时代的到来恰好可以解决这个问题，通过各类业务系统积累管网的静态数据和动态数据，将各类数据集成与整合在一起进行数据分析，挖掘数据之间的关联性与数据的价值，从而提供比传统手段更多维度的管网风险评估方法，为管网更新改造计划及重点维护对象提供更为精准的数据依据。

本文阐述了基于大数据技术，集成供水管网的基本台账数据、日常业务数据、实时监测数据等，通过数据分析、数据预处理、风险影响等级设置、可视化分析的过程，实现了动态化的供水管网风险评估，最后对基于大数据的供水管网风险评估的效益进行了分析。

2.供水管网数据特征分析供水管网的数据主要包括有管网基本台账数据、管网运行实时监测数据、管网日常运维数据、管网多媒体数据等，这些数据既有属性数据，又有空间数据，即包括结构化数据，又包括大量非结构化数据。

基于此，对供水管网的数据归纳了以下几个特点： 1）数据量大供水管网错综复杂，围绕着供水管网所产生的数据均具有数据量大的特征。

在供水管网GIS数据方面，据国家统计局公布数据，在2017年我国城市生活供水管道长度已达到79.7万多公里。

在供水管网运行实时监控数据方面，包括有对管网流量、压力、水质等的监测，以分钟或小时的频率进行数据采集，同样数据量巨大。

而在供水管网的日常运维数据方面，主要分为供水管网抢维修数据、巡检数据、工程数据等，据不完全统计，大型城市每月的抢维修工单数量可达上万张。

2）数据种类多供水管网中的数据包括有GIS图形数据、管网属性数据、SCADA数据、与地理位置相关的现场工单数据、工作轨迹数据、图片数据等，这些数据来自于不同的业务系统，按各自系统的规则进行存储与管理。

3）数据结构复杂随着智慧水务的发展，供水企业的信息化建设突飞猛进，不同的业务条线上逐步都开始建设专业的应用系统，从而为供水企业积累下丰富的日常业务数据。

这些业务数据有很大一部分属于非结构化数据，例如现场施工中所拍摄的照片、管网内部CCTV视频数据等。

这些数据均可真实地反映出供水管网在某一时刻的运行状态。

3.供水管网数据预处理大数据时代，在收集海量数据的同时，也会面对许多无效数据，在供水管网的海量数据中同样存在着无效数据，例如因传感器故障或通信干扰造成的实时监测数据的噪点、跳点、遗漏、离群；因GPS信号较弱或信号屏蔽造成坐标位置丢失、偏离；因设备养护出现数据重复等情况，这些数据有可能会对数据分析造成一定的干扰，因此在进行大数据分析时，需要先将数据进行预处理，对数据质量进行检测和纠正，使其更加适合挖掘。

数据预处理是一个广泛的领域，包含大量以复杂的方式相关联的不同策略和技术[1]。

本文中用到的数据预处理方式主要有： 3.1丢失数据处理在对供水管网的数据进行分析时，很少会有完整的数据，丢失数据主要出现在实时监测数据丢失、GPS定位数据丢失等，由于这些数据具有一定的规律性和延续性，因此采用特征平均值替换丢失值的方法来消除丢失数据。

3.2异常点数据处理在供水管网的压力、流量、水质等实时运行监测数据中，有时会出现一些不符合一般规律的数据，这些异常点既有可能是运行数据本身固有的波动性，也有可能是由测量误差造成的，因此需要对异常点数据进行甄别，一方面需要去除错误的异常点，以确保数据的可靠性，另一方面要对真实变化的数据进行准确分析，以反映出供水管网的异常运行状态，因此采用基于距离的技术来检测异常点。

4.供水管网风险影响等级的设置本文中用以研究的实例是CC市的供水管网数据，基于供水管网的基础数据和动态变化的业务数据，依据不同数据情况对管网的影响程度设置指标权重，建立起各指标间的关联系数。

4.1管道内在因素的风险影响等级设置 1）管材的风险影响等级设置表1管材的风险影响等级设置 Tab.1 Risk Level of Pipe Material Influence2）管龄的风险影响等级设置表2管龄的风险影响等级设置 Tab.2 Risk Level of Pipe Age Influence3）管网口径的风险影响等级设置表3 管网口径的风险影响等级设置 Tab.3 Risk Level of Pipe Diameter Influence4.2管道外在因素的风险影响等级设置 1）管道埋深的风险影响等级设置表4 管道埋深的风险影响等级设置 Tab.4 Risk Level of Pipe Buried Depth Influence2）接口方式的风险影响等级设置表5接口方式的风险影响等级设置 Tab.5 Risk Level of Pipe Interface Mode Influence3）管道维修次数的风险影响等级设置表6 管道维修次数的风险影响等级设置 Tab.6 Risk Level of Pipe Maintenance Rate Influence5.大数据分析与空间可视化供水管网风险评估的结果需要直观向供水公司的用户表达，以帮助他们理解风险评估结果并从中获取到信息，辅助他们对高风险的供水管道进行及时、有效地处置。

可视化工具把原始实验数据或仿真数据转化成人们能够理解的形式[2]。

可视化的展示分析有很多种，本文中主要运用地理空间可视化的方式对供水管道风险评估的结果进行展示。

5.1管道健康度可视化分析依据供水管道健康度的影响因素以及风险影响程度等级的划分，用不同的颜色范围反映管网的风险严重程度，并在管网GIS数据上，依据下表划分的颜色渲染规则，实现管道健康度的可视化分析。

表7管道健康度可视化分析Tab.7 Thematic Visualized Analysis of Pipe Health图1管道健康度可视化分析Fig.1 Thematic Visualized Analysis of Pipe Health 5.2管龄专题可视化分析依据管道管龄数据，生成管道管龄专题图，通过不同颜色渲染，直观地反映供水区域中的不同地方的管龄情况。