智慧环保云平台的设计与相关大数据分析

智慧环保云平台的设计与相关大数据分析 .................................................................. I 摘要 ................................................................................................................................ I ABSTRACT ................................................................................................................... III 目录 ............................................................................................................................... V 图录 .............................................................................................................................. IX 表录 .............................................................................................................................. XI 第一章绪论 . (1)

1.1 研究背景 (1)

1.2 研究目标 (3)

1.3 论文组织结构 (3)

1.4 本章小结 (4)

第二章相关技术研究 (5)

2.1 MongoDB (5)

2.2 Kafka (5)

2.3 Netty (7)

2.4 随机森林 (7)

2.4.1 信息增益 (7)

2.4.2 基尼指数 (8)

2.4.3 决策树 (8)

2.4.4 随机森林 (8)

2.5 城市计算 (9)

2.6 本章小结 (11)

第三章问题定义 (13)

3.1 智慧环保云 (13)

3.1.1 需求分析 (13)

3.1.2 系统搭建面临的挑战 (15)

3.2 大数据分析 (16)

3.3 本章小结 (17)

第四章智慧环保监测云平台的设计与实现 (19)

万方数据

4.1 系统整体架构 (19)

4.2 数据存储 (20)

4.2.1 存储方式 (20)

4.2.2 数据库核心表设计 (24)

4.3 消息传输 (27)

4.3.1 传输方式 (27)

4.3.2 数据采集进程 (29)

4.3.3 消息订阅进程 (30)

4.4 数据采集 (31)

4.4.1使用Netty (32)

4.4.2 数据传输格式 (32)

4.5 子系统 (33)

4.5.1 Web子系统——扬尘与噪声在线监测系统 (33)

4.5.2 iOS子系统——千里眼 (37)

4.6 性能测试 (39)

4.6.1 测试环境 (39)

4.6.2 数据读取性能 (39)

4.6.3 数据插入性能 (40)

4.7 本章小结 (41)

第五章大数据分析 (43)

5.1 空气质量的空间预测 (43)

5.1.1 智慧环保云的污染源监控点 (44)

5.1.2 污染源对附近环境质量的影响 (46)

5.1.3 建立空间预测模型 (47)

5.1.4 数据获取及预处理 (51)

5.1.5 实验与结果 (52)

5.2 空气质量的时间预测 (53)

5.2.1 数据分析 (54)

5.2.2 特征抽取 (55)

5.2.3 训练和预测 (56)

5.3 管理措施到位与颗粒物浓度控制之间的关联性 (57)

5.4 本章小节 (58)

万方数据

第六章总结与展望 (59)

6.1 全文总结 (59)

6.2 工作展望 (60)

参考文献 (61)

致谢 (65)

攻读硕士学位期间已发表或录用的论文 (67)

VII

万方数据

VIII 万方数据

图录

图1-1污染监测的APP (2)

图2-1 Kafka架构 (6)

图2-2城市计算系统 (11)

图3-1智慧环保云概览 (13)

图3-2智慧环保云的多个子系统 (15)

图3-3近年来监控点数量的增长 (16)

图3-4近年来数据量的增长 (17)

图4-1智慧环保云的系统架构 (19)

图4-2 在SAN中应用MySQL (21)

图4-3 MySQL分片存储 (21)

图4-4 MongoDB分片存储 (23)

图4-5 多个子系统与数据库的连接 (23)

图4-6 数据分片设计 (26)

图4-7 直接访问数据库 (27)

图4-8 数据采集和消息订阅通过Kafka进行解耦 (29)

图4-9 数据采集进程与Kafka的交互 (29)

图4-10 消息订阅进程与Kafka的交互 (30)

图4-11 监控设备与服务器的交互 (31)

图4-12 Web系统整体架构图 (33)

图4-13 Web系统包图 (34)

图4-14 登录界面 (35)

图4-15 地图概览界面 (35)

图4-16 实时数据界面 (35)

图4-17 历史数据界面 (36)

图4-18 曲线变化界面 (36)

图4-19 小时均值分布界面 (36)

图4-20 平均浓度报表界面 (37)

图4-21 iOS APP系统架构图 (37)

万方数据

图4-22 iOS APP类图 (38)

图4-23千里眼APP (39)

图4-24 智慧环保云的数据读取性能 (40)

图4-25 智慧环保云的数据采集性能 (41)

图5-1 国控点的数据详情 (43)

图5-2 国控点在上海的分布 (44)

图5-3 污染源监控点在上海的分布 (45)

图5-4 国控点和附近污染源监控点的PM2.5对比 (46)

图5-5 一种简单的模型特征 (47)

图5-6 监控点被圆和直线分割 (49)

图5-7 国控点和污染源监控点在模型中的整合 (50)

图5-8 最终模型特征 (51)

图5-9 需要实验的不同特征 (52)

图5-10 PM2.5随着时间的变化 (55)

图5-11 使用前n分钟的数据对当前PM2.5进行预测 (55)

图5-12 空气质量时间预测的预测值与标准值的对比 (57)

万方数据

表录

表4-1 数据库采样数据表的设计 (24)

表4-2 MySQL的索引设计 (25)

表4-3 RESTful接口设计 (38)

表5-1 不同特征组合的准确率 (53)

表5-2 PM2.5的空气质量等级定义 (54)

表5-4 大悦城地区2015年8月21日PM2.5小时均值的情况 (57)

表5-5 大悦城地区2015年9月21日PM2.5小时均值的情况 (58)

万方数据

XII 万方数据