H3C轨道交通地铁大数据解决方案

H3C轨道交通大数据解决方案01 02轨道交通信息化发展分析H3C 轨道交通大数据解决方案轨道交通信息化发展分析专业信息化资源整合信息共享决策支持驱动业务模式创新手工作业手工作业+个人计算机完成基础数据采集、个人报表等工作信息系统在各专业中广泛采用信息孤岛，系统分散、资源利用率不高建立统一的数据和信息管理平台，实现跨专业系统的资源整合信息共享。

信息化应用从事物性处理往智能化方向发展，有效支撑决策，实现精细化管理新技术开发促进新的管理理念和管理手段的产生，使业务创新成为可能。

大集中面向标准化组件虚拟化面向资源云计算面向服务1、部分分散的数据资源、IT 资源进行物理集中；2、实施数据和业务的整合。

1、提升IT架构的灵活性；2、提高资源利用率；3、降低运行成本。

1、IT 资源能够弹性扩展、按需服务，将服务作为IT 的核心；2、提升业务灵敏性；3、进一步大幅降低成本。

IT孤岛面向单一业务1、各专业信息系统独立设置；2、物理设备和工作负载1比1 绑定；3、独占资源。

业 务技 术轨道交通信息化发展分析数据采集前端轨道交通数据来源数据预处理数据处理融合和预测数据过滤和预处理模型匹配客流信息视频信息数据信息的比对、融合和预测•车辆•轨道•通风•供电•通信•信号•空调•给排水•AFC•FAS•BAS•PIS•OA•门禁•屏蔽门•电扶梯静态、人工采集单一模式、单一数据多模式、多方法采集多专业数据整合u遗传算法u神经网络u预测模型u模式识别u时间序列分析u回归分析u系统仿真u优化u空间分析u社会网络分析 数据采集：从单一数据来源向多专业数据整合发展 数据分析：从简单数据处理向大数据深度挖掘发展轨道交通信息化发展分析轨道交通各类监测数据+视频数据轨道交通客流特点u掌握轨道交通设备运行状态，客流状态；u进行轨道交通客流信息、限流封站发布；u突发事件的实时获取。

设备运行状态资产数据+维修数据运营管理分析u实时了解轨道交通运营管理状况、进行作业管理分析；u 预测修、预防修等。

作业管理分析客流信息智能导乘简单轨道交通信息查询服务轨道交通信息单一服务便民服务增值服务智能导航•运营公告信息手机推送•客流状态信息手机推送• 实时周边地理位置信息导航• 实时周边交通信息导航实时轨道交通运行信息，到达目的地的快速路径导航服务轨道交通信息个性化推送服务决策支持：从基础数据统计向智能化决策支持发展 信息发布：从普通查询服务向全面个性化服务发展基于大数据有机融合的数据中心借助大数据分析强大的数据整合、数据分析和数据挖掘能力，轨道交通可以充分发掘潜在的数据价值，全面提升行业的运营管理能力、科学规划能力、应急辅助决策能力及公众信息服务能力。

实现行业数据整合能力整合SCADA、FAS、BAS、ATC、AFC、ACC等专业数据，实现客流、行车、设备数据的集中统一，形成企业级数据统一视图，实现行业数据标准化。

实现客流、设备、行车、票务、运维等信息的实时统计分析，帮助管理人员及时了解路网客流、行车运营、设备资产、票卡收入、维修维护等情况，在保证地铁路网安全运营的前提下，不断提升运能、降低成本。

结合客流数据、周边环境数据、市政规划数据等，提供新线路规划的数据支持，同时可预测新增线路对路网的影响。

收集突发事件预案，形成应急预案知识库，加强安全培训和预演，在发生紧急事件情况下提供决策支持。

结合客流、行车等数据为乘客提供实时路网信息，方便乘客进行出行选择。

结合地铁线站周边环境等资源信息为乘客提供所需信息查询服务。

提行业业运营管理能力辅助路网规划科学决策突发应急事件辅助支撑提升公众信息服务能力轨道交通行业智能化运营管理战略统计分析运营评估应急辅助数据仿真信息服务行业监管大数据分析平台ACCEAM TCC PCC ISCS……FAS服务层应用层数据层地铁信息库的数据模型分类1. 资源（EQUIPMENT）列车类基础信息设备类基础信息如：列车运行计划、AFC车站终端设备信息、环境监测设备信息、电梯信息2. 资源事件（EQUIPMENT EVENT）列车类运行信息设备类运行信息如：ACC运行日志、运营报送信息、BAS数据、PSCADA数据、FAS数据、SIG行进列车信息、SIG实际时刻表、AFC设备运行状态、OIS上传信息、系统日志3. 线路（ITEM）站台类基础信息线路类基础信息4. 票卡（ACCOUNT）票卡类信息如：票务中心卡初始化信息7. 位置（LOCATION）位置类信息、渠道类信息12. 厂商（VENDOR）设备厂商信息类5. 行程（TRAVEL）票卡交易类数据如：AFC进站信息、AFC出站信息6. 财务管理（FINANCIALANGEMENT）企业财务类信息清分清算类信息如：AFC票务信息、充值信息、补票信息、退票信息、ACC财务报表、ACC票价表、ACC清分规划表、维修备件财务信息、合同财务信息8. 维护（MRO）保养、维护、大修、备件类信息9. 库存（INVENTORY）资源、备件、票卡的库存类信息10. 当事人（PARTY）工作人员、第三方合作伙伴信息11. 协议（AGREEMENT）合同类信息合约类信息13. 多媒体（MULTIMEDIA）监视信息类、乘客服务信息类、文件14. 地址（ADDRESS）联系方式类、地址类信息15. 预测（FORCAST）预测类数据地铁信息中心数据的特征数据特征l数据单位存储价值不同 高价值：AFC财务、ACC清分 中价值：线路、行程低价值：ACC日志，资源监控l实时要求不同分钟、小时、日、月、年l数据结构多样结构化-业务数据半结构化-各种日志信息非结构化-图像处理特征l调度模式不同批量任务、小批量任务、实时处理l加工特征跨域数据关联整合汇总统计关联整合+汇总数据更新、刷新使用特征l使用角色不同业务人员：低操作能力IT分析师：中操作能力数据科学家：高操作能力l使用方式不同浏览型：决策层简单查询类：业务人员复杂查询探索型：分析师高级编程型：机器学习地铁信息中心业务相关数据表现出明显的数据体量大(Volumn)、数据实时性强(Velocity)、跨域数据之间关联复杂(Varity)、数据价值不均等(Value)的大数据的4V特征。

01 02轨道交通信息化发展分析H3C 轨道交通大数据解决方案传统数据库应用程序，如刷卡进站、路程、票价信息传统数据库技术VS 大数据系统技术交易型：日常业务分析型：周期型业务大数据平台(Hadoop + MPP)如北京市过去5年内所有刷卡进站、路程、票价信息数据抽取大数据平台：•定期分析一大批数据，找趋势。

数据类型多样、量大。

•不关注数据的一致性。

•不制造数据，从其他数据库抽取数据•分析、多数据关联查询是主要操作传统数据库：•处理日常交易。

读写频繁、数据量小类型单一。

•必须保证数据一致、真实，不能出现偏差。

•制造数据，是数据产生的主要源头•增加、删除、查询、修改是主要的数据操作内容•不适合海量数据关联查询、异构数据关联操作。

不支持视频等非结构化数据处理海量数据分析慢H3C 大数据解决方案IT大数据应用安全大数据应用数据标准管理数据质量检测数据资源监测数据资源目录元数据管理无线大数据应用工业大数据应用教育大数据应用医疗大数据应用多并发ETL集中调度系统容错报警机制数据交换系统网络服务器安全非结构化ERP 应用CRM SCM 其他数据物联网ETL数据集成DS-Engine数据服务引擎开发者管理应用开发环境应用布署应用运行应用发布APPStoreDA-Engine开发创新平台大数据数据应用安装布署运维监控用户管理权限管理安全审计功能导航运维管理H3C DataEngine大数据平台用户门户MPP分布式数据库集群Hadoop集群R语言可视化数据挖掘模型建立第三方算法集成机器学习AI-Engine人工智能引擎数据操作监控场景预设政务大数据应用大数据农业旅游电信金融I T教育医疗地铁工业政务……地铁信息中心建设——技术选型地铁信息平台大数据的数据类型复杂，涵盖线路、行程、资源、清分清算信息、资源事件（包括系统日志的半结构化数据等）和GIS模型、视频、建设图纸等各类非结构化信息，单一技术平台无法满足对所有这些数据的存储和处理需求，所以地铁大数据平台的技术选择未来应以“适才适所”为原则，进行多种平台的数据集成。

主体技术平台包括： 传统数据库/数据仓库 + MPP+Hadoop+流数据处理模式，并进行深度定制与融合。

主流数据库技术对比传统OLTP数据库数据仓库一体机MPP分布式数据库Hadoop/NoSQL技术特点技术短板适用场景•基于行数据增删改•数据强一致性•行锁、多版本控制•高并发•支持各类复杂查询•支持高并发/高性能查询•支持Share Nothing 存储•并行处理•高可靠性专用硬件•适合多表关联、复杂查询•MPP+Share Nothing的高可扩展架构，PB级别数据•开放的X86 PC平台•兼容性好•对半结构化、非结构化数据的强大支持和处理能力•开放架构设计•扩展性最好•最低成本分布式架构•大数据索引困难•聚集处理的I/O高•数据批量写代价大•扩展性差•依赖高性能硬件•依赖高性能专用硬件•兼容性弱，平台迁移困难•扩展性较差•更加擅长结构化数据•并发能力一般•只处理结构化数据•平台可靠性稍差•系统规模增大时，运维负担加重•并发程度低•不适合复杂关系处理和迭代算法•更新能力弱适合一写多读•高并发事务处理•严格无丢失的高价值密度数据管理•实时复杂查询•高并发的实时分•更大规模数据的复杂关联、聚集以及数据模型加工•分钟级几十并发程度查询•批量ETL处理，预加工•海量数据存储和备份•通用大数据算法引擎地铁解决方案：OLTP+MPP+Hadoop通过异构的OLTP数据库、MPP数据库和Hadoop平台集成，构建逻辑结构上统一但物理结构上可分离的大数据架构。

OLTP数据库OLTP数据库一方面负责支撑日常事务型的处理，定期批量往大数据平台吞吐数据；另一方面整合最有价值的数据，支撑KPI、报表的及时呈现，进行高效的用户交互的数据加工MPPMPP数据库作为深度分析库，可以进行各类数据模型加工，支持对海量模型数据的OLAP分析处理Hadoop存储非结构化数据，实现标准或自定义的灵活的数据ETL加工逻辑或者数据挖掘算法功能，并且可实现海量数据的存储与简单查询决策者数据分析专家数据预处理工程师地铁AFC大数据分析示例OISPIS CCTV AFC ACC FASBASHadoop大数据预处理平台OLTP数据仓库行程域线路域MPP深度分析库乘客换乘汇总统计乘车时间汇总统计数据处理层进站信息，出站信息，购票信息客流预测CoMET指标乘客行为洞察运营指标监控财务分析应急预案1. 利用Hadoop ETL加工能力，提取用户AFC进出站信息，和购票信息，形成ODS层数据2. 在MPP内部利用复杂关联和聚集计算能力，进行数据汇总，形成基础统计信息3. 在OLTP数据仓库内部，形成用户出行路径标签和换乘特征分析的主题域，在此基础上进行OLAP分析4. 挖掘地铁乘客出行特征和规律，为地铁客流分析提供支撑，帮助实现地铁的行车组织优化、设施优化等。