大数据平台项目方案汇报
合集下载
大数据云平台项目规划建设方案
大数据云平台项目规划建设 方案
汇报人： 2024-01-05
目录
• 项目背景与目标 • 大数据云平台概述 • 建设内容与方案 • 实施计划与时间表 • 资源需求与预算 • 风险评估与应对策略 • 效益评估与预期成果 • 总结与展望
01
项目背景与目标
项目背景
1
随着信息化和数字化的快速发展，企业、政府和 各类组织的数据量呈爆炸式增长，对数据处理和 分析的需求日益迫切。
系统设计与开发
2023年11月-2024年3月，负责人：李四
系统集成与测试
2024年4月-6月，负责人：王五
05
资源需求与预算
人员需求
数据分析师
负责数据清洗、整合、分析和建模，需 要具备统计学、数学和编程知识。
项目经理
负责整体项目的管理和协调，需要有 PMP或类似认证。
系统工程师
负责云平台的搭建、维护和优化，需 要有丰富的系统集成和运维经验。
目标受众
企业和组织的数据处理和分析人员。 业务和管理层决策者。 需要进行数据驱动决策的各类组织和机构。
02
大数据云平台概述
大数据云平台定义
01
大数据云平台是一种基于云计算 的大数据处理和分析平台，它能 够提供大规模数据存储、处理、 分析和可视化等功能。
02
它通过云计算的弹性可扩展性， 实现了对海量数据的快速处理和 实时分析，为企业和组织提供了 高效、可靠的大数据解决方案。
竞争分析
对竞争对手进行深入分析，了解其产品、技术和服务等方面的优劣 势，制定相应的竞争策略。
客户需求
深入了解客户需求，持续优化产品和服务，提高客户满意度和忠诚度 。
07
效益评估与预期成果
经济效益评估
汇报人： 2024-01-05
目录
• 项目背景与目标 • 大数据云平台概述 • 建设内容与方案 • 实施计划与时间表 • 资源需求与预算 • 风险评估与应对策略 • 效益评估与预期成果 • 总结与展望
01
项目背景与目标
项目背景
1
随着信息化和数字化的快速发展，企业、政府和 各类组织的数据量呈爆炸式增长，对数据处理和 分析的需求日益迫切。
系统设计与开发
2023年11月-2024年3月，负责人：李四
系统集成与测试
2024年4月-6月，负责人：王五
05
资源需求与预算
人员需求
数据分析师
负责数据清洗、整合、分析和建模，需 要具备统计学、数学和编程知识。
项目经理
负责整体项目的管理和协调，需要有 PMP或类似认证。
系统工程师
负责云平台的搭建、维护和优化，需 要有丰富的系统集成和运维经验。
目标受众
企业和组织的数据处理和分析人员。 业务和管理层决策者。 需要进行数据驱动决策的各类组织和机构。
02
大数据云平台概述
大数据云平台定义
01
大数据云平台是一种基于云计算 的大数据处理和分析平台，它能 够提供大规模数据存储、处理、 分析和可视化等功能。
02
它通过云计算的弹性可扩展性， 实现了对海量数据的快速处理和 实时分析，为企业和组织提供了 高效、可靠的大数据解决方案。
竞争分析
对竞争对手进行深入分析，了解其产品、技术和服务等方面的优劣 势，制定相应的竞争策略。
客户需求
深入了解客户需求，持续优化产品和服务，提高客户满意度和忠诚度 。
07
效益评估与预期成果
经济效益评估
政务大数据平台整体规划建设方案
技术选型及依据
01
02
03
04
大数据技术
采用Hadoop、Spark等大数 据处理框架，满足海量数据处
理需求。
云计算技术
利用云计算平台的弹性扩展、 按需服务等特性，提高资源利
用率和降低成本。
数据安全技术
采用数据加密、访问控制、安 全审计等技术手段，确保政务 数据的安全性和隐私保护。
标准规范
遵循国家和地方政务信息化相 关标准规范，确保平台建设的
07
培训推广与生态合作策略
培训计划和对象覆盖范围
培训计划
制定详细的培训计划，包括培训时间 、地点、课程设置等，确保培训的全 面性和系统性。
对象覆盖范围
针对不同层次和需求的政务工作人员 ，提供定制化的培训方案，包括领导 干部、业务骨干、技术人员等。
推广活动形式和内容设计
推广活动形式
采用线上线下相结合的方式，通过研讨会、讲座、展览等多 种形式进行推广，提高政务大数据平台的知名度和影响力。
和应急响应速度。
辅助决策支持模块功能
数据可视化展示
将复杂数据以图表、地图等形式直观展示，帮助决策者快速理解 数据内涵。
智能分析与预测
运用机器学习、深度学习等技术对数据进行智能分析，为决策者 提供趋势预测和决策建议。
多维度数据对比
支持对多个维度、多个指标的数据进行对比分析，帮助决策者全 面把握政务工作状况。
合规性和互操作性。
部署环境要求
硬件环境
选择高性能、高可靠的服务器 和网络设备，确保平台的稳定
运行和数据传输效率。
软件环境
采用成熟的操作系统、数据库管 理系统和中间件等软件产品，提 供良好的软件支撑环境。
网络环境
大数据平台项目方案
大数据平台项目方案
一、项目背景和目标：
随着互联网技术和物联网技术的快速发展，大数据资源得到了快速积累和广泛应用。
为了能够更好地挖掘和分析这些大数据资源，提高数据资源的利用价值，我们决定建立一个大数据平台项目。
该项目的目标是搭建一个高效、可靠、安全的大数据平台，实现大数据的存储、处理和分析，为企业的决策、运营和创新提供有力的支持。
二、项目范围和任务：
1.数据采集和存储：建立数据采集系统，通过数据抓取、传输和存储完成数据的全面采集和存储。
确保数据的完整性和数据的安全性。
大数据平台解决方案
3.数据处理：需实现数据的实时处理和离线分析，为业务提供快速、准确的数据支撑；
4.数据安全：需确保数据安全和合规性，遵循国家相关法律法规；
5.数据应用：需提供丰富的数据挖掘和可视化功能，辅助企业决策。
三、解决方案
1.数据采集与传输
（1）采用分布式数据采集技术，实现对多源异构数据的实时采集；
（2）设计高效的数据传输机制，确保数据传输的实时性和完整性；
（1）数据挖掘
结合业务需求，运用机器学习、深度学习等算法，进行数据挖掘和智能分析。
（2）可视化展示
采用可视化工具，将分析结果以图表、地图等形式进行展示，提高决策效率。
四、实施策略
1.项目规划：明确项目目标、范围、时间表和资源需求；
2.技术选型：根据业务需求，选择合适的大数据技术栈；
3.团队建设：组建专业的项目团队，包括项目经理、开发人员、数据分析师等；
（3）对采集的数据进行预处理，包括数据清洗、去重、转换等，提升数据质量。
2.数据存储
（1）采用分布式存储技术，构建可扩展的大数据存储平台；
（2）根据数据类型和业务需求，选择合适的存储引擎，如HDFS、HBase、Kudu等；
（3）设计合理的存储策略，实现数据的高可靠性和高性能。
3.数据处理与分析
（1）采用大数据处理框架（如Spark、Flink等），实现数据的实时处理和离线分析；
2.技术风险：选择成熟的大数据技术和工具，降低技术风险；
3.项目管理风险：加强项目进度管理和沟通协作，确保项目按时按质完成；
4.法律合规风险：遵循国家法律法规，确保项目合法合规。
六、总结
本方案旨在为企业提供一套合法合规的大数据平台解决方案，实现数据的高效存储、计算和分析。通过构建完善的数据治理体系，确保数据的真实性、准确性、完整性和安全性。同时，借助数据挖掘和可视化技术，助力企业挖掘潜在商机，提升决策水平。在实施过程中，需关注风险防范，确保项目顺利推进。
4.数据安全：需确保数据安全和合规性，遵循国家相关法律法规；
5.数据应用：需提供丰富的数据挖掘和可视化功能，辅助企业决策。
三、解决方案
1.数据采集与传输
（1）采用分布式数据采集技术，实现对多源异构数据的实时采集；
（2）设计高效的数据传输机制，确保数据传输的实时性和完整性；
（1）数据挖掘
结合业务需求，运用机器学习、深度学习等算法，进行数据挖掘和智能分析。
（2）可视化展示
采用可视化工具，将分析结果以图表、地图等形式进行展示，提高决策效率。
四、实施策略
1.项目规划：明确项目目标、范围、时间表和资源需求；
2.技术选型：根据业务需求，选择合适的大数据技术栈；
3.团队建设：组建专业的项目团队，包括项目经理、开发人员、数据分析师等；
（3）对采集的数据进行预处理，包括数据清洗、去重、转换等，提升数据质量。
2.数据存储
（1）采用分布式存储技术，构建可扩展的大数据存储平台；
（2）根据数据类型和业务需求，选择合适的存储引擎，如HDFS、HBase、Kudu等；
（3）设计合理的存储策略，实现数据的高可靠性和高性能。
3.数据处理与分析
（1）采用大数据处理框架（如Spark、Flink等），实现数据的实时处理和离线分析；
2.技术风险：选择成熟的大数据技术和工具，降低技术风险；
3.项目管理风险：加强项目进度管理和沟通协作，确保项目按时按质完成；
4.法律合规风险：遵循国家法律法规，确保项目合法合规。
六、总结
本方案旨在为企业提供一套合法合规的大数据平台解决方案，实现数据的高效存储、计算和分析。通过构建完善的数据治理体系，确保数据的真实性、准确性、完整性和安全性。同时，借助数据挖掘和可视化技术，助力企业挖掘潜在商机，提升决策水平。在实施过程中，需关注风险防范，确保项目顺利推进。
大数据云平台项目规划建设方案
需求分析与评估
总结词
需求细化、优先级排序、风险评估
详细描述
将业务需求和技术需求进行细化，明确各项需求的优先级和实现路径，同时对项目需求进行风险评估，包括资源 、技术、市场等方面的风险，为后续项目计划制定提供依据。
03
项目总体规划
项目整体架构设计
架构设计原则
基于模块化、松耦合、可扩展等原则进行设计，同时考虑高可用性 、安全性、稳定性以及可扩展性等因素。
根据项目需求和实际情况，选择合适 的云平台，如阿里云、腾讯云等。
02
资源规划
根据系统规模和性能要求，规划云平 台所需资源搭建
在选定的云平台上创建部署环境，包 括操作系统、网络环境、数据库等。
性能测试
对部署好的系统进行性能测试，确保 系统能够满足项目需求。
05
运维管理体系建设方案
运维管理策略
制定运维管理策略，包括监控、部署、安全、备份等方 面的策略，以确保系统稳定运行和数据安全。
运维管理流程
明确运维管理流程，包括问题管理、变更管理、配置管 理等方面的流程，以确保运维工作的规范化和高效化。
监控预警与应急响应方案
监控预警
通过建立完善的监控预警系统，实现对系统运行状态 的实时监控和预警，及时发现和解决问题，避免故障 的发生。
项目进度管理与风险管理计划
项目进度管理
制定详细的项目时间表，包括各阶段的时间节点和里程碑，并采用甘特图等工具进行进度监控。
风险管理计划
识别项目中可能出现的风险及影响，制定相应的应对措施和备选方案，确保项目顺利进行。
项目验收与转交方案
项目验收方案
制定详细的验收标准和流程，包括功能测试、性能测试、安 全测试等，确保项目满足预期目标。
工业大数据生产管控一体化平台方案 V2
对常见的异常情况进行分类和总结， 制定相应的处理预案。
加强与供应商、客户的沟通与协作， 共同应对异常情况对生产的影响。
04
质量追溯与防伪防窜货系统建设
质量追溯体系建设方案
确立追溯标准与流程
制定完善的质量追溯标准和流程，明确追溯信息的内容、格式和采集方式。
数据采集与整合
通过物联网技术，实时采集生产现场的数据，包括原料信息、生产工艺参数、 质检结果等，并将其整合到追溯系统中。
故障预警和远程诊断功能开发
故障预警模型构建
基于历史数据和机器学习算法，构 建故障预警模型，实现对设备故障
的提前预警。
远程诊断技术支持
通过远程监控中心，专家可以对设 备进行远程诊断，及时定位故障原
因，提出解决方案。
故障处理流程优化
建立完善的故障处理流程，提高故 障处理的效率和准确性，减少因设
备故障带来的生产损失。
05
设备远程监控与维护支持服务
设备状态实时监测技术实现
数据采集技术
通过传感器、物联网技术等手段，实时采集设备的运行状态数据，包 括温度、压力、转速等关键指标。
数据传输技术
利用无线通讯技术，将采集到的设备数据实时传输到远程监控中心， 确保数据的及时性和准确性。
数据处理技术
对采集到的数据进行清洗、整理和分析，提取出反映设备状态的特征 参数，为后续的故障预警和远程诊断提供数据支持。
追溯信息可视化
为消费者提供便捷的追溯信息查询服务，通过扫描产品上的二维码或条形码， 即可查看产品的详细信息，包括生产日期、生产批次、质检报告等。
防伪防窜货技术手段探讨
防伪码技术
为每个产品分配唯一的防伪码， 消费者可通过官方渠道验证防伪 码的真伪，从而确保购买到正品
《省级智慧农业大数据平台项目规划建设方案》
02
项目建设内容与技术方案
数据采集与存储方案
总结词
全面、高效、稳定的数据采集与存储方案
详细描述
方案将采用分布式数据采集与存储技术，针对农业生产、经营、管理、服务 等多源异构数据，建立统一的数据接口，实现全面、高效、稳定的数据采集 与存储。
数据处理与分析方案
总结词
高效、智能的数据处理与分析方案
详细描述
省级智慧农业大数据平台项目规划 建设方案
汇报人：xx 2023-10-26
contents
目录
• 项目背景与目标 • 项目建设内容与技术方案 • 项目实施步骤与计划 • 项目资源保障与风险管理 • 项目效益评估与可持续发展 • 项目总结与展望
01
项目背景与目标
项目背景介绍
当前，随着信息技术的快速发展和普及，智慧农业已成为现 代农业发展的重要方向。为了更好地推动我省农业现代化进 程，提高农业信息化水平，特制定本规划建设方案。
技术资源
采用先进的大数据技术和云计算平 台，整合农业数据资源，为项目提 供强大的技术保障。
资金资源
合理分配项目预算，确保项目各项 费用的充足供应，推动项目的顺利 实施。
物资资源
提前安排项目所需物资，如硬件设 备、软件工具、网络设备等，确保 项目的顺利进行。
项目风险管理
风险识别
风险评估
识别项目中的潜在风险，如技术难题、数据 安全问题、资金短缺等。
通过大数据技术的应用，推动农业数字化转 型，提高农业生产和管理效率，促进农业现 代化发展。
提升农业灾害防控能力
促进农业可持续发展
通过智慧农业大数据平台的建设，可以提升 农业灾害防控能力，减少农业灾害损失，保 障农业生产安全。
大数据平台数据治理项目建设方案
大数据平台数据治理项目建设方案目录一、项目背景与目标 (2)1.1 项目背景 (2)1.2 项目目标 (3)二、项目需求分析 (5)2.1 数据治理原则 (6)2.2 数据治理范围 (7)2.3 数据治理流程 (8)三、项目内容与任务 (10)3.1 数据治理架构设计 (11)3.2 数据质量提升 (12)3.3 数据安全保障 (13)3.4 数据资源管理 (14)3.5 数据治理机制建设 (16)四、项目实施计划 (16)4.1 项目时间表 (18)4.2 项目阶段划分 (18)4.3 项目责任分配 (19)五、项目资源保障 (20)5.1 人力资源保障 (22)5.2 物力资源保障 (23)5.3 资金保障 (24)六、项目风险与应对措施 (25)6.1 项目风险识别 (27)6.2 项目风险评估 (28)6.3 项目风险应对措施 (30)七、项目监控与评估 (30)7.1 项目进度监控 (31)7.2 项目质量评估 (33)7.3 项目效益评估 (33)八、项目总结与展望 (34)8.1 项目成果总结 (36)8.2 项目经验教训 (37)8.3 项目未来展望 (38)一、项目背景与目标随着信息技术的迅猛发展，大数据已经成为企业和社会发展的重要驱动力。
大数据平台作为汇聚、处理和分析海量数据的核心基础设施，其建设对于提升企业的数据驱动决策能力、优化业务流程、降低成本等方面具有重要意义。
我们面临着数据治理体系不完善、数据质量参差不齐、数据安全隐患等问题，这些问题严重制约了大数据平台的稳定运行和高效利用。
本项目的目标是构建一个统规范、安全的大数据平台数据治理体系，实现数据的标准化管理、自动化处理、智能化分析，为企业的决策提供有力支持。
建立完善的大数据平台数据治理体系，包括数据标准、数据质量、数据安全等各个方面；本项目的实施对于提升企业的数据治理能力和大数据平台的应用水平具有重要意义，将为企业的数字化转型和创新发展注入新的活力。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
明确网优大数据安全管理职责，由网优中心负 责大数据使用全部环节的安全管理，做到核心 数据不出机房，先脱敏再使用，用多少取多少。 通过4A管控访问大数据平台，采用防病毒软 件、防火墙和专业漏洞扫描软件进行安全加固 和漏洞扫描，保证整个系统的安全性。
总体要求 落实
安全管理 制度
根据总部管理办法制定网优中心大数据安全与风险防控 管理细则，明确内部安全管理要求和对外合作风险防控 要求，建立网优大数据“分层、分权、分级”管理制度。 在网优大数据的采集、传输、存储、使用、共享、销毁 六个环节，采用加密、模糊化处理、限制访问和批量导 出限制等手段进行保护，防止用户敏感信息泄露。
业支 大数据平台
软采XDR （UU、X2） 硬采XDR MR Data （MRO、MRE）
工参、参数、告警
FTP传输、解压、归档 FTP传输、解压、归档
Hadoop最终实现方案将采用“瀑布式”数据对接， 实现随传随呈现，全自动化对接。当前业支大数据 平台不支持Spark架构，处理效率有待提升。
网优 MR服务器/ 网优平台
大数据平台项目方案
一
平台开发进展和架构说明
二
部分分析成果演示
三
下一步开发计划
四
案例演示
2
大数据网优项目整体完成情况汇报
截止三月中旬，大数据网优项目已经完成相关功能开发，目前正在对全省数据进行轮巡分析。 重要事件 整体开发计划：
定位技术突破
1. 系统Demo版本开发 09/25 11/15 数据源解 析入库 完成试用版本
当前方案处理性能主要受服务器I/O性能的限制，光邵阳、湘潭两市一 天的数据仅解压时间都超过了12小时。通过给特定服务器增加固态硬 盘可以使平台整体I/O性能得到增长，缩短数据处理时间。
数据采集&预处理服务器集 群（201/202/203/208）
4
大数据系统系统架构说明
网优大数据系统做为公司大数据平台应用层：数据源来源于业支大数据平台，基础运算功能植入业支大数据 平台，网优输出结果可实现共享，支撑“网络+市场”联合分析、协同发展。
界面加速 性能 优化 功能增加
2.系统Beta版本开发 11/16 12/15
Hadoop改造，接口 联调
3.系统正式版本开发 12/16 1/28
全省推广和功能“挑刺”
4.平台上线试用 2/10 04/30
关键时间点
多项功能增加
完成测试版本
完成Beta版本测试
完成商用版本
全省上线使用并最终评分验收
工测试每小时可以采集到720个采样点）
长沙
数据源 MRO 1天（T）解压后 6.5 数据源 MRO 软采 S1-U S1-MME
湘潭
1天（T）解压后 1.89 0.82 1.4 0.24 2.9千万 数据源
邵阳
1天（T）解压后
MRO
软采 S1-U S1-MME
2.65
1.12 2.10 0.41
软采
SPARK业务质量计 网优平台 MR Data
采集层 （网优大数据平台）
共享层 （网优大数据平台）
应用层 （网优大数据平台） GIS服务器
数据采集存储
Oracle集群定位计 算
Oracle集群关联计 算 Oracle集群业务质 量计算
数据 录入
JAVA数据预过滤、 回填等预处理
安全防护 加固
全流程安 全管控
四个落实：
敏感信息脱敏 关键数据防复制 接入4A管控 分权分域授权
6
一
平台开发进展和架构说明
二
部分分析成果演示
三
下一步开发计划
四
案例演示
7
功能开发计划完成情况
弱覆盖
覆盖类指标 评估 干扰评估 掉线分析 低速率分析
开发进度
落地进度 • 已完成长沙、邵阳、湘潭数据呈现，现场 已开始利用平台进行覆盖评估； • 通过地市公司使用挑刺，已收到意见反馈 10多条，已完成整改8条；
Gn口话单
字段推送
字段推送
网优Hadoop集群 （210/211/212/213/214）
前端服务器 (204)
GIS服务器 (209)
2/3G业务流量
查询、抓取 Java工具入库
支持前端呈现
支持地图呈现
当前数据对接方案
网管 （DPI、MR服务器）
数据推送
数据库集群 （205/206/207/215/216）
技术难点
数据源完整性 排查
多数据源清洗 和快速入库解 析
数据库逻辑 优化
GIS界面深 度定制开发
大数据联 合运算效 率提升
关联算法 优化
进化版APP 定位算法设 计
Hadoop数据对接在线运算 集中化生产接口联调
集中化、自动化生产 功能优化
3
大数据系统系统架构说明
网优大数据系统做为公司大数据平台应用层：数据源来源于业支大数据平台，基础运算功能植入业支大数据平 台，网优输出结果可实现共享，支撑“网络+市场”联合分析、协同发展。 Hadoop数据对接最终方案
目标架构：
软采XDR
采集层 （业支大数据平台） HADOOP数据录 入、归档 SPARK数据地市分 拣、过滤、回填等 预处理
共享层 （业支大数据平台） SPARK定位计算 SPARK关联计算
应用层 （网优大数据平台） GIS服务器 分析服务器 前台服务器
硬采XDR
MR Data
工参、参数、 告警
数据 录入
S1-U S1-MME
3.5
5 1
采样点数
有效采样点数 界面呈现采样点数
8千万
2千万 114万
采样点数
采样点数
有效采样点数 界面呈现采样点数
分析服务器
前台服务器
5
大数据网优安全防控措施介绍
16年总部安排湖南公司牵头编写了《网优大数据安全管理办法(征求意见稿)》（ 网通 [2016] 173 号文） ，从总体要
求、安全管理制度、全流程安全管控、安全防护加固四方面对网优大数据安全进行了规范与要求。湖南公司积极 落地总部要求，在建设大数据平台时同步实现了各项安全管控措施。
重叠覆盖 越区覆盖
100% 100% 100% 100% 100% 100% 60% 60%
• 下一步将进行全省逐步推广及平台功能挑 刺，对各地市反馈需求汇总分析、进一步 优化功能输出。
竞对分析
室分外泄 用户投诉 驻留比评估
5月底完成 5月底完成 8
数据规模及处理效率
当前大数据平台接入了长沙、邵阳、湘潭三个地市的数据，数据源类型包括MRO、软采X2、UU接口XDR和硬 采S1MME和S1U接口XDR数据。经过筛选、处理完成后，结果等效于约400小时的人工测试量输出结果。（人
总体要求 落实
安全管理 制度
根据总部管理办法制定网优中心大数据安全与风险防控 管理细则，明确内部安全管理要求和对外合作风险防控 要求，建立网优大数据“分层、分权、分级”管理制度。 在网优大数据的采集、传输、存储、使用、共享、销毁 六个环节，采用加密、模糊化处理、限制访问和批量导 出限制等手段进行保护，防止用户敏感信息泄露。
业支 大数据平台
软采XDR （UU、X2） 硬采XDR MR Data （MRO、MRE）
工参、参数、告警
FTP传输、解压、归档 FTP传输、解压、归档
Hadoop最终实现方案将采用“瀑布式”数据对接， 实现随传随呈现，全自动化对接。当前业支大数据 平台不支持Spark架构，处理效率有待提升。
网优 MR服务器/ 网优平台
大数据平台项目方案
一
平台开发进展和架构说明
二
部分分析成果演示
三
下一步开发计划
四
案例演示
2
大数据网优项目整体完成情况汇报
截止三月中旬，大数据网优项目已经完成相关功能开发，目前正在对全省数据进行轮巡分析。 重要事件 整体开发计划：
定位技术突破
1. 系统Demo版本开发 09/25 11/15 数据源解 析入库 完成试用版本
当前方案处理性能主要受服务器I/O性能的限制，光邵阳、湘潭两市一 天的数据仅解压时间都超过了12小时。通过给特定服务器增加固态硬 盘可以使平台整体I/O性能得到增长，缩短数据处理时间。
数据采集&预处理服务器集 群（201/202/203/208）
4
大数据系统系统架构说明
网优大数据系统做为公司大数据平台应用层：数据源来源于业支大数据平台，基础运算功能植入业支大数据 平台，网优输出结果可实现共享，支撑“网络+市场”联合分析、协同发展。
界面加速 性能 优化 功能增加
2.系统Beta版本开发 11/16 12/15
Hadoop改造，接口 联调
3.系统正式版本开发 12/16 1/28
全省推广和功能“挑刺”
4.平台上线试用 2/10 04/30
关键时间点
多项功能增加
完成测试版本
完成Beta版本测试
完成商用版本
全省上线使用并最终评分验收
工测试每小时可以采集到720个采样点）
长沙
数据源 MRO 1天（T）解压后 6.5 数据源 MRO 软采 S1-U S1-MME
湘潭
1天（T）解压后 1.89 0.82 1.4 0.24 2.9千万 数据源
邵阳
1天（T）解压后
MRO
软采 S1-U S1-MME
2.65
1.12 2.10 0.41
软采
SPARK业务质量计 网优平台 MR Data
采集层 （网优大数据平台）
共享层 （网优大数据平台）
应用层 （网优大数据平台） GIS服务器
数据采集存储
Oracle集群定位计 算
Oracle集群关联计 算 Oracle集群业务质 量计算
数据 录入
JAVA数据预过滤、 回填等预处理
安全防护 加固
全流程安 全管控
四个落实：
敏感信息脱敏 关键数据防复制 接入4A管控 分权分域授权
6
一
平台开发进展和架构说明
二
部分分析成果演示
三
下一步开发计划
四
案例演示
7
功能开发计划完成情况
弱覆盖
覆盖类指标 评估 干扰评估 掉线分析 低速率分析
开发进度
落地进度 • 已完成长沙、邵阳、湘潭数据呈现，现场 已开始利用平台进行覆盖评估； • 通过地市公司使用挑刺，已收到意见反馈 10多条，已完成整改8条；
Gn口话单
字段推送
字段推送
网优Hadoop集群 （210/211/212/213/214）
前端服务器 (204)
GIS服务器 (209)
2/3G业务流量
查询、抓取 Java工具入库
支持前端呈现
支持地图呈现
当前数据对接方案
网管 （DPI、MR服务器）
数据推送
数据库集群 （205/206/207/215/216）
技术难点
数据源完整性 排查
多数据源清洗 和快速入库解 析
数据库逻辑 优化
GIS界面深 度定制开发
大数据联 合运算效 率提升
关联算法 优化
进化版APP 定位算法设 计
Hadoop数据对接在线运算 集中化生产接口联调
集中化、自动化生产 功能优化
3
大数据系统系统架构说明
网优大数据系统做为公司大数据平台应用层：数据源来源于业支大数据平台，基础运算功能植入业支大数据平 台，网优输出结果可实现共享，支撑“网络+市场”联合分析、协同发展。 Hadoop数据对接最终方案
目标架构：
软采XDR
采集层 （业支大数据平台） HADOOP数据录 入、归档 SPARK数据地市分 拣、过滤、回填等 预处理
共享层 （业支大数据平台） SPARK定位计算 SPARK关联计算
应用层 （网优大数据平台） GIS服务器 分析服务器 前台服务器
硬采XDR
MR Data
工参、参数、 告警
数据 录入
S1-U S1-MME
3.5
5 1
采样点数
有效采样点数 界面呈现采样点数
8千万
2千万 114万
采样点数
采样点数
有效采样点数 界面呈现采样点数
分析服务器
前台服务器
5
大数据网优安全防控措施介绍
16年总部安排湖南公司牵头编写了《网优大数据安全管理办法(征求意见稿)》（ 网通 [2016] 173 号文） ，从总体要
求、安全管理制度、全流程安全管控、安全防护加固四方面对网优大数据安全进行了规范与要求。湖南公司积极 落地总部要求，在建设大数据平台时同步实现了各项安全管控措施。
重叠覆盖 越区覆盖
100% 100% 100% 100% 100% 100% 60% 60%
• 下一步将进行全省逐步推广及平台功能挑 刺，对各地市反馈需求汇总分析、进一步 优化功能输出。
竞对分析
室分外泄 用户投诉 驻留比评估
5月底完成 5月底完成 8
数据规模及处理效率
当前大数据平台接入了长沙、邵阳、湘潭三个地市的数据，数据源类型包括MRO、软采X2、UU接口XDR和硬 采S1MME和S1U接口XDR数据。经过筛选、处理完成后，结果等效于约400小时的人工测试量输出结果。（人