大数据自助式分析解决方案
人大金仓大数据平台解决方案32
大数据： 1、容量大 2、类型多 3、存取速度快 4、应用价值高
数据采集 数据存储 关联分析
发现新知识 创造新价值 提升新能力
新一代信息技术和服务业态
大数据平台的建设目标
建设内容
1
数据集中与整合
2
数据存储与处理
3
数据交换与共享
4
数据管控与治理
大数据 平台
建设目的
资源整合、信息共享、业务协同 形成国家政府数据统一开放平台 提高服务能力与水平 促进创新服务优化管理 提升决策和风险防范水平 提高社会治理的精准性和有效性
。20.1 1.2520. 11.250 0:14:42 00:14:4 2November 25, 2020
生活总会给你谢另一个谢机会，大这个机家会叫明天 6、
。2 020年1 1月25 日星期 三上午1 2时14 分42秒0 0:14:42 20.11.2 5
人生就像骑单车，想保持平衡就得往前走
数据质量报告分析系统
分析（分析问题）
问题分析、数据质量问题报告、知识库积累
• 依据各系统的监控信息，对异常指标进行跟踪，提交相关数据质量问题报告，注重对分析过程 中知识的积累
数据质量监控系统
监控（发现问题）
及时性、完善性、合法性、准确性、唯一性监控
• 依据数据质量度量标准对其的数据实体和数据处理过程建立有效的监控机制，在第一时间发现数据质量问题，为数据 质量问题分析提供原始依据
大数据平台建设内容
ETL架构与工具 数据库软件平台
仓ETL流程结构图
金仓ETL — 全面的数据访问与平台支撑
支持符合ODBC/JDBC 接口规范的46种数据库系统
支持主流的国内外操作系统 Windows 系列/Linux系列
大数据规划方案
大数据规划方案大数据规划方案1. 引言随着现代技术的不断发展，大数据已经成为企业决策和业务发展的重要基石。
有效的大数据规划方案可帮助企业更好地管理和分析海量的数据资源，从而获得有价值的见解和优化业务流程。
本文将提供一个全面的大数据规划方案，旨在帮助企业实现数据驱动的增长。
2. 目标和范围大数据规划的首要目标是帮助企业更好地利用其数据资产，以实现商业目标。
具体而言，本规划方案将关注以下几个方面：- 建立适当的数据基础设施，包括存储、处理和分析平台。
- 优化数据采集和清洗流程，确保数据质量和准确性。
- 建立高效的数据分析和挖掘系统，以获取有价值的见解。
- 提供数据可视化工具和报告，帮助决策者快速理解和使用数据。
- 保护数据隐私和安全，确保符合法规要求和最佳实践。
3. 大数据基础设施为了有效管理和分析大数据，企业需要建立一个稳定、可扩展的基础设施。
以下是一些建议：- 数据存储：选择合适的数据库技术，如关系型数据库、文档数据库或分布式数据库，并考虑使用云存储解决方案，以提高可靠性和弹性。
- 数据处理：使用大数据处理平台，如Hadoop、Spark等，以便能够快速处理大规模数据。
- 数据集成：建立数据集成层，将不同数据源的数据整合到一个统一的数据湖或数据仓库中，以便更好地进行分析和挖掘。
- 数据备份和恢复：确保定期备份数据并建立应急恢复计划，以防止数据丢失和系统故障。
4. 数据采集和清洗数据质量是大数据分析的基石。
以下是一些数据采集和清洗的建议：- 数据源识别：确定需要采集和分析的关键数据源，并建立正确的数据源连接和接口。
- 数据采集：使用自动化工具或流程来收集和抓取数据，以避免人工错误和提高效率。
- 数据清洗：通过清洗和校验规则来清洗数据，包括去重、修复缺失值和格式化数据等。
- 数据标准化：统一数据格式和命名规范，以确保数据一致性和可比性。
5. 数据分析和挖掘数据分析和挖掘是从大数据中获取有价值见解的重要环节。
智慧校园大数据中心解决方案
智慧校园大数据中心解决方案技术创新，变革未来智慧校园智慧应用智慧决策深度互联智能服务全面感知智慧校园势在必行基础建设完成部分业务管理系统无线网络覆盖管理转型服务服务信息化师生办事难使用场景变化手机场景增多校园无线网络智慧化服务化移动化智慧化的一站式服务平台大数据中心解决方案大数据在校园广泛运用预测趋势竞争策略运营决策数据交易流程优化体现关联数据交换数据报告数据，是高校的战略资产。
数据的有效资产化，有利于对内实现数据资产增值，对外实现数据共享变现。
数据的价值管理或自我驱动能力分析数据后的结论知识数据驱动单个的分散的数字综合的可比较的数据需求驱动价值驱动制度化、标准化、数据化、自动化传统数据中心的问题优点：关系型数据库存储结构化数据；数据集中存储集中管理；数据库中心，应用和数据分离；提高了硬件利用率和数据安全性。
缺点：数仓建设不完善，不能全维度数据的关联，挖掘和预测分析；不支持非（半）结构化数据和实时流数据处理；随着数据规模不断加大，海量数据查询性能降低；缺少调度，任务和服务管理的引擎等；数据源财务系统教务系统图书馆系统学分系统BBS……统一数据标准体系数据分析数据共享服务平台应用集市数据区数据探索区实时数据查询区数据挖掘教室查询一卡通消费查询教学模型综合报表课程生命周期学生模型结构化主题数据非结构化数据存储区实时数据存储区教师主题学生主题监控视频学生档案照片数据……财务主题课程主题消费记录学生位置教室状态……档案数据地理信息主题数据区贴源数据区财务数据成绩数据教师信息教务数据……学生信息校长驾驶舱QQ校园号微哨APP一卡通集群管理安全体系分布式数据库机器学习大数据技术平台FlumeKafkaHDFSHiveSqoopYarnZooKeeper ZeppelinStormElastic SearchMapReduceSparkHBaseKylin数据处理数据治理离线数据数据接入实时数据数据工厂数据加工实时数据处理数据分析数据探索数据挖掘标准制定数据标准标准实施稽核任务数据质量稽核稽核报告数据全景元数据管理数据血缘数据应用数据服务API数据分析系统SDK应用门户模型生命周期管理数据转换数据探索建模优化流程化封装投产数据标准来源结构化数据区非结构化数据区教师主题学生主题监控视频学生档案照片数据……财务主题课程主题档案数据地理信息数据标准制定数据标准执行数据标准校验数据标准数据质量稽核稽核任务调度稽核报告稽核任务配置稽核规则配置告警配置问题处理元数据管理血缘分析数据共享全景视图元数据检索元数据影响分析元数据统计主数据管理数据平台数据治理数据标准质量稽核数据血缘稽核报告数据采集数据对接+pc端采集+移动端采集总体情况主题分析教师画像数据可视化自主化分析业务人员0门槛获取与分析数据自助查询数据、自助探索分析：在浏览器上通过简单的鼠标操作，完成自助式的明细数据筛选、导出，以及进行类似Excel 透视表的互动分析，满足自由钻取、同环比计算、自定义分组等灵活分析需要。
智慧税务大数据分析平台整体解决方案
数据增 值产品
数据应 用层
……
沙盘演练数据区
增值产 品数据区
7
大数据分析平台建设目标
通过数据平台和BI应用建设，智慧税务大数据将搭建统一的大数据共享和分析平台，对各类业务进 行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力
统一制定目标和分 析模型
600% 500% 400% 300% 200% 100%
0%
2004年
2005年
4. 税务管理与服务模式提升
◎ 由 固定周期和专项事务处理为主 提升为 以实时快速服务响应 和 动态管理为主 ◎ 由 侧重于结果分析与总结 提升为 过程与结果并重的管理与服务 ◎ 由 事后快速响应处理 提升为 事前准确预测与风险防控
系统建设的理念和准则
精准、高效、全面、便捷 • 数据准确，采集高效，信息全面，部署使用便捷 管理与服务相结合，以服务为先导 • 帮助企业提升服务品质和盈利能力 • 为消费者提供定制化的服务，优化消费体验 系统化数据采集，规避偷漏 • 以交易环节为核心，采集覆盖顾客消费行为、企业营销相关数据，通过数据关联比对甑别作弊，规避偷漏 掌握自主核心技术，立足于原创，技术领先
5.改善数据质量
从中长期看，数据仓库对智慧税务大数据分散在各个业务系统中的数据整合、清洗 ，有助于企业整体数据质量的改善，提高的数据的实用性
Page 9
目录 1
3 4 5 6
Page 10
大数据分析平台总体架构
数据 管控
IT人员
平台
流程
数
调度
据 标
平台
准
流
程
调
数 据 管 控 层
数 据 质 量 元
统一运维大数据分析平台建设方案一体化智能运维管理平台解决方案
统⼀运维⼤数据分析平台建设⽅案⼀体化智能运维管理平台解决⽅案统⼀运维⼤数据分析平台建设⽅案统⼀运维⼤数据分析平台建设⽅案⽬录第1章.⽅案概述 (4)1.1.项⽬背景 (4)1.2.需求分析 (5)1.3.建设⽬标 (6)1.3.1.建⽴统⼀运维门户 (7)1.3.2.建⽴IT异构资源的全⾯集中化管理 (7)1.3.3.建⽴全⾯准确的资产配置管理 (8)1.3.4.建⽴符合最佳实践的服务流程管理 (8)1.3.5.建⽴IT资源全⾯直观的可视化管理 (8)第2章.解决⽅案 (10)2.1.系统设计原则 (10)2.1.1.实⽤性和模块化原则 (10)2.1.2.⼀致性和开放性原则 (10)2.1.3.安全性与可靠性原则 (11)2.2.系统安全设计 (11)2.2.1.⽤户安全机制 (11)2.2.2.SSO统⼀认证 (12)2.2.3.权限分权分域 (12)2.3.系统建设⽅法 (12)2.3.1.体系架构 (12)2.3.2.功能架构 (15)2.3.3.技术架构 (16)2.3.4.部署架构 (17)第3章.功能概述 (18)3.1.运维监控系统 (18)3.1.1.统⼀运维管理 (18)3.1.2.资源监控管理 (22)3.1.3.拓扑管理 (41)3.1.4.IP地址管理 (52)3.1.5.告警管理 (55)3.1.6.业务管理 (59)3.2.3D机房管理 (63)3.2.1.监控可视化管理 (64) 3.2.2.资产管理可视化 (69) 3.2.3.机房3D图形化展⽰ (71) 3.2.4.配线可视化管理 (73) 3.2.5.容量可视化管理 (75) 3.2.6.资源分配情况管理 (77) 3.2.7.上下架可视化 (78)3.2.8.⾃定义动画 (79)3.2.9.交互式演⽰汇报 (79) 3.3.配置⽂件管理 (80)3.3.1.巡检管理 (81)3.3.2.机房虚拟现实展现 (83) 3.3.3.资产管理系统 (87)3.3.4.供应商管理 (87)3.3.5.配置建模管理 (88)3.3.6.空间资源管理 (90)3.3.7.配置项导⼊ (92)3.3.8.配置项管理 (93)3.3.9.配置项视图 (96)3.4.运维流程管理系统 (98)3.4.1.服务台 (98)3.4.2.服务设计 (105)3.4.3.服务产品设计向导 (106)3.4.4.服务流程管理 (123)3.4.5.服务量化管理 (154)3.4.6.值班管理 (170)3.4.7.任务管理 (175)3.4.8.公告管理 (176)3.4.9.移动终端运维 (177)3.4.10.报表统计分析 (179)3.4.11.第三⽅接⼝ (184)3.4.12.运维知识库系统 (185)3.5.统⼀运维⼤数据管理分析系统 (191)3.5.1.统⼀运维⼤数据基础系统 (191)3.5.2.统⼀运维数据分类管理 (191)3.5.3.运维⼤数据检索与展现 (196)3.5.4.海量⽇志⽂件分析 (200)3.5.5.指标动态基线预测 (204)3.5.6.运维⽀撑能⼒评估 (206)第1章.⽅案概述1.1.项⽬背景长沙市轨道交通集团有限公司（以下简称轨道集团）于2006年6⽉根据长政办函〔2006〕79号⽂件筹建成⽴。
中国联通云上大数据解决方案
企业数据源参差不齐大数据项目的投入较大信息孤岛现象严重大数据核心技术能力不强问题数据整合深度分析简便操作动态扩展价值变现需求云在哪儿，数据就在哪儿数据服务做为云的SaaS应用提供数据服务继承云服务的所有优点数据安全与云安全能力叠加强大灵活安全敏捷数据采集及治理产品集数据加工及展现产品集价值拓展产品集数据采集规范产品数据质量管理产品数据仓库管理产品数据资产管理产品生产流程规范产品生命周期管理产品清单查询产品在线分析产品自助查询产品可视化展现产品建模预测产品外部系统融合产品报告指引产品数据交易（采）产品数据交易（供）产品生态圈产品大数据基础能力平台行业云平台产品1产品3产品2产品NSaaS 产品316数据生产监控资产谱系血缘关系重要程度影响分析对象检索资产评估价值评估质量评估安全评估审计评估数据资产生产监控大屏资产盘点(多视角)分层视角主题域视角敏感度视角……数据采集离线实时协议资产管理技术元数据业务元数据过程元数据质量稽核稽核配置结果管理问题分析生命周期安全策略漏洞检查权限管理安全审批数据存储分层分域存储方式备份恢复安全存储周期周期标准策略管理数据资产管理全业务流程实时监控生产流程流程监控工作流设计数据流设计资产开放发布资产开放监控资产服务封装资产服务生产✓多角度•五大方法稽核数据质量;•将异常数据扼杀在源头。
数据质量检测生产进度展现•生产作业与数据生成进度的实时展现;•安全生产、实时监控•数据血缘关系可视化展示;•精确定位单点数据异常及影响范围。
数据血缘关系10.1%数据错误99%决策失败231清单查询产品4在线分析产品2自助查询产品5可视化展现产品3建模预测产品6外部融合产品生产优化智慧经营精准营销企业大数据应用场景标准应用客户服务洞察研判指引顾客来源地分析进场客户分析客户价值分析报告指引数据交易（采）数据资源方数据上传数据安全管理计算资源训练算法安全屋数据资产化医院2000张病理切片数据使用方算法上传结果输出制药公司科研机构数据交易中心孵化合作。
思迈特软件Smartbi的特色功能有那些？
Smartbi产品价值：从最终用户角度管理层：KPI监控、风险预警、绩效考核、大屏展示，移动分析，实现经营管理主题（财务、销售、人事、绩效等）的直观监控，为经营管理提供决策支持分析人员：拖拽式的自助分析、一键生成月季年等周期性分析报告、快速获取数据一线员工：报表浏览、移动端数据浏览、数据采集上报从开发过程角度开发效率：零编程，向导式、拖拽式的报表平台，开发效率极大提升；开发成本：专业的分析工具，内置多种展现方式及分析方法，开发成本低；质量保证：开发内容标准、一致，易维护，保证质量；便于维护：统一的管理平台，方便、高效地提供权限管理、系统集成方面的支持；思迈特软件Smartbi特色功能一：Excel融合分析一款面向Excel用户，将Excel和BI有机结合，让业务人员都能轻松掌握的自助式数据分析工具。
赋能企业一线业务用户，让人人都是自助分析师，促进企业的全民数字化运营。
易学易用：无需学习新BI产品，会Excel就能完成BI分析，学习成本极低。
功能强大：完整保留Excel数据加工、数据分析能力，结合自助BI丰富的数据准备、数据共享、企业级安全管控。
资源复用：大量的Excel模板能重用，企业资源得到充分利用。
效率提升：一线战斗单元随时在Excel获取最新数据分析，告别重复导数。
思迈特软件Smartbi特色功能二：企业报表思迈特软件Smartbi是企业报表平台的解决方案专家，创新的基于Office Excel实现报表设计，满足各种格式的行业监管报表、内部管理报表的需求。
包括：清单报表、交叉报表、分组报表、多源分片报表、分块报表、表单报表、图形报表、回写报表、假设分析报表、二次计算报表、套打报表、段落式报表、预警报表（Excel条件格式）、组合报表（智能评语）。
充分利用Excel的格式、图形、函数能力;满足填报、汇总、审批等数据补录需求; Excel报表、图形模板资源丰富;思迈特软件Smartbi特色功能三：图形可视化思迈特软件Smartbi大数据分析平台提供丰富的ECharts图形可视化选择，（堆积）柱图、（堆积）横条图、散点图、（堆积）面积图、折线图、组合图、瀑布图、饼图、环形图、南丁格尔玫瑰图、油量图、散点图、气泡图、雷达图、关系图、热力图、词云图。
数据仓库架构中的OLAP技术在大数据分析中的应用与效果评估
数据仓库架构中的OLAP技术在大数据分析中的应用与效果评估在大数据时代，数据分析变得越来越重要，尤其是对于企业来说，良好的数据分析可以帮助企业发现潜在的商业机会、优化运营策略以及制定精确的业务决策。
数据仓库架构中的在线分析处理（OLAP）技术在大数据分析中发挥着重要的作用，并且在应用过程中取得了显著的效果。
首先，数据仓库架构中的OLAP技术能够提供实时、多维度的分析。
大数据时代的数据量巨大且复杂，传统的关系型数据库已经无法满足对这些数据进行高效分析的需求。
而OLAP技术通过对数据进行多维度的切片、透视、切块等操作，使得用户可以迅速地从各个角度深入分析数据。
这种多维分析的能力不仅能够帮助企业发现数据之间的潜在关联，还能够帮助企业进行趋势分析、模式识别等。
其次，数据仓库架构中的OLAP技术具有高度可扩展性。
在大数据分析中，数据量的增长速度极快，传统的数据库系统可能会面临存储容量不足、性能下降等问题。
而OLAP技术采用的多维数据存储结构以及预处理技术，使得数据的查询和分析可以在多个维度上进行，并且能够通过添加更多的服务器来实现系统的扩展。
这种高度可扩展性使得企业可以更好地应对日益增长的数据量，保证分析的准确性和效率。
此外，数据仓库架构中的OLAP技术能够提供自助式分析。
在传统的数据分析中，数据科学家或者分析师需要依赖技术团队提供的报表、图表等分析结果来支持业务决策。
而OLAP技术使得数据分析变得更加自主，用户可以通过可视化的界面进行数据的探索和分析，不再需要依赖专业知识。
这种自助式分析的能力不仅提高了业务用户的工作效率，还可以促进数据驱动决策的普及，推动企业的创新和发展。
当然，要评估数据仓库架构中的OLAP技术在大数据分析中的效果，需要综合考虑多方面的因素。
首先是数据的准确性和完整性。
大数据分析的结果直接依赖于输入的数据质量，如果数据质量不好，无论采用任何技术都不可能得到准确的结果。
因此，在应用OLAP技术之前，需要确保数据源的质量可靠，可以通过数据清洗、数据归一化等方法来提高数据的准确性和完整性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
企业采购数据 企业运营数据 企业收入数据 企业支出数据
ETL处理 ETL处理 ETL处理 ETL处理
相关行业数据
ETL处理
材料数据 产品数据 合同数据 盈收数据
汇总数据 结构数据 计算数据 预测数据
ORACLE ORACLE
ORACLE ORACLE
盈
收
优势： 技术人才可以复用。
报 表
决策人员
应
支撑总数据量100TB,且100GB以下数据实时多维度数据的分析。 开发效率比较高。
Oracle/Mysql StreamInsight
MMPMIPIPI
MapReduce
...
Hadoop Cluster
Oracle/Mysql FTDW Data Marts
Oracle/Mysql Reporting Services
strom
ETL with SSIS, DQS, MDS
ERP CRM LOB APPS
•
相信相信得力量。20. 10. 162020年10月16日星期五6 时49分1 6秒20. 10. 16
谢谢大家！
件
告警数据
超过20
H件adoop组大数据基础组件
单个数据节点，热数据不要超 过1T
MPI
需要40个维度以上，复杂 数据挖掘与分析
匹配数据内存与CPU
节点计算公式
单个节点
内存
8G-16G
CPU 数据提取能力(M/分钟) 数据处理量预计维度10个(M/分钟) 处理步骤复杂度 数据网络与数据交换系数
处理为1G，预计时间(分钟) =(1024/D5)+(1024/D6)*D7*D8
Ma hou
t
数据挖 掘
报表统 计
劣势：
......
动态报 表
......
HDFS
需要专业的方向性人才处理 HDFS STORM MAHOUT
朱成 保
企业数据及商业智能平台的进化
-未来
OA
大数据存储
数据仓库
分析
CRM
ERP 视频、语音、图
片......
数据流
存储
数
数据集市
据 服
应用
务
多维度存储 服务
”
能
✓角色>云计算,数据模型设计
力
骨髓
硬件存储和计算能力
✓举例>Hadoop,HPCC和NoSQL等 ✓角色>硬件平台,集群部署
大数据平台总体架构
Big Data Sources (Raw,
Unstructured)
Sensors Devices
Bots
redis
Crawlers
Alerts, Notifications
数据已结构化数据为主
现在：
新平台改造：Hadoop(10)+redis(2)+mysql(4)
硬件故障从原来的半小时监控，提升到现在，故障预先告警，发生故障的2分钟告警到用户，分析决策 效率大大提高
支撑现在数据有50+(采集点)*500+(采集源)，每秒处理并发数实时数据2000条
每天处理数据量实时数据200G，历史综合数据1T。
2.5Ghz 480 35 2.4 1.4
100.4373333
1G数据，期望完成时间(分钟) 需要节点数 =D9/D11
10 10.04373333
总结
• 大数据解决方案：
• 业务能力：
• 访问任意数据源（关系型数据库、Hadoop、非结构化数据) 的数据整合平台
• 低成本的数据价值洞察平台
• 技术能力：
Ambari （平台管理）
Zookeeper （平台配置与调度）
Hcatalog （元数据管理）
Sqoop （数据集成）
HBase （数据存储）
HDFS （文件存储）
应用数据
数据库
日志
其他数据源
HADOOP优势
-
实际案例一 智慧能源
背景：
客户原来是从事硬件研发，每年营业额在5000万左右，随着企业规模的扩展，领导觉得对硬件设备 的故障告警不够及时。对现有的历史数据没法进行数据整合与挖掘。导致决策迟缓，故障不能够预设 告警。
• 结构化、半结构化、非结构化数据的处理能力
•
树立质量法制观念、提高全员质量意 识。20.10.1620.10.16Friday, Oct ober 16, 2020
•
人生得意须尽欢，莫使金樽空对月。18:49:1618:49:1618:4910/16/2020 6:49:16 PM
•
安全象只弓，不拉它就松，要想保安 全，常 把弓弦 绷。20.10.1618:49:1618:49Oct -2016-Oct -20
Source Systems
Oracle/Mysql Analysis Server
Business Insights Interactive Reports Performance Scorecards
组件选型标准
重要组件选择标准
节点数量设计标准
Redis组 是否有基础分析实时监控 单个Redis节点数据容量不要
•
加强交通建设管理，确保工程建设质 量。18:49:1618:49:1618:49Friday, Oct ober 16, 2020
•
安全在于心细，事故出在麻痹。20.10.1620.10.1618:49:1618:49:16Oct ober 16, 2020
•
踏实肯干，努力奋斗。2020年10月16日下午6时49分 20.10.1620.10.16
•
追求至善凭技术开拓市场，凭管理增 创效益 ，凭服 务树立 形象。2020年10月16日星期 五下午6时49分 16秒18:49:1620.10.16
•
严格把控质量关，让生产更加有保障 。2020年10月 下午6时 49分20.10.1618:49Oct ober 16, 2020
•
作业标准记得牢，驾轻就熟除烦恼。2020年10月16日星期 五6时49分16秒 18:49:1616 Oct ober 2020
ERP/CRM
付
联系人
款
订单跟
薪
踪
资
销售管
货
道
存
数据复杂度：多元性和速度
社交网 络
音频/视 频 WWeebb 22..00
WWeebb 日日志志 数数字字市市 场场 搜搜索索市市 场场 网网上上推推 荐荐
Big Data
日志文件 空间 & GPS 坐标数 据 数据集市 电子政务 气候 文本/图像
大数据解决方案-大型数据库(ORACLE)
数据仓库
据
应用
oracle
服
务
其他
服务
使用
大数据解决方案
-大数据的一些疑问
数据构成？
数据运算维度数量？
Hadoop = Big Data?
思想
业务创新和算法能力
✓举例>决策分析,销售分析,为企业的整体发展战略创造价值 ✓角色>数据挖掘,决策分析,销售分析
血液
数据建模和管理能力
“ 大 数
据
✓举例>成熟的分析、视觉化以及数据管理的全新生态系统
现在：
客户平台构成：Hadoop(40)+oracle(4)+mpi(6) 每天分析数据维度100个，1T数据，要求2小时完成复杂数据挖掘分析。
企业数据及商业智能平台的进化
-某国企统计分析
话单数据源 LBS数据源 网络数据源 其他数据源
大数据存储 （40）
MPI密集分布式 计算（6）
存储
分析
数
•
好的事情马上就会到来，一切都是最 好的安 排。下 午6时49分16秒 下午6时49分18:49:1620.10.16
•
一马当先，全员举绩，梅开二度，业 绩保底 。20.10.1620.10.1618:4918:49:1618:49:16Oct -20
•
牢记安全之责，善谋安全之策，力务 安全之 实。2020年10月16日 星期五6时49分 16秒Fri day, Oct ober 16, 2020
开发成本比较低。
统
产品稳定,后期维护简单。
计 报
用 管理人员
表
服
行
业 报
务 分析人员
表
器
劣势： 技术储备要求高
投
业务人员 高昂的硬件投资
资
并行扩展非常困难。
报
对海量的实时多维度分析,基本不能支持。
表
大数据解决方案-分布式数据库(MYSQL)
盈
企业采购数据
收
报
表
材料数据
汇总数据
企业运营数据
ETL处理
大数据&自助式分析解决方案
议程
• 大数据解决方案 • hadoop的优势 • 实际过往案例 • 自助式分析方案
大数据企业品牌腾飞的“肾上腺素”
Petabyte s
网页点击 流
Wikis/博 客
传感器
/RFID/ 设备
Terabyt
广
es
告
移 动
协协作作 电电子子商商 务务
Gigaby tes
Megab ytes
大数据解决方案 -业内通用解决方案(HADOOP/SPARK)
优势：
zookeeper集
技术人才储备多
企业 内部
群
硬件投资成本可以控制
作业调 度
决策分 析
并行扩展比较方便
系统
后期结合业务开发，实现稳定
数据