大数据应用案例——智能报表系统建设_光环大数据培训
光环大数据培训_全球顶级的5个数据可视化案例及分析

光环大数据培训_全球顶级的5个数据可视化案例及分析光环大数据培训机构,美国Kimberly-Clark公司的全球总监Robert Abate说道:“ 每个人都认为其他所有人都在研究大数据,所以都说自己也在研究。
”一些人知道大数据的真正含义,然而其他人声称自己懂大数据,只是为了让他们看起来并不低人一等。
尽管大数据是一个热门话题,但是对许多企业和数据专业人员来说,它仍然很难理解。
不清楚其价值所在,就更谈不上该如何利用了。
大数据对企业那么有用是因为它可以给企业的许多问题提供答案,而这些问题他们先前甚至都不知道。
换句话说就是它提供了参考点。
有了这样大的信息量,公司可以用各种它们认为合适的方法重新处理数据或进行测试。
这样,就能用一种更容易理解的方式查明问题。
收集大量数据,并在数据中发现趋势,使企业能够更快、更平稳、更有效地发展。
这也可以让它们在利益和名声受损之前排除一些问题。
尤其是跟信息图表和可视元素用在一起时,能够更快地得到问题的答案。
举个销售类的例子, Abate 的团队帮助他们的客户整理数据。
他们从数据集中删除了任何不相关的或离群的数据,从而缩小到一个关键问题或用户信息统计。
这样,他们就能分辨出哪一类产品出售的多,哪一类产品没有出售,因此可能要被淘汰。
他们关注4个主要的数据:收入、频率、价值、年期。
Abate先生强调,同一时间,在任何给予的可视化范围内,超过4个数据就会让人更难跟踪。
通过淘汰没有出售的产品,他们正在减少浪费来增加未来的收入。
但是没有数据可视化,他们不可能完成这项工作。
接下来,我们就看一下,全球顶级的5个数据可视化案例。
一、航线星云关于洞察截止到2012年1月,开源网站上记载了大约6万条直飞航班信息,这些航班穿梭在3000多个机场间,覆盖了500多条航线。
通过高级分析技术,我们可以看到世界上各家不同的航空公司看起来就像是一个美丽的星云(国际星云的组成部分)。
同种颜色的圆点和粗线提供了见解,它们代表提供相同航线的航空公司,显示出它们之间的竞争以及在不同区域间的潜在合作。
一小时建立数据分析平台_光环大数据培训

一小时建立数据分析平台_光环大数据培训光环大数据培训机构,优秀的数据分析平台,首先要满足数据查询、统计、多维分析、数据报表等功能。
可惜很多分析师,工作的第一年,都是埋葬在SQL语句中,以SQL+Excel的形式完成工作,却用不上高效率的工具。
今天教大家如何搭建一套数据分析平台。
它可能是最简单的搭建教程,有一点Python基础都能完成。
比起动辄研发数月的成熟系统,借助开源工具,整个时间能压缩在一小时内完成。
优秀的数据分析平台,首先要满足数据查询、统计、多维分析、数据报表等功能。
可惜很多分析师,工作的第一年,都是埋葬在SQL语句中,以SQL+Excel的形式完成工作,却用不上高效率的工具。
说Excel也很好用的同学,请先回避一下。
另外一方面,以互联网为代表的公司越来越重视数据,数据获取不再是难点,难点是怎样敏捷分析获得洞察。
市面上已经有不少公司推出企业级的分析平台和BI,可惜它们都是收费的。
我相信不少读者听说过,但一直没有机会体验,或者老板们囊中羞涩。
现在,完完全全能免费建立一套BI系统,即可以单机版用以分析,也能私有化部署到服务器,成为自家公司的分析工具。
这一切,只需要一小时。
SupersetSuperset是一款轻量级的BI工具,由Airbnb的数据部门开源。
整个项目基于Python框架,不是Python我也不会推荐了,它集成了Flask、D3、Pandas、SqlAlchemy等。
这是官网的案例(本来是动图的,可惜压缩后也超过微信图片大小限制,吐槽下),想必设计界面已经能秒杀一批市面上的产品了,很多BI真的是浓烈的中国式报表风……因为它的前端基于D3,所以绝大部分的可视化图表都支持,甚至更强大。
Superset本身集成了数据查询功能,查询对分析师那是常有的事。
它支持各类主流数据库,包括MySQL、PostgresSQL、Oracle、Impala、SparkSQL等,深度支持Druid。
后台支持权限分配管理,针对数据源分配账户。
光环大数据的人工智能培训 让你快速掌握高薪人工智能技术_光环大数据培训

光环大数据的人工智能培训让你快速掌握高薪人工智能技术_光环大数据培训光环大数据的人工智能培训——让你快速掌握高薪人工智能技术。
近年来,科技巨头围绕人工智能产业,开展了大量的收购;标的包括人工智能初创企业、大数据公司)和芯片研发公司,人工智能以更快的速度发展中。
人工智能培训人工智能(ArtificialIntelligence),英文缩写为AI。
它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
在未来,人工智能将成为一种更常见、更重要的陪伴者。
人工智能助理会知道你在工作且有10分钟的空余时间,然后帮你完成待办事项中优先级靠前的事项。
人工智能将会让我们的生活更富成效和更具创造性。
毫无疑问,我们是在创造一个新的物种,一个在智力上可能没有上限的物种。
一些未来主义者预测,所谓的奇点,即计算机智能超越人类智能的时刻,可能会在2100年之前到来,而另一些人声称这将仍然只是科幻作品中的畅想。
这种可能性听起来令人振奋,但也让人觉得有点可怕——也许两者都有一些。
人工智能的发展将来对人类有益还是有害呢?光环大数据的人工智能培训讲师坚信是有益的。
那么人工智能培训光环大数据好不好?我们先来看看人工智能培训课程的安排吧。
如果课程安排都不尽如人意,还能奢望学生学到多少实用的技术呢?课程一阶段PythonWeb学习内容:PythonWeb内容实战人工智能培训学习目标:掌握HTML与CSS基础与核心、JavaScript原生开发,jQuery框架、XML与AJAX技术完成项目:大型网站设计项目、京东电商网站项目、JS原生特效编写实战。
课程二阶段PythonLinux学习内容:PythonLinux实战开发学习目标:熟练Linux安装与管理、熟练使用Shell核心编程,掌握服务器配置与管理。
完成项目:ERP员工管理系统开发、图书管理系统开发、数据库系统调优。
课程三阶段文件与数据库学习内容:文件与数据库实战开发学习目标:熟练掌握Python各类操作,熟练掌握数据库语法与函数编程,及大数据库解决方案完成项目:权限系统数据库设计、日志系统数据库设计、综合系统数据库设计。
光环大数据告诉你大数据是万能的吗_光环大数据培训

光环大数据告诉你大数据是万能的吗_光环大数据培训光环大数据培训机构,数据科学正在被当做货物一样崇拜数据科学已经逐渐成为各个行业公司的重要竞争优势。
随着越来越多的公司开始引进数据管理的新模式,公司内部就可能会产生所谓的“货物崇拜”,即去学习模仿一系列行为而不去了解其中动机的现象。
在数据科学的应用方面,公司很可能会照搬数据科学背后的技术体系,而忽略了建立数据驱动型的组织文化。
这种情况颇为常见,对此我想分享一下解决之法。
数据科学是一种强大的工具,其优势在于:∙自动决策∙辅助人为决策虽然有许多公司已经认识到了数据科学的重要性,但他们往往没有匹配上有效的数据能力。
个人认为这源于对数据科学的根本性误解,这种误解让人们在忽略自身的基础上进行数据科学的技术构架。
其他的领域也存在相似的问题。
本文阐述了我对于规避此类现象的最佳办法以及如何从数据科学投资领域获得更多价值的思考。
一个典型的数据科学项目绝大多数数据科学项目和其他的IT项目一样,遵循以下的发展轨迹:∙上层管理者同意立项,组员们踌躇满志,饱含希望;∙初始原型看似前途无量,项目本身也似乎能解决一个非常重要的组织问题;∙项目中期效果不佳,没能完成既定目标;∙同时,公司管理层不再关心项目的进展,项目推进受阻;∙项目结束,但是没有能实现最初承诺的组织变革。
对于数据项目而言,这个流程本身就是有问题的。
因为数据项目意味着引入新的管理方法和组织行为。
与许多传统的IT项目不同,数据项目是对现有流程的改进,并且旨在改变组织整体的运行模式。
这个项目为什么失败了?多数人,尤其是数据科学家,会归咎于技术缺陷或是管理不当。
然而在我看来,早在初始设计没能理清项目完成后要如何适应组织运作的时候,失败就已成定局。
数据科学的人性面就我的经验来看,一个“数据驱动型组织”要做的远不止分析和测量。
从根本上说,要成为一家数据驱动的公司,就需要让数据成为公司员工日常工作生活的一部分。
这与上述项目形成了鲜明对比,那些项目更注重技术应用而非达成目标,是种典型的货物崇拜行为,例如最为常见的“企业数据湖项目”。
光环大数据培训_ 2015年度大数据应用经典案例Top100

光环大数据培训_2015年度大数据应用经典案例Top100光环大数据培训机构,当下,”大数据”几乎是每个IT人都在谈论的一个词汇,不单单是时代发展的趋势,也是革命技术的创新。
大数据对于行业的用户也越来越重要。
掌握了核心数据,不单单可以进行智能化的决策,还可以在竞争激烈的行业当中脱颖而出,所以对于大数据的战略布局让越来越多的企业引起了重视,并重新定义了自己的在行业的核心竞争。
在当前的互联网领域,大数据的应用已十分广泛,尤其以企业为主,企业成为大数据应用的主体。
大数据真能改变企业的运作方式吗?答案毋庸置疑是肯定的。
随着企业开始利用大数据,我们每天都会看到大数据新的奇妙的应用,帮助人们真正从中获益。
大数据的应用已广泛深入我们生活的方方面面,涵盖医疗、交通、金融、教育、体育、零售等各行各业。
毫无疑问,大数据的市场前景广阔,对各行各业的贡献也将是巨大的。
目前来看,大数据技术能否达到预期的效果,关键是在于能否找到适合信息社会需求的应用模式。
无论是在竞争还是合作的过程中,如果没有切实的应用,大数据于企业而言依然只是海市蜃楼,只有找到盈利与商业模式,大数据产业才可持续。
大数据已经渗透到各个行业和业务职能领域,成为重要的生产因素,大数据的演进与生产力的提高有着直接的关系。
随着网速的大幅提升,数据也将迎来爆发式增长,快速获取、处理、分析海量、多样化的交易数据、交互数据与传感数据,从而实现信息再价值化,对大数据的利用将成为企业提高核心竞争力和抢占市场先机的关键。
大数据因其巨大的商业价值正在成为推动信息产业变革的新引擎。
在当前的互联网领域,企业已经成为大数据应用的主体。
大数据真能改变企业的运作方式吗?答案毋庸置疑是肯定的。
随着企业开始利用大数据,我们每天都会看到大数据新的奇妙的应用,帮助人们真正从中获益。
大数据的应用已广泛深入我们生活的方方面面,涵盖医疗、交通、金融、教育、体育、零售等各行各业。
以下是互联网周刊发布的《2015年度大数据应用经典案例Top100》。
光环大数据培训_ 13个应用案例 讲述最真实的大数据故事

光环大数据培训_13个应用案例讲述最真实的大数据故事光环大数据培训机构,大数据改变的那些行业大数据目前是当下最火热的词了,你要是不知道大数据这个概念,都不好意思在众人面前开口了。
然而实际上很多人都对大数据的应用模糊不清。
现在就让我们从下面十三个鲜明的大数据应用案例来了解下最真实的大数据故事。
这是大数据在生活中实现应用的情况,也许能改变一个企业的运营,甚至改变一个行业未来的走势与发展。
1、电视媒体大数据应用案例之电视媒体——对于体育爱好者,追踪电视播放的最新运动赛事几乎是一件不可能的事情,因为有超过上百个赛事在8000多个电视频道播出。
而现在市面上有开发者开发了一个可追踪所有运动赛事的应用程序——RUWT,它已经可以在iOS和Android设备,以及在Web浏览器上使用,它不断地分析运动数据流来让球迷知道他们应该转换成哪个台看到想看的节目,在电视的哪个频道上找到,并让他们在比赛中进行投票。
对于谷歌电视和TiVo用户来说,实际上RUWT就是让他们改变频道调到一个比赛中。
该程序能基于赛事的紧张激烈程度对比赛进行评分排名,用户可通过该应用程序找到值得收看的频道和赛事。
2、社交网络大数据应用案例之社交网络——数据基础设施工程部高级主管Ghosh描绘的LinkedIn数据构建图,其中就包括Hadoop战略部署。
几年前,LinkedIn只是一家普通的科技公司。
而现在,其俨然成为一个工程强国。
LinkedIn建成的一个最重要的数据库是Espresso。
不像Voldemort,这是继亚马逊Dynamo数据库之后的一个最终一致性关键值存储,用于高速存储某些确定数据,Espresso作为一个事务一致性文件存储,通过对整个公司的网络操作将取代遗留的Oracle数据库。
它最初的设计就是为了提供LinkedIn InMail消息服务的可用性,该公司计划今年晚些时候将推出开源Espresso。
3、医疗行业疗保健内容分析预测的首个客户。
大数据培训公司 光环大数据_大数据可视化的最新动态

大数据培训公司光环大数据_大数据可视化的最新动态数据可视化是将数据以不同形式展现在不同系统中,其中包括属性和变量的单位信息。
基于可视化发现数据的方法允许用户使用不同的数据源,来创建自定义分析。
先进的分析集成了许多方法,为了支持交互式动画在台式电脑、笔记本电脑或平板电脑、智能手机等移动设备上创建图形桌面。
根据调查,表1显示了数据可视化的好处。
对于可视化有以下几点建议大数据是大容量、高速度并且数据之间差异很大的数据集,因此需要新的处理方法来优化决策的流程。
大数据的挑战在于数据采集、存储、分析、共享、搜索和可视化[5]1、“所有数据都必须可视化”:不要过分依赖可视化,一些数据不需要可视化方法来表达它的消息。
2、“只有好的数据才应该做可视化”:简便的可视化可以便于找到错误就像数据有助于发现有趣的趋势一样。
3、“可视化总是能做出正确的决定”:可视化并不能代替批判性思维。
4、“可视化将意味着准确性”:数据可视化并不着重于显示一个准确的图像,而是它可以表达出不同的效果。
常规数据可视化方法许多传统的数据可视化方法经常被使用,比如表格、直方图、散点图、折线图、柱状图、饼图、面积图、流程图、泡沫图表等以及图表的多个数据系列或组合像时间线、维恩图、数据流图、实体关系图等。
此外,一些数据可视化方法经常被使用,却不像前面那些使用的广泛,它们是平行坐标式、树状图、锥形树图和语义网络等。
平行坐标被用于绘制多维度个体数据。
平行坐标在显示多维数据时是非常有用的。
图1就是平行坐标;树状图则是一种有效的可视化层次结构方法。
每个子矩形的面积代表一个测量,而它的颜色常被用来代表另一个测量的数据。
图2显示了一个选择流媒体音乐和视频的树状图,是在一个社交网络社区获得的数据;锥形树图是另一种显示分层数据的方法,如三维空间中的组织体,它的树枝是锥生长的形式;语义网络是一个表示不同概念之间的逻辑关系的图形。
它生成有向图,组合节点或顶点,边或弧,并在每个边上做标记。
光环大数据培训_大数据分析在风电、石油石化、保险行业的应用

光环大数据培训_大数据分析在风电、石油石化、保险行业的应用光环大数据培训机构,今天的大数据应用,就像ERP市场启动的初期,有很多人关注,很多企业想用它来帮助业务,但是却不知道该怎么用、该从哪里入手。
继北京、广州之后,7月中旬,东软在上海举办了RealSight(睿见)大数据高级分析应用平台的巡展活动。
与前两次巡展不同,上海巡展东软邀请了大数据平台的行业用户来与观众分享大数据平台应用的心得体会。
其目的就是让更多的用户了解,大数据平台应用到底是如何落地的?记者也将本次参会和采访过程中印象最深的几个案例记录下来与读者分享。
在案例分享之前,还是先简要介绍一下东软RealSight(睿见)大数据高级分析应用平台。
RealSight(睿见)大数据高级分析应用平台拥有客户智能、物联网智能与运营智能三大系列产品组合,能够提供融合人、物和业务的高级数据分析服务,有效驱动企业更精准的客户洞察和运营优化。
其中,客户智能包括行为分析、精准营销、个性化推荐等子产品平台,为企业提供数字营销解决方案,帮助企业更好地发现客户、了解客户和保留客户;物联网智能在实时数据采集的基础上,能够对软硬件设备运行环境进行全方位的综合监控分析、预测性维护和优化改进;运营智能则是为企业级应用和互联网应用提供全方位、全堆栈监管能力,让企业能够提前发现应用的潜在问题及风险,将传统被动响应式的风险处理方式变为主动防御,规避应用性能问题给企业带来的损失。
目前,RealSight平台已经在金融、航空、媒体、政府、新能源行业等得到了很好的应用和认可。
大数据分析应用平台在风电领域的应用风电属于新能源发电。
新能源发电不仅没有污染,国家也是大力扶持的。
风电一个是发电的成本高,再一个是运维的难度大。
如何通过物联网大数据的技术来解决用户关心的问题呢?首先看一下用户关心的三个问题:运维、运营、设备管理。
首先是运维,客户关心怎样提高运维效率。
风电场一般建在山上或海上,通常一个班组12个人,只能维护2个风场大约30多台机器,过程也比较辛苦。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
大数据应用案例——智能报表系统建设_光环大数据培训证券行业是中国计算机应用高度密集的行业之一,较高的信息化水平使其积累了大量的数据,如客户信息、客户交易数据、股票市场信息、上市公司信息等。
如何利用好各项数据是券商摆脱低层次的同质化竞争,走向差异化服务优势的重要途径。
那么以数据为基础,通过数据分析指导服务和决策就显得尤为重要。
在东北证券的数据平台建设完毕之后,结构化数据初步实现了统一归集,数据报表和图表可视化均可以通过Cognos工具实现。
但是,由于Cognos使用繁琐、开发复杂,东北证券的数据小组一直无法接手该工具。
同时,东北证券的新需求不断出现,亟需通过系统保存工作中产生的结构化数据,取代excel记录和上报数据的模式。
所以,东北证券自助开发了“数据助手”这一B/S架构的系统,较为完善的解决了当前数据填报的需求。
但是,因为多种原因,两个系统并未采用统一数据库,报表数据查询基于oracle数据库,数据填报则基于SQL server数据库。
数据同步通过ETL工具,每天晚上定时将数据助手库数据抽取至数据平台库。
总之,两个不同的系统和两个不同的数据库,让业务人员在使用上费时费力,让IT人员在后台管理上劳心劳力。
东北证券有着近百家营业网点,分布于全国各地,公司总部对各营业网点的任务数据下达需求越发强烈。
此外,在大数据和商业智能报表系统技术的迅速发展下,东北证券信息技术部认为,公司需要一套全新的智能报表系统,解决上述全部痛点,同时能够迎上大数据可视化的浪潮,帮助公司不断向前。
周期/节奏2015年11月,东北证券信息技术部完成了公司大数据分析挖掘平台可行性分析报告,其中智能报表系统将作为其平台上层应用系统之一。
报告分析比较了开源版大数据平台和商用版大数据平台的优缺点,已经智能报表系统在大数据平台之上能够为公司提供哪些应用场景。
2016年1月至2月,东北证券信息技术部完成了国内几家大数据平台、智能报表系统等产品的POC测试,完成POC测试报告的编制。
2016年7月,在智能报表系统方面,东北证券选择了帆软报表系统。
2016年8月,完成报表开发的总体需求分析工作,确定了统一的报表式样。
2016年9月,完成了各项需求的开发和测试工作。
2016年10月,东北证券智能报表系统上线试运行。
2016年11月,东北证券智能报表系统正式上线运行。
2016年11月至今,东北证券信息技术部已经能够独立承担公司各项报表开发工作,对公司各业务部在报表数据支持方面,做到了报表需求及时响应,快速落地。
开发工具:帆软报表FineReport。
客户名称/所属分类东北证券股份有限公司/大数据技术服务任务/目标1、智能报表系统能够对接Hadoop大数据平台,通过此系统能够完成BI拖拽和分析功能;2、实现东北证券各营业网点有权限的查询统计自家资产、交易量和客户数等数据;3、实现东北证券各营业网点有权限的查询公司总部下达的任务及最新任务完成情况;4、解决数据填报的问题,在一套系统中实现数据查询和数据填报等功能,拥有附件上传等功能;5、实现东北证券经纪业务管理部、零售客户部、网络金融部的考核任务填报、绩效考核数据填报;6、实现东北证券经纪业务管理部对公司各营业网点的基本信息、人员信息、经纪业务数据等多项数据的上报、审核和管理;7、实现智能报表系统同电子签字板对接,实现无纸化签字办公,实现办公签字统一管理。
挑战项目实施过程中,主要的挑战来自以下几个方面:1.传统关系型数据仓库对于大数据量数据的统计、计算效率上的挑战。
2.公司各项经营指标计算方式的了解、掌握、梳理工作。
公司数据平台采集汇总多个系统数据,每个系统有各自的供应厂商负责,所以如何了解、掌握各系统数据库表结构,梳理出一系列准确的指标项数据是我们首要面对的挑战之一。
3.由于东北证券的营业网点数量近百家,并且每家营业网点均有3人使用此系统进行数据填表和查询等工作,这样在营业网点方面用户数量有3百人,用户数量较大。
同时,地域分布广,所以在系统上线初期,如何让如此数量的公司员工学会使用该系统,让其学会通过此系统完成数据填报和Excel数据导入等,是比较大的挑战。
4.东北证券总部处于东北长春,相比其他地方,在IT技术、IT人员方面均有不小差距,在大数据技术方面更是如此。
所以公司如何能够招入更多大数据技术人才,组建大数据团队,真正将公司大数据平台运作起来,是一项不小的挑战。
实施过程/解决方案1、平台架构公司数据平台基于Oracle数据库实现,在大数据量数据的统计、计算效率上性能低下,导致某些报表查询时间超长,操作不友好。
在公司尚不具备Hadoop大数据平台的背景下,先通过编写存储过程的方式,优先计算出结果数据,并保存在一张结果表中,从而大幅缩短查询时长。
但是仍存在一个问题,就是查询数据仅能实现T+1式查询。
与此同时信息技术部正在筹建Hadoop大数据平台,从而彻底解决此问题。
2、数据采集在数据采集方面,由于东北证券拥有数据平台,能够实现结构化数据的归集。
每个工作日,在柜台交易系统数据初始化完成后,开始进行柜台数据、CRM数据、自营、资管等十多个应用系统数据的采集工作。
在数据采集方面不存在困难。
3、数据清洗较为复杂的工作就是数据清洗。
由于ODS层数据包括了柜台数据、CRM数据、自营、资管等十多个应用系统数据,并且每个系统供应厂商并不相同,所以在数据清洗环境耗时耗力较大。
各系统供应商中,有的不同意提供系统表结构文档,有的同意提供系统表结构文档但是文档质量不高,或是文档更新缓慢。
对于不同意提供系统表结构文档的系统供应商,采用同其项目经理沟通指标需求的方式,由其反馈基于ODS层数据的SQL语句。
对于同意提供系统表结构文档的系统供应商,采用先查看表结构文档,根据文档内容同其项目经理沟通指标需求,自主编写SQL语句。
此方式较上一种而言,效率更高效,并且可以使我们快速了解表含义和结构关系。
数据清洗结果产出多项数据指标,用于支持智能报表查询统计。
4、数据填报报表开发数据填报报表分为总部业务部门填报报表和营业网点填报报表。
(1)总部业务部门总部业务部门填报报表主要用于编制营业网点当年任务、预算,往年绩效数据。
如公司网络金融部根据各营业网点去年开户数量、导流数量,再乘以一定比例,即定义出各营业网点今年需推广安装融e通App的任务数据。
此时,数据仍存储在Excel文件中,通过系统的Excel导入功能,导入此数据。
营业网点通过系统可以查询到自家各项任务数据,同时也可以查看到前一工作日任务完成情况数据。
例如,本年度任务数量为1万户,截至到上一工作日完成数量3千户,剩余7千户,完成比例30%。
由于总部下达的各项任务数据的计算公式每年都会有变动,所以采用通过数据填报的方式导入数据,而不是在数据平台中通过sql语言编写。
优点主要为,计算过程和计算思路均由业务部门完成,技术部门仅需根据需求提前做出填报报表即可。
(2)营业网点营业网点通过填报报表主要进行数据上报等工作。
公司在没有这种B/S架构系统之前,每个月月初,营业部数据上报需要通过填写Excel后,邮件发送至总部,再由总部逐一核查存档。
这种工作方式,对于拥有上百家营业部的公司而言,简直是噩梦。
而如今,通过此系统,公司营业网点在每月月初填报数据即可。
现已经做成的填报报表有营业部基本信息报表、营业部人员信息报表、营业部许可证扫描件、营业部经纪数据上报报表等6张填报报表。
(3) 实施过程●在数据平台中创建符合该需求的数据库表,建立表字段及索引,建立ID 主键。
●通过智能报表系统的可视化报表开发工具,完成填报报表与数据平台相应表的关联,保证在系统前端,新增、修改、删除数据的同时,对后台物理表进行相同操作。
●定制开发Excel增量导入插件,通过java编程方式,开发Excel增量导入插件,实现大批量数据,以Excel增量导入的方式,将数据存储后台数据库。
●将开发好的数据填报报表挂至系统,在授权后,公司业务部门人员可以访问此报表。
5、考核数据、经营数据查询除数据填报报表外,另一大类别报表就是考核、经营数据查询报表。
公司总部,如经纪业务管理部、零售客户部、机构业务部、网络金融部等等,查询公司经营数据为全体营业网点数据。
公司各营业网点则只能查询自家经营数据。
经营数据包括了,新开客户数据、客户资产数据、客户交易量数据、理财产品持仓数据等,包括了公司所有业务部门,所有业务的经营数据。
实施过程:●各项经营指标的编写梳理工作,通过编写sql的方式,根据指标基本含义,完成某统计报表脚本编写工作。
●通过智能报表系统的可视化报表开发工具,完成sql脚本同报表样式的绑定工作。
●将开发好的统计报表挂至系统,在授权后,公司业务部门人员可以访问此报表。
6、编制使用手册使用手册主要用于让公司各业务网点的数据填报人员尽快了解掌握数据填报功能。
结果/效果总结案例项目上线后,该系统得到了东北证券各业务部门、营业网点的肯定。
系统指标项规模达到1千左右,系统月查询次数突破1.8万次/月,环比增加100%以上。
东北证券的营业网点在数据查询、统计、上报方面更加游刃有余,实时高效,让其有更多的时间做客户服务工作。
未来的规划东北证券的数据量约有30TB,在传统数仓下,查询统计数据时效性均无法令人满意,在做数据挖掘时,传统数仓中的数据模型工具缺少已成为阻碍挖掘的绊脚石。
当前,东北证券已经立项并考察测试了国内多家大数据平台,同时结合帆软报表进行POC测试,测试结果令人满意。
东北证券打算在大数据平台上线后,结合现有帆软报表的BI功能,实现以下项目目标。
一期项目建设目标(2017年7月至2017年12月)(1)搭建分布式大数据平台,作为公司唯一的分布式架构平台,作为公司唯一的结构化数据和非结构化数据存储分析计算平台;(2)用好公司现有数据,将数据指标化、标准化;(3)完成与帆软智能报表系统对接,让业务部门可以自主出具报表;(4)上线大数据平台门户系统,作为公司大数据平台门户系统,管理大数据平台上层各项应用系统。
二期项目建设目标(2018年1月至2018年6月)(1)补充外包数据,打通公司客户的内外数据;(2)建造客户服务、产品营销新模式,创建客户/产品标签系统,上线资讯/产品推荐系统,创建客户、产品分析模型;(3)加强与线上用户的联系和互动,提升客户体验;(4)建立多项风险分析模型,做到风险控制、预警。
三期项目建设目标(2018年7月至2018年12月)(1)将固定的流程化业务工作,交由机器算法完成,减少人工工作量,例如非现场开户业务、电话服务录音分析;(2)加强公司舆情信息监控,及时避免负面消息的蔓延;(3)监控金融证券舆情信息,分析并得出其对市场的影响力度,即可服务公司,也可服务客户。
企业介绍:东北证券东北证券股份有限公司(以下简称“公司”)前身为吉林省证券公司。