商务数据分析1

商务数据分析
1
第一章 大数据时代
2
第一章 大数据时代
大数据时代的到来 什么是大数据 商务大数据
1，大数据时代的到来
1，大数据时代的到来 20场优势、最 近表现、世界3.7万场比赛数据， 共涉及到 19972 名球员和1.12 亿条相关数据，利用一个由搜索专家 设计的机器学习模型果。 针对本届世界杯的16场淘汰赛的预测，准确度达到33% ，这一结果高于微软语音助手 Cortana 和必应搜索联合得 出的56.25%的准确率。但是100%的准确度也只是猜51%对49%)，二者相去甚远。
1，大数据时代的到来




硬件成本的降低 网络带宽的提升 云计算的兴起 网络技术的发展 智能终端的普及 电子商务、社交网络、电子地图等的全面应用 物联网
1，大数据时代的到来




硬件成本的降低 网络带宽的提升 云计算的兴起 网络技术的发展 智能终端的普及 电子商务、社交网络、电子地图等的全面应用 物联网
大 数 据 是 各 行 各 业 面 临 的 共 同 问 题
研究共性问题，突破核心技术
2，什么是大数据
感知现在：历史数据与当前数据的融合， 潜在线索与模式的挖掘， 事件、群体与社会发展状态的感知
中国发展指数（物价、环境、健康） 犯罪线索挖掘
需求：掌握现状，如淘宝CPI、环境指数 难点：PB级社会媒体数据，百亿级日志数据， 结构与非结构数据关联，历史与流式数据并存
需求：发现线索,如罪犯行为轨迹 难点：PB级日志数据、EB级监控数据中发 现嫌疑人及其行为模式犹如大海捞针
问题与挑战：数据规模巨大、模态多样、关联复杂、真伪难辨 现有数据处理方法感知度量难、特征融合难、模式挖掘难
2，什么是大数据
预测未来：全量数据、流式数据、离线数据的关联分析，态势与效应的判定 与调控，揭示事物发展的演变规律，进而对事物发展趋势进行预测
18
2，什么是大数据
大数据的4 V特性(1/3)
Volume Velocity Variety Veracity
体量巨大
Volume
速度极快
Volume
模态多样 文本
Volume
视频
真伪难辨 图片
Volume
到2020年，数据总量达4 0ZB，人均5.2TB
分享的内容条目超过25 亿个/天，增加数据超 过500TB/天

The future belongs to the companies and peop 经济价值


Data is the next Intel Inside. 大数据已为多个不同学科的研究工作提供了宝贵机遇

”The Fourth Paradigm: Data-Intensive Scientific Discovery”
音频
2，什么是大数据
大数据的4 V特性(2/3)
PB是大数据層次的临界点 KB->MB->GB->TB->PB>EB->ZB->YB->NB->DB
2，什么是大数据
大数据的4 V特性(3/3)
挖掘大数据的价值类似沙里淘金,从海 量数据中挖掘稀疏但珍贵的信息
2，什么是大数据
定义2:
当数据的规模和性能要求成为数据管理分析系统的重要设 计和决定因素时，这样的数据就被称为大数据 不是简单地以数据规模来界定大数据，要考虑数据查 询与分析的复杂程度 以目前计算机硬件的发展水平看 针对简单查询（如关键字搜索），数据量为PB级时可 称为大数据 针对复杂查询（如数据挖掘），数据量为TB级时即可 称为大数据
淘宝天猫双11那一天营业额达350亿人民币。中国小商品城全年成交额才580. 03亿元人民币；
累积起来，互联网一天之内产生的信息总量，可以装满1.68亿张DVD光盘。 ……
2，什么是大数据
数
《周易·系辞下》： 上古结绳而治，后世 圣人，易之以书契。
据
2，什么是大数据
定义1： 大数据是指无法在一定时间内用常规软件工具对 其内容进行抓取、管理和处理的数据集合（维基 百科定义） Big data usually includes data sets with sizes beyond the ability of commonly-used software tools to capture, cur ate, manage, and process the data within a tolerable elap sed time. --- Wiki
Core Technologies for Ad vancing Big Data Science & Engineering
Data to De cisions
1000 Genomes P roject Data Avail able on Cloud
Scientific Discovery Through Advanced C omputing


其他价值…
2，什么是大数据
• 大数据的深度资源挖掘与价值利用是国家战略
• 从 深空 + 深海 深网
2012年我国神州 九号进入太空
深空探索
2012年我国蛟龙号 探测水ห้องสมุดไป่ตู้7000米
深海探测
深网挖掘
实现大数据价值的 深度挖据和高度利用！
2，什么是大数据
• 促进工业与信息产业的生产效率提升 • 未来产业竞争的核心要素
1，大数据时代的到来




硬件成本的降低 网络带宽的提升 云计算的兴起 网络技术的发展 智能终端的普及 电子商务、社交网络、电子地图等的全面应用 物联网
1，大数据时代的到来

每天有2940亿封电子邮件发出，如果这些是纸质信件，在美国需要花费两年 时间处理； 每天有200万篇博客在网上发布，这些文章相当于《时代》杂志刊发770年的 总量； 每天有2.5亿张照片上传至社交网站Facebook，如果都打印出来，摞在一起能 有80个埃菲尔铁塔那么高； 每天有86.4万小时视频被上传至视频网站Youtube，相当于不间断播放视频98 年； 每天有1.87亿个小时的音乐会在流媒体音乐网站Pandora上播放，如果一台电 脑从公元元年就开始播放这些音乐会，到现在还没完没了地接着放； 谷歌翻译每天处理的文字数量,每天翻译次数达十亿次，相当于一百万册图书 ，超过了全世界；
分析使用：揭示隐藏其中的信息，例如零售业中对门店销售、地理 和社会信息的分析能提升对客户的理解 二次开发：创造出新产品和服务。例如Facebook通过结合大量用户信 息，定制出高度个性化的用户体验，并创造出一种新的广告模式 例如：2009年淘宝网推出淘宝CPI来反映网络购物的消费趋势和价格 动态

社会价值

工业价值

麦肯锡全球研究院：大数据可为世界经济创造巨大价值，提高企业 le that turn data into products. 和公共部门的生产率和竞争力，并为消费者创造巨大的经济利益 ---著名出版公司O‘Reilly的创始人 Tim 著名Gartner 公司：到 2015年，采用大数据和海量信息管理的公司将在 各项财务指标上，超过未做准备的竞争对手20% O‘Reilly
海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机 分析数据，是结构化的、通过关系数据库进行管理和访 问的静态、历史数据。通过这些数据，我们能了解过去 发生了什么。 海量交互数据： 源于Facebook、Twitter、LinkedIn及其他来源的社交 媒体数据构成。它包括了呼叫详细记录CDR、设备和传 感器信息、GPS和地理定位映射数据、通过管理文件传 输Manage File Transfer协议传送的海量图像文件、We b文本和点击流数据、科学信息、电子邮件等等。可以告 诉我们未来会发生什么。 海量数据处理： 大数据的涌现已经催生出了设计用于数据密集型处理的 架构。例如具有开放源码、在商品硬件群中运行的Apac he Hadoop。
Big Data for Earth System Science
2，什么是大数据
欧盟的大数据规划-基础设施是先导
Horizon 2020 - The Framework Programme for Research and Innovation 面向大数据的数据信息化基础设施（E-Infrastruc ture）是优先资助领域 GRDI 2020 - Global Research Data Infrastructures 建立针对科研大数据的基础设施，实现数据管 理系统、数字数据图书馆、研究图书馆、数据 工具和研究团体的整合 FP7 Call 8 Intelligent Information Management - Big Data 预算5千万欧元，2012-1-17截止 目标： 提升发现、分析、开采、使用大数据及其基 础设施的能力 通过对大数据收集与分析创造更大价值 探索基于大规模互联数据资源与专用基础设 施的新型科学研究 面向大数据的人力资源开发 33
2，什么是大数据
大数据驱动工业革命
2，什么是大数据
大数据涉及诸多不同的领域
天文
气象
基因
医学
经济
物理
其他领域
用户生成数据
Deep Web数据
多模态内容数据
网络与关系数据
26
2，什么是大数据

科研价值

1998 年图灵奖得主、数据库技术奠基人Jim Gray认为数据驱动的研究 将是第四种科学研究范式
基于Twitter 数据的选举结果预测: 通过对Twitter等网上公开数据的实时感知、 动态获取与综合分析，结合仿真调控，预 测大选结果。 联合国“全球脉动”(Global Pulse): 利用网络大数据预测失业率与疾病爆发 等现象，利用数字化的早期预警信号来 提前指导援助项目。