DTCC2014：大数据驱动业务创新-谢恩伟_IT168文库
大数据驱动业务创新谢恩伟
微软大中华区副总裁兼市场战略部总经理
微软大中华区首席云计算战略官
面向全员的大数据
数据平台-创新 15 年
大数据使我们接近重大进步的临界点
更高的关键任
务性能
从任意数据中
获取更深刻的
洞察力
一致的混合云
平台支持
更高的关键任务性能
内置的内存技术
锦江国际
“锦江酒店需要不断的推出符合市场需求的新产品，才能在日益激烈的竞争当中保持企业的活力。
为此，业务人员需要及时把握客户的需求与了解市场动态，我们选择将数据库平台升级至微软最新的SQL Server 2014，让每一个业务人员都能通过丰富且
直观的报表获得SQL Server强大的数据分析功能所
呈现的洞察力，让企业保持良好的发展势头。
“
李翔
信息部总监
锦江国际酒店管理有限公司查询处理速度相比传统数据平台提高多达
100 倍
“ERP等核心业务系统的高可用性对企业的日常经营起着至关重要的作用。
通过与微软合作，我们部署了SQL Server 2014之后，可以直接借助内置的Always On这一全新的高可用方案来延长核心业务数据平台的正常运行时间，加速故障切换，保障雅居乐的关键业务能够实现7X24小时的不间断运行。
“
8个备用节点
从任意数据中获取更深刻的洞察力
“通过微软SQL Server我们可以利用大数据推动卫生医疗信息化走上新的高度，医院和公共卫生部门可通过覆盖区域的居民健康档案和电子病历数据库，快速检测传染病，进行全面的疫情监测，并通过集成疾病监测和响应程序，快速进行响应。
与此同时，得益于对X光、CT影像等非结构化数据的分析能力
的日益加强，大数据分析技术也使得临床决策支持系统更智能。
“
一致的混合云平台支持
SQL 数据库服务“改变了游戏规则”
微软 Azure 中运行了超过
158,000 个 SQL Server 虚拟机
超过 750,000 个 Microsoft
Azure SQL 数据库
心得体会：数据战略要从大处着眼
后端系统
IT 部门
分析
交互式报表仪表板
处理
数据管理
数据仓库您的数据，全球数据
您的选择
您的数据中心
云
前端工具业务数据中心
云
混合
客户： 流程 分析原始数据 找出趋势
做出更新
改善 CSAT
具体情况
HALO 竞赛推广团队希望使用
数据为 HALO 4 的玩家提供更
好的游戏体验。
解决方案 非技术型员工可通过熟悉且强大的工具实时处理并分析原始数据，借此回答遇到的问题。
收益 团队快速找出并解决了意外（作弊）问题，并使用获得的洞察力更新改善了游戏体验。
所用工具
SQL Server
Excel Microsoft Azure HD Insight
微软 Xbox 团队使用分析技术改善 HALO 游戏的客户体验
发售5天聚集400万玩家
唤醒士官长 在线状态 & 竞赛匹配 挑战 & 解锁成就
技能 & 级别 作弊检测
游戏历史记录
配置文件 用户
自建内容
内容管理
服务
The Halo 云架构
Front Door
Compute Worker Roles
Azure Storage
Search
HDInsight
Hadoop Visualization Azure Load-Balancer
财务： 流程 提取数据 创建可视化
影响决策
控制成本
具体情况
财务部门希望获得附加值，帮
助决策者做出更好的决策，使
股东获得最大化收益。
解决方案 与 IT 一起控制数据的所有权，同时让财务部门进行向下钻取与探索，获得敏捷性。
收益 财务部门通过恰当的可视化方式找出节约成本的途径，与相关同事展开高效交流，将变动
落到实处。
所用工具
Microsoft Azure HD Insight
SharePoint
SQL Server Excel 微软财务部门通过分析功能管理开支
对出差机票花费进行汇总检查
端对端解决方案
通过Power Query 获取内部和外部数据利用PowerPivot
创建数据模型
在 SharePoint 上加载
PowerPivot并创建Power View
在 Excel 中创建
Power View
浏览器/Power BI App
获取信息
在PowerPoint 中创建
动态内容
通过自然语言查询
获取答案
通过服务获取
Power View
收获完整数据平台的强大威力
Office SQL Server Windows Azure Windows Server 自助服务 协作 企业应用 数据搜索
非关系型 关系型 分析 流 虚拟化网络 可扩展物理与虚拟计算 虚拟化存储 内置于操作系统的虚实映射 内部与外部 ✓
▪质量与准确度 ▪用户驱动的大规模 BI ▪实时的数据驱动决策 ▪安全、治理、合规性 ▪
公有云与私有云。
DTCC2014：O2O数据仓库实践-美团网徐章_IT168文库
• 快速建模: 全面面地覆盖所有业务
• 业务模型灵活变更: 可行行且响应周期短
• 方方便使用用: 每个人人都能使用用数据资源
⺫目目录
• 美团数据业务现状和要求
• 演进中出现的问题 • 统一一模型管理方方案和工工具
• 经验总结
开放数据生生产
业务需求庞大大,
数据团队疲于应付数据接入入和建模工工作 构建数据开放平台,业务方方RD自自行行生生产数据 数据团队人人员Review ETL
</Entity>
<Fact name="Feedback" caption="评价">
<Table name="feedback" schema=“fact”></Table>
<EntityAttribute name="Deal" caption="项⺫目目" column="deal_id" entity=“Deal"></ EntityAttribute>
!
<Hierarchy name="Calendar" caption="自自然时间周期" allMemberName="All Periods">
<Level attribute="Day"></Level>
<Level attribute="Month"></Level>
<Level attribute="Quarter"></Level>
大数据驱动业务创新
大数据驱动业务创新谢恩伟微软大中华区副总裁兼市场战略部总经理微软大中华区首席云计算战略官面向全员的大数据数据平台-创新 15 年大数据使我们接近重大进步的临界点更高的关键任务性能从任意数据中获取更深刻的洞察力一致的混合云平台支持更高的关键任务性能内置的内存技术锦江国际“锦江酒店需要不断的推出符合市场需求的新产品，才能在日益激烈的竞争当中保持企业的活力。
为此，业务人员需要及时把握客户的需求与了解市场动态，我们选择将数据库平台升级至微软最新的SQL Server 2014，让每一个业务人员都能通过丰富且直观的报表获得SQL Server强大的数据分析功能所呈现的洞察力，让企业保持良好的发展势头。
“李翔信息部总监锦江国际酒店管理有限公司查询处理速度相比传统数据平台提高多达100 倍“ERP等核心业务系统的高可用性对企业的日常经营起着至关重要的作用。
通过与微软合作，我们部署了SQL Server 2014之后，可以直接借助内置的Always On这一全新的高可用方案来延长核心业务数据平台的正常运行时间，加速故障切换，保障雅居乐的关键业务能够实现7X24小时的不间断运行。
“8个备用节点从任意数据中获取更深刻的洞察力“通过微软SQL Server我们可以利用大数据推动卫生医疗信息化走上新的高度，医院和公共卫生部门可通过覆盖区域的居民健康档案和电子病历数据库，快速检测传染病，进行全面的疫情监测，并通过集成疾病监测和响应程序，快速进行响应。
与此同时，得益于对X光、CT影像等非结构化数据的分析能力的日益加强，大数据分析技术也使得临床决策支持系统更智能。
“一致的混合云平台支持SQL 数据库服务“改变了游戏规则”微软 Azure 中运行了超过158,000 个 SQL Server 虚拟机超过 750,000 个 MicrosoftAzure SQL 数据库心得体会：数据战略要从大处着眼后端系统IT 部门分析交互式报表仪表板处理数据管理数据仓库您的数据，全球数据您的选择您的数据中心云前端工具业务数据中心云混合客户： 流程 分析原始数据 找出趋势做出更新改善 CSAT具体情况HALO 竞赛推广团队希望使用数据为 HALO 4 的玩家提供更好的游戏体验。
大数据驱动的产品创新案例分析
《大数据驱动的产品创新案例分析》在当今数字化时代，大数据已成为推动企业发展和产品创新的重要力量。
大数据的收集、分析和应用能够为企业提供深入的市场洞察、用户需求理解以及产品优化方向，从而帮助企业在激烈的市场竞争中脱颖而出。
一、引言随着信息技术的飞速发展，数据量呈爆炸式增长。
大数据不再仅仅是一个热门的话题，而是已经深入到各个行业和领域，成为企业决策和产品创新的重要依据。
从电商平台的个性化推荐到医疗领域的精准诊断，从金融行业的风险评估到制造业的智能生产，大数据的应用无处不在。
本文将通过分析几个大数据驱动的产品创新案例，探讨大数据在产品创新中的重要作用和价值。
二、案例一：亚马逊的个性化推荐系统亚马逊作为全球最大的电商平台之一，其成功离不开强大的个性化推荐系统。
亚马逊通过收集用户的浏览历史、购买记录、搜索关键词等大量数据，利用机器学习算法对这些数据进行分析，为用户提供个性化的商品推荐。
1. 数据收集与分析亚马逊通过多种渠道收集用户数据，包括网站访问记录、移动应用使用情况、订单信息等。
这些数据被存储在庞大的数据仓库中，然后通过数据挖掘和机器学习算法进行分析。
亚马逊的算法能够识别用户的兴趣爱好、购买习惯和需求，从而为用户提供更加精准的推荐。
2. 个性化推荐的实现亚马逊的个性化推荐系统主要包括基于内容的推荐、协同过滤推荐和混合推荐三种方式。
基于内容的推荐是根据商品的属性和描述信息，为用户推荐与其曾经浏览或购买过的商品相似的商品。
协同过滤推荐则是根据用户的行为和其他用户的行为之间的相似性，为用户推荐其他用户喜欢的商品。
混合推荐是将基于内容的推荐和协同过滤推荐相结合，以提高推荐的准确性和多样性。
3. 产品创新价值亚马逊的个性化推荐系统为用户提供了更加便捷和个性化的购物体验，提高了用户的满意度和忠诚度。
同时，个性化推荐也提高了商品的曝光率和销售量，为亚马逊带来了巨大的商业价值。
据统计，亚马逊的个性化推荐系统能够为其带来 35%的销售额增长。
DTCC2014：帮助传统企业实现大数据应用的数据架构_郑保卫_IT168文库
扩展性差
-基于流程设计数据模型，未能抽象出真•止的实体。 •新功能增加或业务扩展难度比较大.业务有所变化，都会导致数据库结构的修改和大量开发。
履历数据及范式 -未设计履历数据管理的表，直接在原始数据上执行修改操作，导致有些业务数据无法被保存。 •数据设计严重违反范式，数
Chapte「02传统企业数据管理及应用现状
*
9 WIJR 据 mmiKfium.
• ■开* . 8MI«H
林化JIUWH睥水平 据管理体
数据质量
-----------------1
j 缺乏数据架构
设计 1
1
数据税型简単 设
计，扩展性 差, 缺乏统一
柯俱的MA対弟 扩A«UI,当■ 加統业好时 ■■W■加相应的质 用虹性M
Chapter03支持传统企业大数据应用的数据架构-数据标准化尸、
(GDF
V
＞ 管理体系
＞制度和指南》 ＞数据标准及模型,
>， 宣讲及应用
■
A
请求及使用
_________i
♦
/
散据政策管理
数据值管理
• IJ 数据用户
企业信Fra bibliotek建模人员.
u
系
系统开发员
统
请求结 构变更
査询 元 数据
标准 应用
\
企业元数据库
数据库性能差 主外键合理性
,除了部分表有主健徵引外，大部分表没有索引，SQL语句在执行过程中，无法使用有效索引，直搂 扫描表，导致性能冋題会
比较严重.
•同时在线用户量多时（估计超过100个）系统性能问题应该会比较严重.
运营商数智化发展趋势与展望
经济观察E conom ic Observation运营商数智化发展趋势与展望Q撰文I张政赵旭宇数字经济背景下，我国企业面临消费者数字化需求不断增长的新局面。
大数据、云计算、物联网、人工智能等技术为企业提供了新的产品和服务供给形态，商业模式及运营范式在数智化时代已经悄然改变。
运营商作为基础信息服务的提供者及内 容增值业务的拓展者，同样面临通信行业需求结 构、产业形态以及技术形态的变化。
在降本增效高 质量发展的趋势下，运营商通过数智化发展，能够 更好地满足消费升级需求，协调产业链上下游共同 赋能通信行业。
数智化是数字化转型升级后的商业与技术 逻辑重构趋势数智化发展是数字化转型背景下对电信运营 商提出的新要求。
数智化不是数字化与智能化的简 单叠加，而是通过技术快速迭代、流程重构、组织 变革，进而实现用户需求驱动的商业创新及幵放协 同。
运营商数字化转型的起点在企业内部管理，转 型期的优化措施为数智化发展提供了数据业务化的 基础；数智化依托运营商数字化转型的展幵，目的 是赋能全链路能力。
以数字化转型为目标，运营商 经历了信息化、互联网化、数字化三个阶段。
作为 衔接升级，数智化的三个发展阶段分别为数字化、在线化及智能化。
目前运营商面对方兴未艾的数字 化转型浪潮，需要以数智化为契机，将企业管理同 用户需求相结合，实现研发体系、运营体系、组织 体系以及生态体系的完善布局。
传统运营商视角下的商业模式是将技术应用 作为一种辅助性行为，由技术的快速更新带动商业 的迭代发展。
随着社会经济形态变化带来的企业业务流程、运营边界的改变，技术在商业发展中的角 色也由支撑进化到赋能。
运营商的定位已不再局限 于通信服务本身，在面向智能信息服务及以用户为 中心的转型中，运营商一方面通过大数据、云、物 联网、区块链等技术不断优化和创新产品形态与服 务质量，另一方面，运营商为提升效率及业务敏 捷性，在B2B与B2C方面不断变革，力图推动智 能制造、智慧物流、无人驾驶、远程医疗等商业场 景的塑造。
DTCC2014：互联网图片的挖掘与应用_牛正雨_IT168文库
牛正雨 互联网数据研发部
报告目录
• 图片挖掘概述 • 挖掘技术详解 • 图片挖掘展望
概述
• 为什么做图片挖掘
– 外因：互联网已进入“读图时代”
信息载体：网站内容、用户交流 – 内因：产品变革带来的需求 交互方式:输入、展现
概述-读图时代
• 互联网已进入“读图时代”
– 网络信息载体：从文字到图片
详解-挖掘目标
• 图片与网页的关联
– 层次1：将图片objurl与网页关联，即识别代表
性图片 – 层次2：将图片签名与网页关联
网页A 图片objA 网页B 网页C 图片签名A 图片objC 网页F 图片objB 网页E 网页D
详解-挖掘目标
• 图片与实体义项（概念）的关联
Jaguar Jaguar:大型 猫科哺乳动物
概述-读图时代
• 互联网已进入“读图时代”
– 用户交流媒介：从文字到图片
概述-产品需求
• 产品对图片的需求：
– 搜索query：从文字到图片(移动端、信息表达)
概述-产品需求
• 产品对图片的需求：
– 搜索结果展现：从文字到图片
报告目录
• 图片挖掘概述 • 挖掘技术详解 • 图片挖掘展望
详解
• 挖掘图片与其他数据的关联：
详解-挖掘目标
• 语义特征：图片的关键词标注等
全智贤
荷兰屋/“猫眼”/太阳镜
爱马仕/棕色/斗篷
详解-挖掘目标
• 质量特征：
默认图
纯色图
拼接图
详解-挖掘目标
• 图片与图片的关联
–相同图片识别：即一张图片经过少量编辑行为
：如缩放、裁剪、旋转、亮度变化、模糊、颜 色改变、加文字、加水印、涂改等，可以认为 仍旧是相同图片。
数据驱动的决策：业务分析与数据挖掘指南
数据驱动的决策：业务分析与数据挖掘指南1. 引言1.1 概述数据驱动的决策已成为当今企业和组织取得成功的重要因素。
随着信息技术的快速发展和数据储存与处理能力的提升，越来越多的组织开始意识到数据在业务决策中的重要性，并且投入大量资源进行业务分析和数据挖掘。
本文旨在指导读者如何运用业务分析和数据挖掘技术，实现数据驱动决策，以提高企业竞争力。
1.2 文章结构本文将包括以下几个部分：引言、数据驱动决策的重要性、业务分析基础、数据挖掘技术介绍以及数据驱动决策实践指南。
在引言部分，我们将首先介绍数据驱动决策的概念与背景，并阐述它对企业成功的影响。
接着，我们将简要介绍本文各个部分的内容。
1.3 目的本文旨在帮助读者了解并掌握利用业务分析和数据挖掘技术进行数据驱动决策的方法。
通过学习本文内容，读者将能够：- 理解数据驱动决策的重要性及其在企业中的应用范围。
- 熟悉业务分析的基础知识，包括基本概念、数据采集与整理以及统计分析方法。
- 学习数据挖掘技术的常用算法和应用，包括分类与回归分析、聚类与关联分析等。
- 掌握数据驱动决策实践的指导原则，包括项目规划与设计、数据建模与验证以及结果解读与应用。
通过对这些知识和技能的理解和应用，读者能够在实际工作中更好地利用数据进行决策，并有效地推动企业的发展。
随着如今信息爆炸式增长的时代，合理利用数据已经成为了企业迈向成功所必备的重要环节。
本文将引导您走进数据驱动决策世界，在这个环节内我们将会探讨因何而起，并研究它在企业成功道路上扮演着何等巨大作用。
此外我们还将会提供一些有关业务分析和数据挖掘技术应用之基础知识供您学习参考。
最后我们将介绍实现数据驱动决策所需遵循的指南原则，帮助各位读者更好地应用所学，扎实有效地推动企业发展。
2. 数据驱动决策的重要性:2.1 定义与背景:数据驱动决策是指企业或组织在制定战略、执行业务决策时，依据大量积累的数据进行分析和挖掘，并且基于这些数据的结果来做出决策。
用数据驱动决策：数据分析的核心思维与方法!
用数据驱动决策：数据分析的核心思维与方法！1. 引言部分的内容如下：1.1 概述：数据分析作为一门快速发展的学科和技术领域，对于决策制定、问题解决以及业务优化具有重要的意义。
随着大数据时代的到来，我们不再缺少数据，而是缺少有效利用数据进行决策和创新的能力。
因此，数据驱动决策成为组织和个人实现成功的关键。
1.2 文章结构：本文将重点介绍数据驱动决策的核心思维与方法，并深入探讨数据分析在决策过程中所起到的重要角色。
文章包括以下几个部分：引言、数据驱动决策的重要性、数据分析的核心思维与方法、数据清洗与处理技巧以及结论与展望。
1.3 目的：本文旨在帮助读者了解并掌握数据驱动决策所需的核心思维和方法。
通过阐述引言部分中提到的内容，读者将能够认识到使用数据进行思考和决策所带来的好处，并了解相关案例证明了这种方法在实践中已取得成功。
此外，文章还会简要介绍主要的数据分析方法和技巧，如探索性数据分析、假设检验、推断统计学方法、预测建模与机器学习算法应用等。
最后，文章将总结数据驱动决策的重要性，展望未来数据科学的发展趋势与挑战，并鼓励读者积极运用数据分析思维进行实践和创新工作。
通过这篇文章，我们希望读者能够深入了解并主动应用数据驱动决策的核心思维和方法，从而更好地应对现实中的问题和挑战，并取得成功。
2. 数据驱动决策的重要性2.1 数据在决策中的角色在当今信息时代，数据已经成为企业和组织决策的重要依据。
数据可以提供关于市场、客户、产品和竞争对手等方面的有价值的见解和洞察力。
通过收集、分析和解释数据，组织能够更好地理解商业环境，并作出明智、科学的决策。
数据在决策中具有以下角色：1. 信息来源：数据是获取信息的基础，它提供了关于过去和现在状况的事实依据。
通过对大量的数据进行收集和分析，可以获得客观、全面的信息。
2. 指导思路：数据能够揭示潜在问题和机会，帮助管理者洞察行业趋势和市场需求。
准确地了解问题所在，并使用相关数据加以支持，可以指导企业制定正确而有效的战略方向。
DTCC2014：大型企业级应用环境SQL优化探秘_IT168文库
INDEX_NAME -----------------PK_TF_R_UNICARD IDX_TF_R_UNICARD_4 IDX_TF_R_UNICARD_4 IDX_TF_R_UNICARD_4
COLUMN_NAME COLUMN_POSITION --------------- --------------UNICARD_NO 1 RESERVED1 1 UNICARD_BATCHNO 2 UNICARD_VALCODE 3
云和恩墨成就所托 成就所托 云和恩墨
一条SQL语句引发的血案
SELECT UNICARD_NO FROM TF_R_UNICARD WHERE PRESENT_TAG = '0' AND LIMIT_DATE + 0 > SYSDATE + 90 AND UNICARD_STATE||NULL = '0' AND UNICARD_VALCODE||NULL = :B3 AND ROWNUM <= :B2 AND RESERVED1 = :B1 AND (RESERVED2 <> '99' OR RESERVED2 IS NULL) FOR UPDATE
云和恩墨成就所托 成就所托 云和恩墨
一条SQL语句引发的血案
SQL> SELECT CHILD_NUMBER, NAME, POSITION, DATATYPE_STRING, VALUE_STRING FROM V$SQL_BIND_CAPTURE WHERE SQL_ID = '6zqqgm5k6nyt6' AND CHILD_NUMBER = 0;
Keynote微软大中华区副总裁兼市场战略部总经理谢恩伟《驾驭大数据-如何实现大数据的应用性》
Databas
SQL
通过统-的査询，同喋问结构化和非结构化数
A mwPo^rX •对Hadoop中表和数据库中的表进行査询和连接访问
PolyBase
•沿用标准的SQL语句进行访 问 , Select, From Where
HDFS
算；
沿用现有
SQL技
能
无需IT人员
统提供 Tools from a rich ecosystem of partners
与社区的紧密合作 Built with close community collaboration
Accelerating the delivery of Hadoop for Windows
The ApKhe Software Foundation
廿省时间和
对多样化的数 据 进行分析
6整
Hadoop Data
Structured Data
通过巳有的Excel技能 对大数据进行访问和 分析
通过熟悉的工具进行结构化和 非结构化数据的
熟悉的工具进行大数据分析
• PDW与微软BI工具的天然集成
-在同一张表格内对结构化和非结构化数据进行 分析
•便于集成已经被广泛地采用，并且为众人熟悉 的工具
When it comes to business intelligence, Microsoft SQL Server 2012 demonstrates that the
platform has continued to advance and keep up with the innovations that are
happening in big data.