推荐-emc的大数据解决方案 精品
EMC容灾解决方案
EMC建议采用EMC光纤交换机建立自动化存储网络，满足用户对存储资源灵活的扩展、自动化管理的需求，在项目完成以后，还可以根据应用需求还可以灵活扩充NAS，进一步丰富自动化存储网络，满足企业内对存储资源不同的需求。
建议配置存储网络应该依据以下原则：
配置冗余的两台光纤存储交换机。
从主机对任何一个卷访问都通过两台交换机进行操作，保证数据访问通路无单点故障和工作量负载均衡。
利用EMC Symmetrix存储系统的时间点拷贝软件TimeFinder，创建业务数据的本地镜像，将其mount到备份服务器，在备份服务器实现联机数据备份、软件测试等工作，不影响主要生产主机和数据库的性能，将应用系统的停机时间将为零；
在将来，利用EMC Symmetrix存储系统的异地数据镜像软件SRDF，创建关键数据的远程镜像，实现关键业务的容灾。
容灾的7层
容灾数据备份在目前有三种方式
软件级解决方案，包含容灾等级的1－4层
物理级解决方案，包含容灾等级的5－6层
交换机解决方案，包含容灾等级的5－6层
目前主流的容灾解决方案是基于第二种物理级，即基于智能磁盘阵列的数据复制技术，下面让我们看看这种方案的典型应用。
根据众多方案中我们挑选了EMC公司的一个湖南省邮政储蓄系统统一版本扩容改造工程存储版本的方案给大家进行参考。
根据技术规范书的要求，本配置包括8GB高速缓存，该产品支持扩展到32GB高速缓存；
本配置包括8个2Gb/s光纤端口，用于主机连接；并支持扩展到16个2Gb/s光纤端口；
EMC Symmetrix系列存储系统采用业界高端的存储体系结构，不仅具备领先的性能和高可用性，还具有丰富的成熟功能软件；可以实现联机数据备份、容灾等高端的用户需求。
EMC医疗行业大数据存储解决方案
网络存储
（NAS、开放式和 iSCSI SAN）
EMC
27.2%
HP
20.5%
IBM
11.7%
NetApp
8.6%
Dell
7.8%
HDS
6.8%
EMC/Dell* 34.3%
来源：IDC 2005 年第 4 季度磁盘存储系统季度跟踪，2006 年 3 月 *将 EMC 的收入与 Dell 的 Dell/EMC CLARiiON 收入结合在一起
AutoStart RecoverPoint
NetWorker
RepliStor
Retrospect
同类最佳的软件阵容
跨应用程序的 ILM
Documentum D5 Content Server Business Process Manager 协作内容集成 A 存储系统、软件、服务和解决方案方面的全球领先公司 业务重点是构建并管理安全且灵活的信息基础结构 使命：帮助各种规模的企业从其信息中获得尽可能最多的价值
投资大于$100亿 (’03–’06) 在策略性软件及服务并购
2003
JAN.
2004
JAN.
2005
JAN.
2006
JAN.
2007
JAN.
CX700
CX500
Celerra
NS500 NS700 NS350 NS704 NSX
Connectrix Invista
DMX800
Symmetrix
DMX-3
DL210
DL710 DL720
CLARiiON
CFeCnt4e7ra00
4-Node
EMC 虚拟化数据中心解决方案(VDC)
分发资料VDC-虚拟化数据中心虚拟化是当今IT行业从未经历过的一次快速转变。
简单说虚拟化就是将一台物理设备同样的资源当作多台设备的功能使用而不会产生任何技术问题。
虚拟化数据中心就是以虚拟化技术为基础的数据中心。
虚拟化数据中心提供虚拟化的设备如: 服务器, 网络及存储等所谓的数据中心转变需要的易扩展, 高使用率, 高可用等技术解决方案。
虚拟化数据中心可以使您按需动态灵活的扩展或缩小当前的运行环境。
您可以创建一个多台服务器的虚拟化数据中心，并且你可以控制多台服务器的使用和他们的配置。
正在发展的虚拟化数据中心由于不同硬件厂商的原因所以有多种不同的标准架构, 但每一个标准都需要提供平台, 安全, 管理/运维和高可用性来满足虚拟环境设计规划的要求。
EMC虚拟化数据中心解决方案的标准包括一系列验证过的设计来满足数据中心四个基本部分 (平台, 安全, 备份恢复及管理/运维) 。
使用以上四个部分将把传统的物理式数据中心转换为虚拟化数据中心。
面临挑战：·为了支持关键业务流程应用，很多公司不得不架构多余的服务器和存储设备，其中有些设备无法充分利用。
·找到最佳的方法来管理使用IT架构和应用去满足业务的需求。
·降低成本使他们可以有预算投入到一些策略性的投入。
·更有效的管理运营成本和投资成本并且不影响到对新技术的投入从而给股东带来更好的回报。
·面对数据爆炸性增长如何保存和分类。
·业务的转型带动云计算之旅程，当业务改变出现对IT服务的需求，IT服务可以在分钟内提供资源而不是星期或者月。
EMC虚拟化数据中心概述：虚拟化数据中心有以下四部分构成：平台，安全，备份恢复和管理/运维1.虚拟平台(vPlatform) - 硬件平台虚拟化包括计算, 网络和存储组成一个虚拟机同时有操作系统运行其中就像一个完整的物理计算机一样。
2.虚拟安全(vSecure) - 为整个虚拟化数据中心提供安全的策略和流程，同时强化虚拟层的安全。
EMC_Solutions_解决方案
管理复杂性
– 环境不断调整
介质管理的相关风险
– 丢失磁带 – 需要花费时间查找用于恢复的介质 – 运送磁带需要支出成本
© Copyright 2008 EMC Corporation. All rights reserved.
2
什么是 EMC 磁盘库？
虚拟磁带库 (VTL)
– 传统磁带解决方案的磁盘替代方案 – 对于备份应用程序而言，其表现和操作与物理磁带一样
– 转速较低 — 5400 RPM，而不是 7200 RPM – 不影响性能，这一点不同于 7,200 rpm 驱动器 – 可用于所有 DL4000 系列机型
低功耗驱动器和驱动器降速功能 可将与磁盘相关的功耗和冷却需求减少 47%
© Copyright 2008 EMC Corporation. All rights reserved. 15
3D 4000 LAN 或 SAN VTL SAN VTL
3D 4000 SAN VTL
3D 4000 SAN VTL
© Copyright 2008 EMC Corporation. All rights reserved.
5
通过 EMC 磁盘库进行重复数据消除
2008 年 6 月 2008 年 7 月
© Copyright 2008 EMC Corporation. All rights reserved. 3
为什么选择 EMC 磁盘库？
业界领先的开放系统磁盘库
– 超过 245 PB 的部署容量，在全球有 1,400 多家客户
应用程序/备份主机
适用的备份环境最多
– 300 多万种受支持的配置
EMC 磁盘库
网络
整合介质管理
EMC Avamar 解决方案
EMC Avamar 跨企业的快速、可靠的备份和恢复解决方案EMC Avamar跨企业的快速、可靠的备份和恢复解决方案EMC Avamar 技术方案解决了传统备份方案的局限性，对远程机构、数据中心LAN备份和VMware环境下的数据提供了快速、可靠的备份和恢复方案。
Avamar 软件使用了专利的全局数据删减技术在数据源端发现冗余数据段，在将数据通过网络传送前，最大可以减少300倍每天的数据备份量。
从而允许企业利用现有的网络带宽进行备份和容灾恢复。
数据可以进行增强安全的加密，集中管理的功能使同时管理上百个远程站点的数据保护更容易和高效。
Avamar 备份数据到硬盘，同时又可以同现有的磁带和传统备份软件进行集成。
客户需要着重解决的问题:减少进行远程分支机构数据备份、数据中心LAN备份和VMware环境下的备份窗口；确保每日数据备份的一致性和可恢复性；实现跨越现有网络的远程分支机构的每日全备份；实现VMware 环境下快速、可靠的每日数据全备份；实现LAN环境下的主机快速、可靠的每日数据全备份；提高Recovery Time Objectives (RTO) 和 Recovery Point Objectives (RPO)；减少磁带的购买数量，优化数据保护流程和减少管理成本；集中管理数据备份/恢复流程以提高现有资源的利用率；消除对分支机构的人员、带库设备失效和手工流程的依赖；消除运送备份磁带到异地节点；显著减少备份数据的传输量、实现跨LAN/WAN 带宽的快速和可靠的数据备份；实现了一种经济、有效的用来将备份数据迁移到指定容灾节点，满足一定的RTO’s和RPO’s的数据复制方法；EMC Avamar 解决方案可以协助客户减少管理成本和提高数据保护及工作效率。
目录EMC A VAMAR 解决方案 (5)功能特点 (6)EMC A VAMAR技术优势 (9)部署模块 (10)EMC Avamar OS 和 Application Agents (10)EMC Avamar Server (11)EMC Avamar Replicated Data Store (12)EMC Avamar Tape Output (13)EMC A VAMAR方案实例 (13)恢复事例说明 (14)数据复制带宽分析 (15)备份性能分析 (16)成功客户案例 (18)培训 (20)总结 (22)EMC Avamar 解决方案EMC Avamar 技术方案可以解决客户所面临的传统备份应用带来的弊端，快速进行分支机构、数据中心网络备份和VMware环境中的数据集中备份和恢复。
EMC的大数据解决方案白皮书24
Query Plan
每一个存储节 点都是独立的 数据库（无共 享）
ቤተ መጻሕፍቲ ባይዱ
应用程序通过Master主 机访问数据
2013-11-5
在存储节点和Master主机之 间交换数据
Think big, Think fast
MPP/无共享架构的优势
• 最易于扩展的架构
– 云数据库和数据分析的最佳选择 • 自劢化的并行处理机制
– 内部处理自动化并行，无需人工分区或优化 – 加载与访问方式与一般数据库相同 • 数据分布在所有的并行节点上 – 每个节点只处理其中一部分数据 • 最优化的I/O处理 – 所有的节点同时进行并行处理 – 节点之间完全无共享，无I/O冲突 • 增加节点实现线性扩展 – 增加节点可线性增加存储、查询和加载性能
EMC的大数据解决方案
2013-11-5
Think big, Think fast
• 什么是大数据？ • EMC Greenplum简介 • DB软件架构介绍 • 行业解决方案 • 实际案例分享
2013-11-5
Think big, Think fa2st
什么是
大数据?
Think big, Think fast
DB
磁盘
共享磁盘 例如： Oracle RAC
网络
DB
DB
DB
DB
SAN/FC
SAN/共享磁盘 注：所有的共享资源都用蓝灰色表示
完全不共享 例如：
Greenplum
Master
网络
DB
DB
DB
DB
磁盘 磁盘 磁盘 磁盘
Think big, Think fast
Greenplum 基础架构MPP MPP=Massive Parallel Processing海量并行处 理结构
EMC Solutions 解决方案 NetWorker
保护/恢复**
性能问题
不能满足恢复服务 级别协议 (SLA) 要求
降低总体拥有 成本
事半功倍
*来源：IDC“多样化和膨胀中的数字世界”，2008 年 3 月
© Copyright 2008 EMC Corporation. All rights reserved.
** 来源：《存储杂志》
2
用于备份和恢复的 EMC NetWorker 软件
NetWorker
客户端
NetWorker
管理 控制台
服务器
Avamar
NetWorker
全文索引和浏览 通过 NetWorker GUI 和 CLI 进行恢复
存储节点
服务器
外部存储 磁盘、VTL 和磁带
© Copyright 2008 EMC Corporation. All rights reserved.
13
SnapImage 模块 — 数据块级的数据移动
使用基于主机的快照以捕获和移动数据 块级磁盘映像 为文件级恢复 — 或整个卷生成索引 支持无服务器的备份和恢复
索引 快照 快照
IP 备份 服务器
客户端
客户端
不再局限于特定阵列 提供明显更快的备份（到磁带、虚拟 磁带和磁盘）和恢复
SAN 交换机
生产卷
快速、可靠的备份和恢复
– 消除装载、启动和停止、倒带以及快进操作
利用并行操作增强备份/恢复
– 备份、恢复克隆和转储 — 同步进行 – 使用多个并发数据流执行恢复
基于策略的转储和克隆
– 自动将数据从磁盘迁移至磁带，以实现辅助保护 – 速度提高 50%
– 备份作业一完成即开始克隆
– 减少了对磁带机和磁带盒的磨损
EMC 针对 Oracle 数据库的中型企业解决方案
EMC
EMC PowerPath EMC RecoverPoint 多协议存储阵列 EMC Navisphere Manager
确保 Oracle 10g 和 11g 网格组件与 EMC 支持网格的组件之间的互操作性 帮助利用 VMware 虚拟化的最佳做法 帮助将 Oracle 本机功能（如 ASM）与 EMC 技术配合使用的有案可稽的最佳做 法 解决方案构造块提供了灵活性，可满足当前和未来需求
获得您希望的结果 － 可预知、可靠而且更快 采用构造块式的做法部署经验证的基础架构 简化信息基础架构的设计、配置和部署 利用 EMC 和 Oracle 的联合最佳做法
© 版权所有 2008 EMC Corporation。保留所有权利。
5
利用 EMC 在 EMC 的全球解决方案实验室中验证解决方 案方面的投资
© 版权所有 2008 EMC Corporation。保留所有权利。
Data Guard
12
关键经验教训和好处
EMC 针对物理 Oracle 环境的 Celerra NFS 和 FCP 混合式保护、 备份和测试/开发解决方案
Automated Storage Management (ASM) 不能存储所有 对象 不需要额外的工作来安装 NFS 通过 NFS 连接存储的对象对性能不敏感 通过 FCP 连接存储并由 ASM 管理的对象与在使用纯 FCP 配置时有相同的性能级别 实现了两全其美：
– 高性能、低延迟的 SAN 访问 – 不需要这一访问能力的数据库对象使用成本更低、更简便的访问机 制
与纯 FCP 解决方案相比有极具吸引力的成本和可管理性 优势
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在存储节点和Master主机之 间交换数据
MPP/无共享架构的优势
• 最易于扩展的架构
– 云数据库和数据分析的最佳选择 • 自动化的并行处理机制
– 内部处理自动化并行，无需人工分区或优化 – 加载与访问方式与一般数据库相同 • 数据分布在所有的并行节点上 – 每个节点只处理其中一部分数据 • 最优化的I/O处理 – 所有的节点同时进行并行处理 – 节点之间完全无共享，无I/O冲突 • 增加节点实现线性扩展 – 增加节点可线性增加存储、查询和加载性能
2020/10/17
EMC Greenplum大数据三部曲
2020/10/17
Greenplum Product Line
2020/10/17
典型的数据分析体系架构
业务系统
运营 系统
Oracle
数据移动、抽 取、转换、加载 (ETL)
报表和分析
ERP DB2
SCM SQL Server
CRM MySQL
OA,HR Postgres
…
Informatica
DataStage
AbInitio Pervasive Segent
• MicroStrategy
• Arcplan
• Business Objects • Cognos • Hyperion • SAS • Insight
集成数据库、存储和硬件于一体
Greenplum
Master
网络
DB
DB
DB
DB
磁盘 磁盘 磁盘 磁盘
Greenplum 基础架构MPP MPP=Massive Parallel Processing海量并行处 理结构
Query Plan
每一个存储节 点都是独立的 数据库（无共 享）
应用程序通过Master主 机访问数据
2020/10/17
2020/10/17
全球各地的代表性客户
12
DB软件架构介绍
2020/10/17
Share-Nothing的完全并行架构
完全共享 例如： SMP服务器
DB
磁盘
共享磁盘 例如： Oracle RAC
网络
DB
DB
DB
DB
SAN/FC
SAN/共享磁盘 注：所有的共享资源都用蓝灰色表示
完全不共享 例如：
&Greenplum？
2020/10/17
是一家数据库软件公司。 在全球数据处理和 BI/DW领域，提供容量最大、 速度最快、性价比最好的
数据仓库引擎产品和咨询服务
2010年 EMC公司收购Greenplum
EMC 公司是全球信息基础架构技术与解决方案的 领先开发商与提供商，是全球最大的企业存储设备 和软件提供商。
欺诈分析 客户流失分析
响应时间 流量分析 产品关联/捆绑
实际案例分享
2020/10/17
EMC劲霸男装BI方案
Greenplum大数据分析提高商业智能效率
Greenplum统一智能管理
多用户查询
谢谢观看
2020/10/17
24
行业解决方案
2020/10/17
零售
ห้องสมุดไป่ตู้
行业商务智能解决方案
政府 金融服务
电信
预防亏损 优化供应链 存储运营分析 客户忠诚度计划 协作规划和预估
信息传播 公民服务 国家安全 电子政务 人力资本管理 法规实施和监管
合规性报告 欺诈检测 客户报表 电汇通知 分部记分卡 资产组合分析 客户关系管理、 收购和盈利率
EMC的大数据解决方案
2020/10/17
• 什么是大数据？ • EMC Greenplum简介 • DB软件架构介绍 • 行业解决方案 • 实际案例分享
2020/10/17
2
什么是
大数据?
什么是大数据？
数据大（Volume）
时效性高（Velocity）
种类和来源多样化（Variety）
EMC