您的位置：360文档中心› Oracle_Exadata_数据库一体机结构体系

Oracle_Exadata_数据库一体机结构体系

合集下载

闲聊Oracle一体机Exadata

闲聊Oracle一体机Exadata

闲聊Oracle一体机Exadata闲聊与关键字：分布式存储甲骨文在文章开始前先作个声明，本人并非专业技术人员，充其量只能算从业人员和技术爱好者。

本文也不是写给专业技术人员看的技术类文档，只是本人因为工作需要，在学习系统架构的过程中，自己的一些感触和体会，只是想分享给对和其他计算机技术感兴趣的人们，希望大家能一起探讨。

因此本文在谈到技术细节问题时，一定漏洞百出，敬请专业人士指正。

是公司研发的一款数据库一体机，关于的介绍文档，在网上能找到很多，它有很多特性，，，，等等，在本文中不对这些特性作详细说明。

本文探讨的只是在设计这款一体机时，借鉴了的开源实现等分布式计算集群的一些设计理念，使数据库的运行环境突破了传统基于共享存储的架构，创新的使用了基于的智能存储节点的架构，从而极大地提高了数据库在海量数据分析类应用的性能。

一、项目简单介绍：由于本文探讨的是和的相似处，因此先简单介绍下。

是开源软件基金会的一个项目的总称，它包含了，，，，等组件，它是基于和的论文发展起来的开源软件项目，而和是它的核心。

是一个开源的分布式文件系统，和单机文件系统一样，它也使用目录树结构，和单机文件系统不同的是，它的文件系统是跨越整个集群的，下图是它的架构集群是主从架构，它由一台节点和多台节点构成。

节点和节点都是标准的。

节点采用存储的方式，即内置多块大容量硬盘，节点可以多达上千台。

通常用于存储大文件，在中每个文件都被切割为固定大小的数据块，然后被分散存放于多台的硬盘上。

并且每个数据块都会有副本存放于远端机架的上，副本数一般设置为三个。

节点不存放实际的文件，而只存放整个文件系统的目录树等元数据。

当客户端需要访问存储于的某个文件时，首先需要访问节点，以取得文件存放的位置信息哪几台，以及在硬盘上的具体地址，然后根据这些目的地址对各上存放的数据并行地进行访问。

的这种分布式存储架构，主要有几个好处：、当存储空间不够时，只要简单增加节点，而系统自动会把数据块分配到新节点上，而无需人工干预。

Oracle Exadata一体机介绍

Oracle Exadata一体机介绍

• 独特 架构保证
• 最快, 最省
不断增加的Exadata用户
各地区，各行业
Exadata V2系统架构
Single Instance Single-Instance Database
RAC RAC Database Database
Database
数据库处理层
超高速并发网络层 880Gb/s/机架 =(8+14)*40Gb/s 智能存储层 1M IOPS/机架 Exadata Cell
• 数据仓库 • 高性能数据库服务
<Insert Picture Here>
• 数据库整合
Exadata 数据库一体机
最佳Oracle数据库平台
• Best Machine for Data Warehousing
• Best Machine for OLTP • Best Machine for Database Consolidation
• Exadata Smart Flash Cache
• Breaks random I/O bottleneck by increasing IOPs by up to 20X • Doubles user data scan bandwidths
• Exadata Storage Indexes
InfiniBand Switch/Network
Exadata Cell
Exadata Cell
每Cell能提供
1.5GB/s(非压缩裸盘)‫‏‬ 3.6GB/s(非压缩flash)‫‏‬
存储层智能：每个存储单元包括存储、CPU及相应的软件 分布式并发计算：数据库跨越存储单元横向部署，ASM提供镜像保护 大规模：智能存储单元数量不受限

Exadata数据库一体机介绍

Exadata数据库一体机介绍

Raw Disk1
X2-8
X2-2
X2-2
X2-2
Full Rack Full Rack Half Rack Quarter Rack
High Perf Disk 100 TB 100 TB 50 TB
21 TB
High Cap Disk 336 TB 336 TB 168 TB
72 TB
Raw Flash1
3 - Actual space available for the database computed after triple mirroring (ASM high redundancy). Capacity calculated using normal space terminology of 1 TB = 1024 * 1024 * 1024 * 1024 bytes.
Exadata 数据库一体机介绍
沈建明 资深销售顾问 Oracle中国，系统事业部
Oracle为什么推出Exadata 数据库一体机
<Insert Picture Here>
2
电信运营商现有IT系统面临的挑战
• 计费、帐务、客服、网管等事务型（OLTP）系统 – 业务分散，服务器数量众多，占地多，能耗大 – 处理能力不平衡，计算资源没有得到充分利用 – 系统优化过程复杂，难度大 – 故障处理周期长，影响系统的服务能力
•File System
•服务器选型
6
集成 / 测试 性能调优
OS/Cluster 安装调试
Patch
部署多套系统呢？ OS/Cluster 安装调试
•Sizing •高可用设计
Patch
•集群实现
至 少

Oracle Exadata数据库一体机极致性能和最佳实践

Oracle Exadata数据库一体机极致性能和最佳实践
- 模块化存储单元CELL，高度并行的存储网格 - 带宽与容量成正比
Exadata 采用更高的单路带宽
- InfiniBand提供40Gb/s的带宽，比高端阵列 的光纤通道技术快8倍
Exadata 提供更高的IOPS
- 智能Exadata Smart Flash Cache技术处理更 多的IOPS
• 冗余40Gb/s 交换机 • 统一的服务器和存储网络
• 5.3 TB PCI 闪存 • 跨服务器进行存储镜像
© 2010 Oracle Corporation – Oracle Confidential
CONFIDENTIAL – ORACLE HIGHLY RESTRICTED
6
– 6–
Exadata X2 体系架构
CONFIDENTIAL – ORACLE HIGHLY RESTRICTED
4
前所未有的交钥匙方案：
Sun Oracle Exadata X2数据库机
• 完整的, 预配置的, 严格测 试的系统提供极限性能 • 随付即用的系统 • 高性能、高可用性
© 2010 Oracle Corporation – Oracle Confidential
Copyright © 2009, Oracle Corporation and/or its affiliates
CONFIDENTIAL – ORACLE HIGHLY RESTRICTED
8
– 8–
Exadata数据库一体机创新的技术架构
集中管理平台
三层架构/两层应用 架构
客户端 避免单点故障
智能存储层 1M IOPS/机架
Exadata Cell
Exadata Cell

OracleExadata技术架构和主要特点

OracleExadata技术架构和主要特点
Full Rack
Raw Disk1
Raw Flash1
User Data2
(assuming no compression)
SAS SATA
SAS SATA
7.2 TB 24 TB
384 GB 2 TB 7 TB
21 TB 72 TB
1.1 TB 6 TB 21 TB
50 TB 168 TB
2.6 TB 14 TB 50 TB
100 TB 336 TB
5.3 TB 28 TB 100 TB
1 – Raw capacity calculated using 1 GB = 1000 x 1000 x 1000 bytes and 1 TB = 1000 x 1000 x 1000 x 1000 bytes.
2 - User Data: Actual space for end-user data, computed after single mirroring (ASM normal redundancy) and after allowing space for database structures such as temp, logs, undo, and indexes. Actual user data capacity varies by application. User Data capacity calculated using 1 TB = 1024 * 1024 * 1024 * 1024 bytes.
Exadata Cell
InfiniBand 交换网络
Exadata Cell
Exadata Cell
3
全新的技术架构– Share Nothing与Share Disk的结合

Exadata___数据库云一体机__

Exadata___数据库云一体机__

© 2010 Oracle Corporation – Proprietary and Confidential
18
跨越长距离零数据丢失
Data Guard DR 最佳之处
• 可以足够远以避免区域灾难 • 可以足够近以实现零数据丢失
100 miles
200 miles
300+ miles
Data Guard: 同步日志传送
EMC Symatrix DMX-4 400 15krpm HDD
1/2配
Half Rack
带宽:25GB/s IOPS:500,000 @8K
2x HP Super-dome HP XP24000 400 15krpm HDD
– 11 – 11
128 * 1.6GHz CPU
Exadata数据库一体机
FY11
中国人寿 ¼ Rack 青岛社保 ¼ Rack 辽宁联通 ¼ Rack 辽宁移动 ¼ Rack （经分应用） 北京移动 ½ Rack (网管集中） 新疆电信 ¼ Rack 湖南电信 ½ Rack （经分应用） HK TDC - Trade Development Council( 香港贸易发展局) ¼ Rack • TW NCCC - National Credit Card Center (联合信用卡中心） ¼ Rack
• 共享的中间件、数据库服务 • 弹性伸缩、高可用 • 极限性能 • 丰富的功能 • 强大的开发环境 • 快速部署
Cloud Management
• 全面的生命周期管 理
• 从应用到磁盘的全 面管理
• 自服务 • 基于策略的资源管 理
• 可度量可计费
Infrastructure as a Service

Oracle 数据库一体机 — Exadata

Oracle 数据库一体机 — Exadata

• Sun Oracle Database Machine
– 预配置，提供高性能 – 平衡的系统 – 无限扩展性能，容量、带宽和处理 能力
• Exadata Storage Server Software 11gR2
• Exadata Storage Server Software 11gR2 • Oracle Database 11gR2
© 2009 Oracle Corporation - Confidential
6
Exadata 产品
Exadata Storage Server & Database Machine • Exadata Storage Server
– 为Oracle 数据库优化的存储产品 – 提供极限 I/O 和 SQL 执行性能 – 软硬件一体化
数据库处理
超高速并发网络
Exadata Cell
InfiniBand 交换网络
Exadata Cell
Exadata Cell
智能存储
基础技术 – 分布式计算
计算密集型处理 • Exadata 智能存储服务器
– 在存储部件中实现数据密集型处理 • 进行表及索引扫描，过滤查询无关数据
数据密集型处理
• 数据库服务器承担计算密集型处理（同传统结构）
– 50 GB/秒
50 40 30
未压缩数据的查询吞 吐量
50
• 与列压缩相结合
21 11.4 7.5 10
20 – 闪存中有超过 50 TB 的数据 10 – 对压缩数据的查询提高 到 500 GB/秒
0
HITACHI
USP V
TERADATA NETEZZA SUN ORACLE

Oracle_Exadata_数据库一体机结构体系-文档资料

Oracle_Exadata_数据库一体机结构体系-文档资料
• 数据带宽限制极大的限制了数据仓库系统的性能表现 • 随机物理I/O瓶颈则极大限制了OLTP系统的性能表现
Exadata 硬件架构
数据库网格
• X2-2: 8台两处理器(每台
2CPU,每CPU 6核,96GB内存 ）的高性能企业服务器，最大
96 cores,768GB内存。
• 或X2-8:2台八处理器(每台
8CPU,每CPU8核,1T内存）的 高性能企业服务器,128 cores,2TB内存
智能存储网格
• 14台高性能智能存储服 务器，每台存储服务器 拥有2*6核CPU，72G内 存
• 100TB 高性能SAS磁盘 或336TB高容量SAS磁 盘
InfiniBand 网络交换机 • 40Gb/s容错交换网络
– 12 –
12
传统扫描处理技术
SELECT customer_name FROM saves WHERE balance > 200000;
❖ DB主机确定表 的存储分区
发起I/Os请 求
返回数据行
• 基于传统存储技术，全部的 数据库智能存在于数据库主 机。
•
DB主机筛选1 TB数据
，得到1000行客户要
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
Months to Days
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
背部视图
Exadata极限性能的设计
让‘Blades’飞的理由
DB Servers
请求 InfiniBand
Exadata Storage
高性能理由①
“Smart Scan”： 计算负载部分卸载至并行智
能存储层，并只传输经筛选的有用数据
高性能理由②
13Copyright © 2009, Oracle Corporation and/or its affiliates
– 13 –
Exadata –智能扫描 技术
Exadata为什么快10-100x倍?
问题：昨天 的销售业绩
如何？
数据库网格
Select sum(sales)
6
只需增加线缆即可扩展到8机架
全部的带宽和冗余性
7
彻底简化部署
• Database Machine消除了数据库系统 部署的复杂度
• 极大降低配置、诊断、调优的时间
• Database Machine随付即用
• 预先打包的、严格测试的、标准化的、可支持的配置
• 已经存在的应用无需任何改变
Months to Days
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
返回数据行
• 基于传统存储技术，全部的 数据库智能存在于数据库主 机。
•
DB主机筛选1 TB数据
，得到1000行客户要
求的数据，计算并返 •
回给客户端
I/Os 执行: 返回 1 TB 数据
来源于存储的数据大部分被 数据库主机所丢弃。
大量的废弃数据占用了宝贵 的数据库主机资源（I/O、内 存和CPU），严重影响其它 任务执行，处理缓慢。
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
I/O per Second (IOPS) Racks
Quarter Half
Rack
Rack
2
4
3
7
21/72 TB 50/168 TB
6/21 TB 14 /50 TB
4.5/2.5 GB/sec
10.5/6 GB/sec
11 GB/sec 25 GB/sec
225,000 1
500,000 1
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
正面视图
15k fibre channel
4
Sun Oracle Database Machine
配置详情
Database Servers Exadata Storage Servers Total Disk Capacity User Data uncompressed) I/O Throughput (disks)
I/O Throughput (flash)
5
根据不同的规模可以灵活地选择起步模式
在线升级
X2-2 1/4配 X2-2 半配 X2-2/X2-8
2~8个满配级联
• 扩展性
满配
– 通过线缆联接可以扩展到多个机架
• 更多扩展需要外部InfiniBand 交换机
– 可以单独购买Exadata存储服务器单元
– 扩展到上百个存储服务器
• 支持PB级数据库
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
4l
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
Smart Scan、EHCC、Smart Flash Cache等 是Oracle Exadata 独有的关键性能突破技术
12
12
传统扫描处理技术
SELECT customer_name FROM saves WHERE balance > 200000;
❖ DB主机确定表 的存储分区
发起I/Os请 求
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
“混合列压缩(EHCC)”： 技术获得10x－50x 超
高压缩比，并提高磁盘I/O效率
高性能理由③
“Smart Flash Cache”： 高达5.3TB 的 Flash
Cache，随机I/O性能高达1M IOPS
高性能理由④
“Infiniband ”: 提供40Gb/s 端口带宽，聚合
带宽高达880Gb/s , 端口延时(0.1um ）小于以太 网的 1/1000
Full Rack
2-8 Full Racks
8
16-64
14
28-112
100/336 TB 200 – 2688TB
28/100TB 56 – 800 TB
21/12
42 - 168
GB/sec GB/sec
50
100 - 400
GB/sec GB/sec
1,000,000 1M – 8M
1
2-8
Exadata Cell
Exadata Cell
CV Management Server (optional)
Fabric 1
传统阵列架构体系(所有的盘柜串联在交换通道上,共同
分享8Gbit/s FC带宽 )
Heterogeneous Servers
HSV300 ctrl 1 HSV300 ctrl 2
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
450 GB
15k fibre channel
信息来源：Winter TopTen Survey，Winter Corporation，作者 Waltham MA，2008 年。
相关文档
最新文档