数据架构规划

合集下载

数据中心网络架构设计指南

数据中心网络架构设计指南

数据中心网络架构设计指南随着云计算、大数据和人工智能等技术的发展,数据中心网络架构设计在企业和组织中变得越来越重要。

一个良好设计的数据中心网络架构可以提供高效的数据传输和处理能力,支持业务的快速发展和创新。

本文将介绍数据中心网络架构设计的指南,包括物理网络设计、逻辑网络设计和安全性考虑等方面。

1. 物理网络设计在数据中心网络架构设计中,物理网络设计是一个关键的方面。

以下是几点建议:1.1 网络架构拓扑选择适合企业需求的网络拓扑结构。

常见的物理网络架构包括三层结构、融合结构和超融合结构。

需根据企业的业务特点和数据量来选择最合适的网络架构。

1.2 网络设备选型选用性能稳定的网络设备。

在购买网络设备时需考虑设备的性能、可靠性和可扩展性等因素。

另外,对于关键业务应尽量采用冗余设计,确保高可用性。

1.3 网络布线和机房设计合理规划网络布线和机房设计,防止电源、散热、安全等问题对网络正常运行造成影响。

在机房设计中,需要考虑供电、机柜布局、机房空调等因素。

2. 逻辑网络设计逻辑网络设计是数据中心网络架构设计中的另一个关键方面。

以下是几点建议:2.1 虚拟化技术采用虚拟化技术可以提高资源利用率和灵活性。

在数据中心网络架构设计中可以考虑使用虚拟交换技术,实现虚拟机之间的高速互联。

2.2 逻辑网络划分根据企业的业务需求和安全性要求,划分不同逻辑网络。

可以采用虚拟局域网(VLAN)技术、多租户虚拟化(MTV)技术等实现逻辑网络的划分。

2.3 交换与路由设计在逻辑网络设计中,需要合理规划交换和路由设置。

交换设备应满足高性能和低延迟的要求,路由器需要支持灵活的路由策略和可靠的数据传输。

3. 安全性考虑在数据中心网络架构设计中,安全性是一个不可忽视的因素。

以下是几点建议:3.1 防火墙设置在数据中心的前端和后端都需要设置防火墙,以保护网络不受到未授权的访问和攻击。

3.2 访问控制和身份验证采用访问控制和身份验证措施,限制用户对数据中心的访问和操作权限。

数据中心架构

数据中心架构

数据中心架构数据中心是现代企业和组织中的重要基础设施之一,它承载着大量的数据和信息,为企业的运营和决策提供支持。

数据中心架构的设计和建设对于保障数据安全、提高数据处理和存储效率具有至关重要的作用。

本文将介绍数据中心架构的一般原则和常见设计模式。

一、概述数据中心架构是指构筑数据中心所需的硬件、软件和网络基础设施的设计和布局。

一个好的数据中心架构能够确保数据的安全性、高可用性和可扩展性,同时提高数据处理效率和性能。

二、硬件设计1.服务器:数据中心的核心设备之一是服务器。

在设计中,需要考虑服务器的性能、可靠性和扩展性。

常用的服务器架构包括单机架构、集群架构和分布式架构。

选择合适的服务器架构取决于数据中心的需求和规模。

2.存储系统:数据中心需要大容量的存储系统来存储和管理海量数据。

存储系统的设计应考虑数据的备份和恢复、数据的传输速度和存储容量等因素。

常见的存储架构有直连存储和网络存储,可以根据实际需求选择合适的架构。

3.网络设备:数据中心中的网络设备包括交换机、路由器和防火墙等。

网络设备的设计要考虑数据中心内部的通信、数据的传输速度和网络的安全性。

合理规划网络拓扑结构、采用高性能的网络设备是保证数据中心高效运行的关键。

三、软件设计1.操作系统:数据中心的服务器通常运行着不同的操作系统,如Windows、Linux等。

选择稳定、安全、易于管理的操作系统对数据中心的正常运行非常重要。

2.虚拟化技术:虚拟化技术可以将一台物理服务器虚拟为多台逻辑服务器,提高服务器的利用率和资源共享。

使用虚拟化技术可以降低数据中心的成本,并提高系统的灵活性和可管理性。

3.监控和管理软件:数据中心需要监控和管理大量的设备和系统。

监控和管理软件可以实时监测服务器的运行状态、网络的流量和设备的健康状况,及时发现和解决问题,保证数据中心的高可用性和稳定性。

四、设计模式1.冗余设计:为了提高数据中心的可用性,需要在架构设计中考虑冗余。

例如,使用双电源供电、双路冗余网络设备等方式,确保数据中心在遇到单点故障时仍能正常运行。

数据中心网络架构设计两地三中心

数据中心网络架构设计两地三中心

0保数据中心内部网络的安全性 ,采取严格的安全管理措施,包 括访问控制、入侵检测、日志管
理等。
网络安全策略
通过部署防火墙、入侵防御系统、 网络审计系统等,防范外部攻击和 内部威胁,保障网络的安全性和稳 定性。
终端安全策略
对终端设备进行安全管理,包括防 病毒、防恶意软件、防黑客攻击等 ,确保终端设备的安全性和可靠性 。
访问控制策略
身份认证
采用多因素身份认证方法,如动 态口令、数字证书等,确保只有 授权用户能够访问数据中心网络

访问授权
根据用户的角色和权限,控制用 户对数据中心的访问,确保只有 合法的用户能够执行特定的操作

访问监控与审计
对用户的访问行为进行实时监控 和审计,及时发现并处理异常行 为,确保数据中心网络的安全性
挑战与目标
挑战
如何构建一个稳定、可靠、可扩展的 数据中心网络架构,同时满足业务需 求和跨地域容灾的需求。
目标
设计一个两地三中心的数据中心网络 架构,实现高可用性、可扩展性和业 务连续性。
02
数据中心网络架构概述
什么是两地三中心架构
两地三中心架构是一种数据中心网络架构,它包括两个地理位置相隔较远的城市 (称为“两地”)和三个数据中心(称为“三中心”),其中每个城市各有一个 数据中心,另一个数据中心位于两个城市之间的地理位置(称为“中”数据中心 )。
数据中心网络架构设计两地 三中心
汇报人: 2023-12-11
目录
• 项目背景 • 数据中心网络架构概述 • 网络拓扑结构 • 设备选择与配置 • 安全策略与访问控制
目录
• 网络管理与监控 • 容灾与备份计划 • 电力与环境设计 • 部署与优化策略

IT架构规划方法

IT架构规划方法

IT架构规划方法在进行IT架构规划时,需要遵循一定的方法和步骤,以确保规划的有效性和可持续性。

以下是一个常用的IT架构规划方法,包括四个主要步骤:需求分析、架构设计、实施计划和监控评估。

第一步:需求分析需求分析是IT架构规划的第一步,它的目的是理解业务需求和用户需求,为架构设计提供基础。

在这个阶段,需要进行以下活动:1.了解业务目标:与业务单位合作,了解其长期和短期的业务目标,以及IT对业务的支持需求。

2.收集用户需求:与各类用户交流,了解他们的需求和期望。

这些用户可能包括企业员工、客户和合作伙伴。

3.评估现有系统:评估现有的IT系统和基础设施,包括硬件、软件和数据存储。

这将有助于确定哪些系统可以继续使用,哪些系统需要更新或替换。

4.分析技术趋势:研究当前的技术趋势和最佳实践,特别是与组织的业务目标相关的技术。

第二步:架构设计在需求分析的基础上,进行架构设计以满足业务需求。

架构设计的目标是设计一个具有高性能、可扩展性和可靠性的系统。

在这个步骤中,需要进行以下活动:1.定义架构原则:定义IT架构设计的准则和原则,以指导设计过程。

这些原则可能包括可扩展性、灵活性、安全性等。

2.制定技术架构:设计一个技术架构,包括硬件、软件、网络和数据存储。

确保各个组件之间的互操作性和集成性。

3.制定数据架构:设计一个数据架构,包括数据存储、数据管理和数据流程。

确保数据的一致性、可靠性和安全性。

4.制定应用架构:设计一个应用程序架构,包括应用程序的开发、测试、部署和维护。

确保应用程序的可扩展性、可靠性和安全性。

5.制定安全架构:设计一个安全架构,包括身份验证、授权、加密和网络安全。

确保系统的机密性、完整性和可用性。

第三步:实施计划在进行架构设计之后,需要制定一个详细的实施计划,以确保规划的顺利实施。

在这个步骤中,需要进行以下活动:1.制定项目计划:制定一个详细的项目计划,包括各个阶段的目标、时间表和里程碑。

2.资源规划:确定所需的人力、财力和技术资源,以支持规划的实施。

IDC数据中心的整体架构设计

IDC数据中心的整体架构设计

IDC数据中心的整体架构设计尊敬的读者:感谢您参考本文档,本文档旨在为您提供IDC数据中心的整体架构设计方案。

本文档将详细介绍IDC数据中心的各个方面,包括网络架构、硬件架构、存储架构、安全架构等,以帮助您深入了解和设计一个高效可靠的IDC数据中心。

第一章:引言本章对IDC数据中心的背景和目标进行介绍,包括IDC数据中心的定义、主要功能、重要性以及本文档的目的和范围。

第二章:网络架构设计本章将详细介绍IDC数据中心的网络架构设计,包括网络拓扑结构、网络设备配置、网络连接策略、冗余设计等。

第三章:硬件架构设计本章将详细介绍IDC数据中心的硬件架构设计,包括服务器选型、服务器布局、机柜设计、供电和散热设计等。

第四章:存储架构设计本章将详细介绍IDC数据中心的存储架构设计,包括存储设备选型、存储容量规划、存储性能需求等。

第五章:安全架构设计本章将详细介绍IDC数据中心的安全架构设计,包括物理安全措施、网络安全措施、数据安全措施、灾备设计等。

第六章:监控与管理本章将介绍IDC数据中心的监控与管理体系,包括监控系统设计、运维管理流程、故障处理流程等。

第七章:容灾与备份本章将介绍IDC数据中心的容灾与备份策略,包括备份方案设计、灾备设施选择、数据恢复测试等。

第八章:性能优化本章将介绍IDC数据中心的性能优化策略,包括服务器负载均衡、网络优化、存储性能优化等。

第九章:可扩展性设计本章将介绍IDC数据中心的可扩展性设计,包括扩容计划、资源预留策略、设备升级计划等。

第十章:总结本章对整个设计方案进行总结,并提出未来可能的改进和优化方向。

附件:本文档涉及的附件包括网络拓扑图、硬件设备清单、安全策略文档等,详细信息请参见附件部分。

法律名词及注释:1.IDC: Internet Data Center,即互联网数据中心,是提供大规模服务器的机房。

2.容灾:即容灾备份,是指为了保证系统可恢复性而采取的备份措施。

3.监控系统:用于监测IDC数据中心各项指标并预警的系统。

(完整版)数据架构规划

(完整版)数据架构规划

数据架构规划一.当前架构结合研发二部数据量最大的校讯通产品来描述,其他的产品在性能上出现瓶颈,可以向校讯通靠拢。

数据库整体架构:目前校讯通产品根据用户量的多少以及数据库服务资源的繁忙程度,横向采用了历史库+当前库的分库架构或者单一的当前库架构,其中历史库只作为web平台读数据库,纵向结合了applications的memcache+Sybase ASE12.5传统永久磁盘化数据库架构。

数据模型架构:原则上采用了一事一地的数据模型(3NF范式),为了性能考虑,一些大数据量表适当的引用了数据冗余,根据业务再结合采用了当前表+历史表的数据模型。

以下就用图表来进行当前数据架构的说明:横向分库数据库架构图:纵向app layer+memcache layler+disk db layer图:其中web层指的是客户端浏览器层,逻辑上:app层指的是应用服务层,mc 层指的是memcache的客户端层,ms层指的是memcache的服务层,db层指的是目前永久磁盘化的数据库层,当然在物理机器上可能app层跟mc层,ms层是重叠的部署在相同服务器上。

数据模型架构图:其中以上数据模型中除了少数几张表外其他的都有历史表存在,当然有很多表是没在这个模型图中的,这部分是核心数据模型。

这部分模型对象中也包括了一些冗余性的设计,比如用户中有真实姓名,特别是不在这个模型内,由模型核心表产生的一些统计报表,为了查询的性能冗余了合理一些学校名称,地区名称等方面的设计。

二.劣势现象1.流水表性能瓶颈当前架构的性能瓶颈集中在流水表的访问上,最大流水表的记录量达到了超5亿级别,这是由于目前外网在用的sybase数据库系统版本,没有采取很好的关于分区的技术。

曾经有过把流水表进行物理水平分割,把不同月份的数据分割放在不同的物理表上的模型改造设想,碍于产生的应用程序修改工作量大,老旧数据迁移的麻烦,再加上进行了从单库架构改造到分库架构后,数据库性能瓶颈就不是特别突出。

系统架构设计及原理 基本处理流程 模块划分 数据结构设计

系统架构设计及原理 基本处理流程 模块划分 数据结构设计

系统架构设计及原理基本处理流程模块划分数据结构设计系统架构设计是构建一个信息系统或软件产品的基础,它涉及到系统的整体结构规划,包括软件、硬件、网络、数据和用户界面等方面。

以下是一些关于系统架构设计的基本概念、处理流程、模块划分和数据结构设计的概述:一、系统架构设计原理:1. 模块化:将系统划分为多个独立的模块,每个模块负责系统的某一功能部分。

模块化可以提高系统的可维护性和可扩展性。

2. 分层:系统架构通常采用分层设计,如表现层、业务逻辑层和数据访问层。

每一层负责不同的系统功能,且相互独立。

3. 组件化:使用预先设计和测试的软件组件来构建系统,这些组件可以在不同的系统中重用。

4. 服务化:将系统的各个功能抽象为服务,通过网络进行调用,实现系统的分布式处理。

5. 标准化:遵循行业标准和规范进行系统架构设计,以确保系统的互操作性和可集成性。

二、基本处理流程:1. 需求分析:理解并 document 用户需求和系统功能。

2. 系统设计:根据需求分析的结果,设计系统的总体结构。

3. 模块设计:细化系统设计,定义各个模块的功能和接口。

4. 技术选型:选择合适的技术栈和工具来实现系统架构。

5. 实现与测试:编码实现系统模块,并进行测试。

6. 部署与维护:将系统部署到生产环境,并进行持续的维护和优化。

三、模块划分:模块划分是系统架构设计的核心部分,它涉及到如何将系统的功能划分为多个独立的模块。

模块划分的一般原则包括:1. 单一职责原则:每个模块应该有一个单一的责任,并且该责任应该被完整地封装在一个模块中。

2. 最小化模块间耦合:尽量减少模块间的依赖关系,使得一个模块的变更对其他模块的影响最小。

3. 最大化模块内聚:模块内部的元素应该紧密相关,共同完成一个单一的任务。

四、数据结构设计:数据结构设计是系统架构设计中关于数据存储和管理的部分。

它包括:1. 数据模型设计:根据系统的业务需求,设计数据库模型,包括表、关系、索引等。

2023年数字化转型企业架构设计企业战略规划方案:业务架构、应用架构、数据架构、技术架构

2023年数字化转型企业架构设计企业战略规划方案:业务架构、应用架构、数据架构、技术架构

分解
二级业务分类
分解
支撑
业务能力
业务服务
由..实现,支撑
数据域
包含
数据主题
包含
概念实体
包含
逻辑实体
包含
属性
由..实现 由..实现
数据架构
通过..承载
关联
使用
业务规则
使用
业务对象/BI
包含
企业级价值流
由..实现
专业级流程
由..实现
操作级流程 由..度量
由..组成
业务步骤
中心
包含
服务库
包含
一级服务分类
包含
及其关系的一套整体组件规范
AA描述了各种用于支持业务架 构并对数据架构所定义的各种
实现 数据进行处理的应用功能
技术架构 (TA)
TA代表了各种可以从市场或组织内部获得 的软件和硬件组件
正确的做事
• 数据服务 • IT服务 • IT产品 • IT平台
企业架构内容分层
架构交付件
Deliverable
Deliverable Deliverable
描述企业架构设计的步骤,各步的输入和输出, 设计过程中重要考量点,包括总体架构设计方法 和系统架构设计方法。
TOGAF 领域驱动设计(DDD)
企业架构
描述企业架构管控的模式、组织、流程、标准规
/
管控方法
范和评估机制。
注:红色为本次新融入方法
目录
01 企业架构现状分析 02 企业架构内容框架 03 企业架构设计方法 04 附件
应用、平台、基础设施全面云化,并沉淀企业公共能力,实现各业务场景灵活 调用和共享,形成良性循环 安全体系遵从“三法三条例”,将安全融入到业务和IT系统,数据安全分层分 级,基础设施自主可控。
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

数据架构规划一.当前架构结合研发二部数据量最大的校讯通产品来描述,其他的产品在性能上出现瓶颈,可以向校讯通靠拢。

数据库整体架构:目前校讯通产品根据用户量的多少以及数据库服务资源的繁忙程度,横向采用了历史库+当前库的分库架构或者单一的当前库架构,其中历史库只作为web平台读数据库,纵向结合了applications的memcache+Sybase ASE12.5传统永久磁盘化数据库架构。

数据模型架构:原则上采用了一事一地的数据模型(3NF范式),为了性能考虑,一些大数据量表适当的引用了数据冗余,根据业务再结合采用了当前表+历史表的数据模型。

以下就用图表来进行当前数据架构的说明:横向分库数据库架构图:纵向app layer+memcache layler+disk db layer图:其中web层指的是客户端浏览器层,逻辑上:app层指的是应用服务层,mc 层指的是memcache的客户端层,ms层指的是memcache的服务层,db层指的是目前永久磁盘化的数据库层,当然在物理机器上可能app层跟mc层,ms层是重叠的部署在相同服务器上。

数据模型架构图:其中以上数据模型中除了少数几张表外其他的都有历史表存在,当然有很多表是没在这个模型图中的,这部分是核心数据模型。

这部分模型对象中也包括了一些冗余性的设计,比如用户中有真实姓名,特别是不在这个模型内,由模型核心表产生的一些统计报表,为了查询的性能冗余了合理一些学校名称,地区名称等方面的设计。

二.劣势现象1.流水表性能瓶颈当前架构的性能瓶颈集中在流水表的访问上,最大流水表的记录量达到了超5亿级别,这是由于目前外网在用的sybase数据库系统版本,没有采取很好的关于分区的技术。

曾经有过把流水表进行物理水平分割,把不同月份的数据分割放在不同的物理表上的模型改造设想,碍于产生的应用程序修改工作量大,老旧数据迁移的麻烦,再加上进行了从单库架构改造到分库架构后,数据库性能瓶颈就不是特别突出。

所以模型改造这部分工作没展开。

无论是单库或是分库的模式,出现平台访问数据库的性能瓶颈依然集中在大流水表上,在访问高峰高并发量情况下,短信的流水表进程堵塞,数据库服务I/O ,CPU的资源耗费达到顶点,在服务器硬件环境不是特别理想情况下,出现了一定概率造成用户访问缓慢甚至觉得页面无法响应现象,造成了用户体念不良影响。

2. 运营维护难点1)历史数据清理运维工作为了存储充分利用,为了性能的提升,需要定期进行不再使用的历史数据清理,由于清理的数据量庞大,传统的数据清理方法根本不可能保证一个晚上有效清理完毕,确保平台第二天正常的运行。

虽然目前已经实行了比较高效且可行的数据清理方法,但是每次实行都需要晚上到通宵进行处理,使得数据清理的运维工作特别劳累,影响到运维人员第二天的正常出勤,间接就有可能影响到数据库的正常运维监控,导致数据库问题出现。

2)防止索引失效而进行的统计量更新运维工作由于流水表数据变动量大,容易导致流水表的索引失效,从而需要定期的进行索引甚至整表的统计量更新工作,统计量更新时间跟流水表的数据总量成正比关系,所以导致统计量更新速度比较慢,不能确保在计划时间内,统计量更新的完全成功,而且目前外网安装的sybase12.5版本是最低一个的EBF版本,存在较多BUG,在索引统计量更新过程中可能导致数据库出现病态,进而影响第二天数据库的正常运行。

3.运维监控纰漏(此部分非架构原因引起)当前的数据库监控以及运维维护还存在一些纰漏,出现了多次数据库设备空间使用完毕,没有及时添加数据库设备空间导致数据库挂起问题,也多次出现了数据库日志空间占满导致数据库挂起问题。

此类问题还是比较明显,还有一类问题,不是整库挂起,而是部分业务表访问异常,运维可能监控不到,等用户访问到了这部分业务功能不正常,由用户反馈到运维这边。

4.运营统计报表在当前数据模型架构下重用性较低由于用户需求的渐进性,导致数据库统计报表在数据模型设计时没有站在至高点,随着用户需求的不断积累,数据库统计报表对象也跟着不断积累,发现目前存在比较大一部分的统计报表数据在不同数据库对象之间重复统计,没有充分发挥统计数据的重用性。

5.没利用集群技术当前的数据库架构还没采用成熟的集群技术,集群技术并不单单指单一数据库系统的集群,可以混合集群,比如内存数据库跟传统永久磁盘化数据库系统集群。

6.分库架构还可完善当前的分库架构还可以继续完善,引用成熟的数据库主从分离,读写分离技术。

7.内存数据库技术还没充分利用当前的数据库架构虽然在前端使用了memcache技术,但是还可以继续完善使用内存数据库技术再结合异步写技术,使得架构相得益彰。

8.适合海量数据高并发读写,高效率存储的非关系型数据库没充分利用当前的数据库架构还没采用正在兴起的NoSql,NewSql技术(目前部分外围系统采用了mongodb来做试验品,而这部分系统的数据量并不大,非关系型数据库海量数据高并发访问的高效性优势没有体现出来,从而也没掌握真正的使用经验),当然这种数据库也有缺点,就是数据库事务一致性,数据库的写实时性和读实时性,复杂的SQL查询,特别是多表关联查询是无法满足的。

三.改进思路在第二部分的劣势现象中,总结了当前数据库架构以及数据模型架构的缺陷,缺陷还比较多,从另外一个角度也反映了公司产品数据库架构改进和提升的空间还比较大,将来随着不断的迭代改进,可以承受的业务量提升的空间也相应的比较大。

下面就根据劣势现象进行针对性的阐述改进思路:1.流水表性能瓶颈改进Sybase12.5没有很好的解决大数据量表的性能问题,但是通过数据库转到Oracle后,充分利用Oracle分区表,分区索引的特性来提升流水表的访问性能,逻辑上表仍然是一张完整的表,只是将表中的数据在物理上存放到多个表空间(物理文件上,这样查询数据时,不至于每次都扫描整张表。

由于逻辑上仍旧一表,使得应用程序不需要修改,也避免了这个劣势点描述的带来额外许多开发工作量的问题,但是效果几乎等同水平分割数据模型。

2.大流水表运维难的改进1)历史数据清理运维工作在Oracel数库系统中,针对对大流水表每个月的数据进行分区,这样运维人员在清理历史月份的数据时候,只要通过TRUNCATE PARTITION、 DROP PARTITION的Oracle本身的分区维护命令轻松快速清理掉分区的数据(既指定月份的流水数据)2)防止索引失效而进行的统计量更新运维工作同样Oracle也有等同于sybase的统计量更新工作,在Oracle中通过对大流水表的分区工作后,进行统计量的更新工作同样就快捷简易,可以通过ANALYZE PARTITION的统计量分析维护命令可以轻松快速对指定分区的统计量进行更新。

3.运维监控纰漏的改进主要分两个方面:a)数据库剩余空间方面的监控;b)数据库出错日志的监控。

这两个监控虽然通过人为主动性的查看数据库相关信息可以监控到,但是总归还是会有疏忽遗漏的时候,只是出问题几率高低之分。

所以这里再加一道监控,就是通过数据库服务器端的监控程序主动发回有问题或者告警的信息给运维人员。

这道监控程序可以通过shell程序以及数据库程序,结合数据库日志以及剩余空间信息以短信或者邮件的方式发回给运维人员。

在数据库剩余空间方面甚至可以通过数据库本身阀值的设置,做到自动截取日志,自动添加设备。

4.运营统计报表数据模型的改进由于原先一些报表模型存在着数据统计的重复性,在晚上定时task中既占用了任务列表的总时间,也对其他并行的task运行造成了一定的资源争用,影响了数据库性能。

所以在这里提出了一种类似蒲公英性质的模型,数据通过发散模式,即插即用到不同的运营统计报表中,势必需要改进当前接近一事一地的3范式模型,把原先的数据模型拆散,从纵向和横向都接近最小粒度需求的数据模型。

使得统计数据可以重复使用,不同的统计报表通过这些原子性的统计数据再组合成报表所需要的数据,当然这里需要一个平衡,并不完全等同蒲公英模型的统计粒度越细越好,因为越细也代表着原始的统计数据量越大,一会影响原始统计的性能,二会影响组合成报表的性能,三会占用更多的存储空间。

这个平衡度需要掌控好。

5.利用集群技术当然通过了前面4点的改进之后,数据库性能会比目前的架构提升一定的性能,至于集群技术就可以作为前面4点改进后的补充和扩展,如果在改进后,依然还存在较大性能瓶颈情况下可以采用Oracle RAC技术。

甚至采用基于内存数据库的分布式数据库架构的混合集群技术。

比如在Oracle数据库及Web服务之间加一层 Ameoba 分布式数据库代理结合内存数据库的架构,6.分库架构完善改进目前的数据库架构采用了分库方式,但是主库(当前库)的读写却是没有分离的,纵观淘宝的数据库架构演进历程,确是在某个历程碑点做到了很好的读写分离,应用到DB的数据写入与查询从双向通行变成了单向通行,通行效率更高,大大避免了相互影响。

“借道行驶”的情况不再出现。

淘宝那个碑点做到了以下几点:1)写库为集中式的oracle环境,提供数据安全性保障。

2)读库使用mysql, 采用数据分片,分库分表,每台mysql放少量的数据,单个数据分片内部采用mysql复制机制。

3)读库的超大memory容量,起到了很好的cache作用,在内存中的数据查询性能远远高于在硬盘上的性能4)oracle到多台mysql按规则复制结合淘宝架构的思考,校讯通大流水也可以做到垂直分割到不同的服务器,也可以做到水品分割到不同的服务器,通过不同的服务器访问不同的流水表或者是不同范围数据的流水表,那提升性能是肯定的。

不过也要平衡考虑到应用程序开发的简便性。

7.内存数据库技术利用常见的内存数据库产品包括商业版和免费版两类。

商业版如:Altibase,Timesten,Berkley DB等。

他们在电信,金融,证券等高性能计算应用中运用较为广泛。

商业版功能强大,然而,价格比较昂贵,不适合目前“廉价PC+免费软件”的架构搭建思想。

开源领域产品主要有H2,HsqlDB,Derby,BerkeleyDB 等。

在混合集群架构中,内存数据库将承担OLTP的职责,因此除了读写性能外,功能的完备,事务等都需要作为优先评估的因素。

盛传H2是一个开源的高性能内存数据库,可以通过整合 Ameoba 与 H2,夹在applications和传统db层之间来达到内存数据库层的架构部署。

Ameoba 是分布式数据库代理,它与 MySQL 整合已经在阿里巴巴核心业务中成功运用。

如果仅将数据库节点看作一个存储,MySQL Node 和 H2 Node 并无本质区别。

JDBC驱动,DB切分,路由,皆由Ameoba 统一负责。

8.非关系型数据库的使用外围的非核心数据,但是数据量又是比较大的的业务系统数据库可以采用非关系型数据库,这是由非关系型数据库的一些基本特性决定的。

相关文档
最新文档