一种有效的优化数据仓库性能的解决方案

第36卷第1期2004年2月南　京　航　空　航　天　大　学　学　报Journal of Nanjing U niversity of Aeronautics &Astronautics

V ol.36N o.1

　F eb.2004一种有效的优化数据仓库性能的解决方案

何月顺1,2

,丁秋林

(1.南京航空航天大学信息科学与技术学院,南京210016;2.东华理工学院计算机与通信系,江西,抚州,344000)

摘要:要在数据仓库环境中获得长期优良的性能最大的障碍就是发现数据仓库中大量的休眠数据;数据仓库中的海量数据隐藏了最终用户查询所需要的数据,降低了查询效率。用于提高数据仓库性能和减少休眠数据存储费用最有效的方法就是移除休眠数据。本文简要分析了休眠数据进入数据仓库的主要方式;改进了数据仓库中休眠数据量的统计方法,以便准确地计算休眠数据量的大小;设计了利用活动监视器监视运行于数据仓库的事务以便查找休眠数据;提出了用近线存储方案移除休眠数据和利用跨媒体存储器管理休眠数据的方法,取得了较好的应用效果。

关键词:数据仓库;休眠数据;近线存储;监视

中图分类号:T P 311.132.3 文献标识码:A 文章编号:1005-2615(2004)01-0108-04

　基金项目:国家“863”高技术(863-511-810-041-03)资助项目。　收稿日期:2003-01-14;修订日期:2003-05-06

　作者简介:何月顺,男,讲师,1971年9月生,E -mail :heys @ecgi .jx .cn ;丁秋林,男,教授,博士生导师,1936年生。

Efficient Solution for Optimizing

Data Warehouse Performance

H E Yue -shun 1,2

,DI N G Qiu -lin

(1.Colleg e of Info rmat ion Science and T echnolog y ,

N anjing U niv ersit y of A er onautics &A str onautics,N anjing,210016,China;

2.Depar tment of Co mputer and Co mmunicat ion,East China I nstitute of T echno lo gy ,Jiang xi,F uzhou,344000,China)

Abstract :The g reat obstacles are to find many idle data in data w arehouse and it w ants to keep its excellent per for mance fo r a long time .M any data w arehouses conceal the data what the user require and reduce the quer y efficiency .Remo ving the idle data fro m the data w ar ehouse is the m ost effective m ethod fo r im pro ving the perfo rmance and decreasing the fees for storag ing the idle data.The m ain modes are analy zed for the idle data spreading into data w arehouse.In or der to calculate the number of the idle data in data w arehouse the statistic m ethod is advanced .An active monito r is used to mo nitor the transactions that are w orking in data w arehouse for finding the idle data.Near line sto rage is used to remov e the idle data and the spanning m edium storage is utilized fo r managing the idle data.T he schem e achiev es a goo d effect in practice .

Key words :data warehouse ;idle data ;near line sto rage ;m onito ring 数据仓库是一项基于数据管理和利用的综合性技术和解决方案。数据仓库中的数据是从许多业务处理系统中抽取、转换而来,对于这样一个复杂的企业数据环境,如何提高数据质量,以安全、高效的方式来对它们进行管理和适时的数据访问就变

得尤为重要。解决这一问题的关键因素之一就是对

大量休眠数据进行科学有效和及时的管理。大量休眠数据的存在是不利的,系统必须消耗大量资源来处理这些本来不予考虑的数据,从而降低整个系统的性能。

在一个成熟的数据仓库环境中管理大量数据的第一步就是识别和处理休眠数据;其次是提供对数据仓库进行调整的工具,以避免企业的管理层陷入一个数据的海洋。休眠数据是指那些存在于数据仓库中并被装载到由数据仓库系统所管理的活动存储区域内,当前并不使用、将来也很少或者根本不使用的数据。通过识别数据仓库环境中的休眠数据,数据仓库管理员可以移除将来不会使用的数据,并为将来要使用的数据提供更好的性能。图1表示了随着时间推移,休眠数据开始蔓延于数据仓

库中的过程。

图1　随着数据仓库增大休眠数据增大图示

1　休眠数据蔓延的主要方式

休眠数据进入数据仓库的方式多种多样,其主要方式有以下4种。

(1)概括表格的创建。创建概括表格是数据仓库环境中一种正常的、自然的部分。在创建概括表格时,有一个常见的意图就是基于规范的基础使用概括表格。随着时间推移,概括数据不是丢失就是变得毫不相关,其有效性大大减小,但是概括数据依然占据较大的空间。

(2)错误估计历史数据。设计数据仓库以及数据挖掘有访问历史数据的可能性,因此在设计数据仓库时认为几年内的历史数据是有用的,但是在一段时间后,发现在数据处理中真正有效的只是最近一年或几个月的数据。此时,大多数的历史数据已经成了休眠数据。

(3)需求的现实性逐渐明显。随着时间的推移,系统需求的现实性逐渐明显。在最初分析数据仓库的需求时,要求所有种类的数据都转到数据仓库中,并没有考虑或无法考虑将来如何使用这些数据。在执行一段时间处理后,才知道哪些数据是真正必须的、有价值的。

(4)详细数据驻留在数据仓库中。由于数据仓库被设计为能够满足不断变化的用户需求,并要求具有良好的性能,因此认为最低级别的详细数据是最重要的。随着决策支持处理经验的不断丰富,逐渐认识到多数处理也能在一个高度概括或中等程

度概括的级别上来完成。而此时详细数据已驻留在数据仓库中并成为休眠数据。

尽管数据仓库能容纳海量数据,但是任何休眠数据都会减慢数据处理速度,影响数据仓库的性能,为此必须对休眠数据进行适当的处理。

2　休眠数据量的统计方法

当数据仓库中的数据量不大时,休眠数据不容易被察觉,随着数据仓库总数据量的增长,休眠数据比例也随之增长。下面给出一个计算数据仓库中有多少休眠数据量的简单公式,休眠数据量通常用百分率表示。在这个计算中有3个基本变量:S 为数据仓库中的实际数据存储量,单位为字节;T i 为一年内运行于数据仓库中的某个事务;D i 为某个事务运行时所利用的数据量,单位为字节。则休眠数据百分率为

S -

∑n

i =1

×D i /S ×100%(1)

式中,n 为一年内运行于数据仓库中的事务总量。

如果考虑事务处理的重叠,这些事务之间将有相互重叠并且会访问相同的数据,通过调整所查看的数据量可以计算这种重叠。因此可定义重叠因子如下:

C ={1.0,0.5,0.3,0.2,…}分别表示运行某个事务时没有数据重叠;平均两次处理能遇到同一片数据;平均三次处理能遇到同一片数据;依次类推。

对于任意一个k i ,k i ∈C ,则休眠数据百分率为

S -

∑n

i =1

×D i ×k i

×100%

(2)

式(2)另一个非常重要的改进就是变量S ,S 表示的是实际原始数据和索引数据所占据的空间。它并不代表空闲空间、镜像空间、备份空间、分类空间、连接空间、或其他任何系统所需的空间。如果在计算中加入不用的系统空间,将会扩大系统所拥有的休眠数据量。这个公式可以使设计者知道在数据仓库中大概有多少休眠数据量。

根据计算结果,如果数据仓库中包含25%～50%的休眠数据时,数据仓库的结构是比较适当的;但是当数据仓库中包含75%以上的休眠数据时,就必须仔细地调整这些大量的数据;当数据仓库中包含超过90%的休眠数据时,就必须严格地注意管理数据量。

109

第1期何月顺,等:一种有效的优化数据仓库性能的解决方案

3　休眠数据的监视过程与查找方法

目前用于查找休眠数据的最好方法就是监视用户针对数据仓库的查询活动。用于查找活动的监视器被安装在查询活动(客户端)与数据仓库之间,其基本功能为:当查询通过监视器时,捕获SQL 语句;捕获从数据仓库管理系统返回给客户时的查询结果集。通过查看查询和查询结果集便能确定在查询处理中实际上使用了哪些表和数据,如图2所示。一个监视器可以检测到3种类型的休眠:表格级休眠、列级休眠、

值级休眠。

图2　监视数据仓库活动

与休眠类型相对应的有3种不同粒度级别的监视类型:表格监视、表格/列监视、表格/列/值监视。每种类型的监视都有各自所要考虑的事项。(1)表格监视适用于概括表、小表和不常用表。表格监视简单描述了在某个表上有哪些活动发生,而对活动的内容并没有详细说明。当要求查看是否使用了表以及使用程度时,利用表格监视是有用的。

(2)表格/列监视适用于大表、常用表。利用表格/列监视,数据仓库分析员就能知道正在访问哪些表以及正在访问表中的哪些列。

(3)表格/列/值监视适用于非常大的表和非常活跃的表。利用这种类型的监视可以窥视系统和精确查看正在使用哪些数据值和不使用哪些数据值,可以确定哪些数据是休眠的和哪些数据不是休眠的。

不同级别的监视既可单独工作也可同时工作,也可设定在不同的时间段内启动不同级别的监视。所有监视活动都不会对数据仓库本身造成不良影响,但必须考虑整个系统开销,每一粒度级别的监

视都需要相应的系统开销。相比较而言,表格级别的监视所需的系统开销最小,几乎可容忍任何类型

的表格监视;表格/列级别监视所需的系统开销比

表格监视开销多一个数量级;表格/列/值级别监视所需的系统开销最大。因此在进行监视时要根据系统的性能和实际需要选择监视的粒度级别。

4　休眠数据的移除及管理

(1)近线存储方案从数据仓库中移除休眠数据。处理休眠数据有多种方法,如丢弃数据到垃圾

桶、将数据归档到一个大容量的存储媒体中等,另一个直观、可行的解决方案就是近线存储方案:在数据仓库中加入高容量、相对比较便宜的存储系统形成二级数据存储模式,将休眠数据从数据仓库中转移到该系统中,并对外提供透明的数据访问功能,如图3所示。

图3　近线存储方案的数据存储方式

近线存储就是处于在线和离线之间,近线存储的数据被从数据仓库中移走,不再处于在线状态,但却能在合理的时间内被访问,因此它也不同于完全离线存储的数据。近线存储以比较经济的方式为数据仓库的数据存储提供了极大的扩充能力,并改善了整体数据访问的性能。

数据仓库中的原始数据是按时间片、通过快照模式入库的。当与数据仓库有关的数据发生变化时,就会产生一个新的快照。而旧快照中的数据并不会受到影响。按这种方式存储数据,数据仓库并没有更新,数据仓库的数据非常稳定。近线存储中的写数据方式非常适合于稳定的数据。

在数据仓库上进行查询需要大量的数据,而多数时候这些数据都是按顺序存储的。不像在线处理的进程流那样有着一连串的命令,需要处理磁盘设备不同部分的不同数据单元,数据仓库的处理与其有着根本上的不同。近线存储非常适合这种处理方式。

(2)利用跨媒体存储器管理休眠数据。当数据被从数据仓库中移到近线存储系统后,并不意味着数据永不使用,只是使用的几率相当小而已。一旦用户的查询涉及到这些数据,系统必须在合理的时间内返回查询结果,而且要对用户透明。跨媒体存

110

南　京　航　空　航　天　大　学　学　报第36卷

储管理器对数据请求敏感,并按一定的周期从数据仓库中向近线存储系统中转移数据,释放相应的存储空间。可以管理存储在各种介质上的数据,同时考虑对数据、元数据和索引等的需求,使数据能在物理上分布于各种不同的存储介质上。

当查询请求进入系统时,首先被跨媒体存储管理器截获。如果查询只涉及到当前活动的数据,则被直接传递给数据仓库管理系统处理;如果涉及到近线存储介质上的数据,则将其送入队列,并向近线存储系统发出信息,请求需要的数据。一旦数据被查到,并压入磁盘工作区域后,则从队列中取出查询并执行。其执行过程如图4

所示。

图4　跨媒体存储管理器活动过程(3)近线存储对用户产生的影响。数据仓库大体上有两种用户:一般用户和数据挖掘者。一般用户进行的查询常常是关于诸如销售分析、产品的接受程度或消费指数之类的信息。而数据挖掘者的思想是难以预测的,他们往往是寻找那些不易被识别的趋势、关系、行为模式等,需要寻找不同数据之间未曾被发现的关系,查询所涉及的信息是十分庞大的。当然数据挖掘主要是针对当前活动数据,在针对近线存储数据作趋势分析时,对响应时间的期望值不太高,这种分析不能在短时间内完成。

5　结束语

本文的设计思想已经应用于国家863/CIMS 应用示范工程徐州机械(集团)公司徐州装载机厂CIM S 工程计算辅助质量系统的设计与开发,通过在数据仓库与客户端之间安装数据仓库活动监视器,监视数据仓库中表格、数据、元数据被使用的频

率与使用的程度;考虑到系统的整体性能,目前主要在表格级和表格/列级实施了监视,监视时间为每天8∶00至17∶00时,取得了较理想的应用效果。由于数据仓库中数据量不是特别大(现只有28.6GB 的数据量),通过计算休眠数据量为53%,数据仓库的结构基本上是满足要求的。

通过计算机辅助质量数据仓库系统的实施和对休眠数据进行了监视与管理,从整体上讲,查询所消耗的系统资源被降低,性能得到改善;数据仓库的容量从经济上和技术上都具备了几乎无限扩展的能力;在不影响系统性能的基础上既为企业选择供应商、配套商提供了大量的决策数据,又节省了成本;系统设计方案基本可行。参考文献:

[1]　Inmon W H,Rudin K.Dat a war ehouse per for mance

[M ].Hohn W iley &So ns ,Inc ,2001.71～84.[2]　Han Jiaw ei.Data mining[M ].M o rg an Kaufmann Pu-

blisher s,Inc,2001.10,26～27.

[3]　Ber so n A.Data war ehousing ,data mining,a nd OL -AP [M ].N ew Y or k :M cG raw -Hill ,2001.120～121.[4]　M allach E G.D ecision suppo rt and da ta w ar ehouse

sy stems[M ].Bosto n:M cG raw -Hill,2001.79～80.[5]　M ang asa ria n O L.M athematical pro gr amming in da-ta

mining [J ].

Dat a M ining

and K now ledg e

Discov ery ,2001,54(10):1652～1663.

[6]　Hill,John M .W arehouse manag ement systems[J].

XXX M M oder n M at erials Handling ,2001,51(11):

1427～1439.

[7]　War ig on,Slemo.Data w ar ehouse co ntro l &secur ity

[J].X XXI Inter nal A uditor ,2001,55(11):1579～1592.

[8]　(美)L ou A g osta 著.数据仓库技术指南[M ].潇湘

工作室译.北京:人民邮电出版社,2000.55～56.[9]　王　珊,王能斌,施佰乐,等编著.数据仓库技术与联

机分析处理[M ].北京:科学出版社,2001.24～28.[10]　张维明,邓　苏,刘青宝,等编著.数据仓库原理与应

用[M ].北京:电子工业出版社,2002.19～20.

111

第1期何月顺,等:一种有效的优化数据仓库性能的解决方案

网络优化解决方案

网优中心针对多厂家交换数据的装置基于数据仓库技术的元数据驱动设计及多维分析方法基于基于数据仓库多维分析方法的网络性能分析、指标（网络运行性能、运行资源、运行收益及客户满意度的综合分析网络关键数据的自动发布、监控告警体系网络容量、性能、负荷等运行趋势分析、预测网络资源、负荷、话务等均衡优化基于用户自定义的多维报表体系为网络的中高级领导层提供管理决策支持为网络的综合监测、网络优化、网络规划提供服务

参数高速的跟踪分析，发现影响网络性能的关键参数及参数最优设置运行参数与设计参数的对比分析，指导参数的设置和检查规划数据的合理性不同时期的参数对比分析，发现影响网络性能的关键参数及参数最优设置可视化、地理化的参数查询运行参数自动合理性检查适应网络体系结构的变化，可以进行基站割接、增加和删除等操作根据不同的用户设置不同的权限方便的网优维护日志管理针对多厂家话务数据的装载主要网元（可由用户自定义的网络性能指标体系和计算公式多维度的指标分析、追踪异常网元的定位网络性能指标的地理化分析实时自动生成用户定义的动态报表体系自动生成专业的分析报告针对典型网络问题的专家分析用户定义的网络性能监控与报警针对单个或多个呼叫过程的跟踪、分析失败事件的统计、跟踪和分析，根据失败信令点的无线环境和小区无线指标分布分析（小区无线统计报告移动网络测试优化分析系统

带有数字化电子地图实时地理导航测试和回放时所有窗口实时关联、互相对应测试时自动识别网络广播信道时隙测试功能 CQT

强制切换测试和锁频测试可同时对移动实时邻频干扰载干比测试 GSM 测试和回放时测试点与服务主小区实时连线扫频支持：支持主叫自动拨号、被叫自动应答 CDD 地理化描述无线网络的各项测试参数专题分析无线下行覆盖、干扰、切换等网络问题话务数据的地理化观测准确的双网关对比统计报告，用户可选的强大综合统计报告空闲频率复用的地理化观测利用高速扫频数据做信号传播及干扰分析主小区的六个邻小区信息三层信令信息信道和无线 SQI 网络参数信息（信令事件实时显示和统计采集事件实时显示和统计 GSM/DCS 协议支持对于连续信道场强扫频速度设备尺寸长移动网络室内测试系统

九种数据仓库产品及解决方案评析

前言：随着我国企业信息化建设步伐的不断加快，全球性市场竞争的加剧，越来越多的企业开始建设自己的数据仓库系统，希望能对历史数据进行具体而又有针对性的分析与挖掘，以期从中发现新客户和客户新的需求。目前市场上各种数据仓库产品及其解决方案品种繁多，且大多属于“舶来品”，产品定位不同，各有特点，究竟选择哪家的产品能更适合自己的企业特点与未来发展？本文对目前市场上九种主流数据仓库产品(Business Objects、Oracle、IBM、Sybase、Informix、NCR、Microsoft、SAS、CA)进行分析与总结，根据各公司提供的数据仓库工具的功能，将其分为三大类：单点产品、提供部分解决方案的产品、提供全面解决方案的产品。下面对其进行一一介绍，以期能够给你的选择提供一定的参考。九种数据仓库产品及解决方案评析 =============================================== 一、单点产品这类产品仅局限于数据仓库方案实施中的一部分或某一特定功能，主要是作为第三方产品或者和其它公司的产品结合起来进行使用。比较有特色的是Business Objects。 Business Objects 所谓单点产品是指仅局限于数据仓库方案实施中的一部分或某一特定功能，主要是作为第三方产品或者和其它公司的产品结合起来进行使用。 ?产品特点： Business Objects是一个集查询、报表和OLAP技术为一身的智能决策支持系统。它使用独特的“语义层”技术和“动态微立方”技术来表示数据库中的多维数据，具有较好的查询和报表功能，提供钻取(Drill)等多维分析技术，支持多种平台（所有Windows 平台及Unix平台）和多种数据库（如Oracle、informix、Sybase、Microsoft SQL Server、DB2、CA-Ingres、Teradata、Red Brick、FoxFro、dBase、Access等），同时它还支持Internet/Intranet，可以通过WWW进行查询、报表和分析决策。 ?主要工具： Business Objects提供工具如下： BusinessObjects是集成查询，报表和分析功能的工具； Webintelligence是世界上第一个通过Web进行查询、报表和分析的决策支持工具； Businessquery是第一个可以在Microsoft Excel中集成企业公共数据源中数据的工具； Businessminer是面向主流商业用户的数据挖掘工具，可以实现深入的分析用以发掘深层次的数据之间的关系。

“优化运行、确保安全、降本增效”专项活动方案 (定稿)

“优化运行、确保安全、降本增效”专项活动方案 8月27日，集团公司召开了《开展“优化运行、确保安全、降本增效”专项活动》动员会，要在集团公司全系统内开展一次“优化运行、确保安全、降本增效”专项活动（以下检查“专项活动”）。为贯彻落实集团公司对本次专项活动的有关要求，切实提高活动的针对性、有效性，确保活动开展的效果和质量，新能源公司（以下简称“公司”）根据集团公司通知要求，结合公司的特点和实际情况，制定“优化运行、确保安全、降本增效”专项活动方案，内容如下。一、指导思想以集团公司管理提升活动总体方案为指导，以安全生产为基础，以经济效益为中心，以优化运行为重点，确保安全生产，提高运营效率、降低生产成本、增加经济效益，进一步提高生产运营规范化、标准化、精细化管理水平，为打赢“一保一降”攻坚战奠定基础。二、活动主题及范围（一）活动主题优化运行、确保安全、降本增效。（二）活动范围各分（子）公司、专业机构、本部有关部门。三、组织机构（一）公司本部公司成立“优化运行、确保安全、降本增效”工作领导小组：

组长：孟令宾成员：赵宗林孙利群邢德海吴立东崔健杨艳成敖亚新谭元章领导小组主要职责： 1.全面领导公司专项活动的开展。 2.确定公司专项活动实施方案。 3.审定重大技术改造、综合升级改造项目，落实资金保障。 4.建立健全对标抓落实长效机制，建立全覆盖、全过程、全方位、全参与工作格局。 5.健全和完善协作、交流与推广的工作机制。 6.建立活动质量检查评价标准，对活动效果进行评估，表彰先进、鞭策后进。领导小组下设办公室，挂靠在公司安全生产部，办公室成员由相关部门有关同志组成。（二）基层企业各基层企业要成立相应的专项活动领导小组和办公室，落实牵头部门，落实责任人，细化管理目标和职责。四、活动目标（一）确保安全稳定 1.2011年底投产的企业，实现企业、设备、人员依法取证率100%。 2.确保5家发电企业实现安全生产标准化二级达标，5家发电企业实现安全生产标准化三级达标。 3.力争使2011年底投产的企业全部实现本质安全型企

系统优化最佳方案

WindowsXP终极优化设置(精心整理篇) 声明：以下资料均是从互联网上搜集整理而来，在进行优化设置前，一定要事先做好备份！！！ ◆一、系统优化设置 ◆1、系统常规优化 1）关闭系统属性中的特效，这可是简单有效的提速良方。点击开始→控制面板→系统→高级→性能→设置→在视觉效果中，设置为调整为最佳性能→确定即可。 2）“我的电脑”－“属性”－“高级”－“错误报告”－选择“禁用错误汇报”。 3）再点“启动和故障恢复”－“设置”，将“将事件写入系统日志”、“发送管理警报”、“自动重新启动”这三项的勾去掉。再将下面的“写入调试信息”设置为“无”。 4）“我的电脑”－“属性”－“高级”－“性能”－“设置”－“高级”，将虚拟内存值设为物理内存的2.5倍，将初始大小和最大值值设为一样（比如你的内存是256M，你可以设置为640M），并将虚拟内存设置在系统盘外（注意：当移动好后要将原来的文件删除）。 5）将“我的文档”文件夹转到其他分区：右击“我的文档”－“属性“－“移动”，设置到系统盘以外的分区即可。 6）将IE临时文件夹转到其他分区：打开IE浏览器，选择“工具“－“internet选项”－“常规”－“设置”－“移动文件夹”，设置设置到系统盘以外的分区即可。 ◆2、加速XP的开、关机 1）首先，打开“系统属性”点“高级”选项卡，在“启动和故障恢复”区里打开“设置”，去掉“系统启动”区里的两个√，如果是多系统的用户保留“显示操作系统列表的时间”的√。再点“编辑”确定启动项的附加属性为/fastdetect而不要改为/nodetect，先不要加/noguiboot属性，因为后面还要用到guiboot。 2）接下来这一步很关键，在“系统属性”里打开“硬件”选项卡，打开“设备管理器”，展开“IDE ATA/ATAPI控制器”，双击打开“次要IDE通道”属性，点“高级设置”选项卡，把设备1和2的传送模式改为“DMA（若可用）”，设备类型如果可以选择“无”就选为“无”，点确定完成设置。同样的方法设置“主要IDE通道”。

IBM数据仓库解决方案简

1.1技术架构设计成功地实施一个仓库项目，通常需要很长的时间。如果仅仅着眼于短期成果，缺乏整体考虑，采用一种不健全的体系结构，不仅会增加系统开发和维护成本，而且必将对发挥数据仓库的作用造成不利的影响。因此一个综合，清晰的远景规划及技术实施蓝图将在整个项目的实施过程中起到重要作用。技术架构必须具有高度先进性和可扩展性，以满足业务需求的不断变化。一个完整的数据仓库系统包括数据源、数据转换区、数据仓库、数据集市、和数据展现层，通过数据仓库不同层次之间的加工过程，实现财政从数据资产向信息资产的转化过程。在不同层次之间的数据加工过程需要通过ETL技术实现，并对整个过程进行有效的元数据管理。基于对需求的理解，基于财政部的信息系统框架模型基础之上的财政决策支持系统技术架构如下图所示：如上图所示意，通过搭建灵活的、可扩展技术架构，在保持数据集市稳定性的同时，可以不断增加数据源，增加应用数据层、增加应用层，满足不断增加的业务分析应用需求。采用DW+ODS的数据仓库体系结构，使用全新的ETL模式对ODS进程每日数据更新，按周或月周期对数据仓库执行ETL过程。使用COGNOS BI做为前端的查询分析和数据挖掘工具，可满足各种日常数据处理操作，从即时简单报表查询到多维多级数据分析和挖掘，都能够在统一COGNOS BI平台上完成。 1.1.1数据源和数据接口数据源指存储于财政各个业务系统的业务数据，以及未来的财政监管和外部数据。数据仓库系统将整合来自于这些系统的数据，形成财政统一的、一致的基础数据集，并提供给不同的应用主题形成数据集市。各个系统在体系架构、开发平台、数据定义、接口标准都会存在不同程度的差异；另外由于业务的不断变化，

网络优化常见问题及优化方案

网络优化常见问题及优化方案建立在用户感知度上的网络优化面对的必然是对用户投诉问题的处理，一般有如下几种情况： 1．电话不通的现象信令建立过程在手机收到经PCH(寻呼信道)发出的pagingrequest(寻呼请求)消息后，因SDCCH拥塞无法将pagingresponse(寻呼响应)消息发回而导致的呼损。对策：可通过调整SDCCH与TCH的比例，增加载频，调整BCC(基站色码)等措施减少SDCCH的拥塞。因手机退出服务造成不能分配占用SDCCH而导致的呼损。对策：对于盲区造成的脱网现象，可通过增加基站功率，增加天线高度来增加基站覆盖；对于BCCH频点受干扰造成的脱网现象，可通过改频、调整网络参数、天线下倾角等参数来排除干扰。鉴权过程因MSC与HLR、BSC间的信令问题，或MSC、HLR、BSC、手机在处理时失败等原因造成鉴权失败而导致的呼损。对策：由于在呼叫过程中鉴权并非必须的环节，且从安全角度考虑也不需要每次呼叫都鉴权，因此可以将经过多少次呼叫后鉴权一次的参数调大。加密过程因MSC、BSC或手机在加密处理时失败导致呼损。对策：目前对呼叫一般不做加密处理。从手机占上SDCCH后进而分配TCH前因无线原因(如RadioLinkFailure、硬件故障)使SDCCH掉话而导致的呼损。对策：通过路测场强分析和实际拨打分析，对于无线原因造成的如信号差、存在干扰等问题，采取相应的措施解决；对于硬件故障，采用更换相应的单元模块来解决。话音信道分配过程因无线分配TCH失败(如TCH拥塞，或手机已被MSC分配至某一TCH上，因某种原因占不上TCH而导致链路中断等原因)而导致的呼损。对策：对于TCH拥塞问题，可采用均衡话务量，调整相关小区服务范围的参数，启用定向重试功能等措施减少TCH的拥塞；对于占不上TCH的情况，一般是硬件故障，可通过拨打测试或分析话务统计中的CALLHOLDINGTIME参数进行故障定位，如某载频CALLHOLDINGTIME值小于10秒，则可断定此载频有故障。另外严重的同频干扰（如其它基站的BCCH与TCH同频）也会造成占不上TCH信道，可通过改频等措施解决。 2．电话难打现象一般现象是较难占线、占线后很容易掉线等。这种情况首先应排除是否是TCH 溢出的原因，如果TCH信道不足，则应增加信道板或通过增加微蜂窝或小区裂变的形式来解决。

影响安全的因素分析和措施优化正式版

In the schedule of the activity, the time and the progress of the completion of the project content are described in detail to make the progress consistent with the plan.影响安全的因素分析和措施优化正式版

影响安全的因素分析和措施优化正式版下载提示：此解决方案资料适用于工作或活动的进度安排中，详细说明各阶段的时间和项目内容完成的进度，而完成上述需要实施方案的人员对整体有全方位的认识和评估能力，尽力让实施的时间进度与方案所计划的时间吻合。文档可以直接使用，也可根据实际需要修订后使用。铁路运输安全不仅是车、机、工、电、车辆等各部门工作联合协作的结果，而且是人、机、环境、软硬件相互协调相互匹配的结果，其中任何一个环节故障或差错，都有可能威胁铁路行车安全。一、影响因素在铁路行车事故中，一类是列车在区间发生的事故，另一类是列车在车站发生的事故。在这两类事故中，除了机车司机本人差错原因外，车站的行车人员(包括车站值班员、信号员和助理值班员)的工作差错也是主要原因。在日常的车站安全管理

中，往往缺乏保证列车行车安全的系统方法；在事故分析中，经常片面地过多地而且简单地把事故原因归结为事故者“粗枝大叶”、“盲目求快”、“责任性不强”等等，忽视了作业人员的生理极限和心理因素，忽视了作业者与设备的关系，忽视了作业者与环境的关系。人为失误是铁路车站接发列车系统失效的最重要原因之一。根据我们的实际工作经验分析，其中信息感知、信息处理以及操作错误是最重要的原因。作业人员因环境的、心理的、生理的等等原因而“没有准确地感知信息”和“提供了不恰当的信息”。另一方面，由于信息量太大，车站值班员或信号员感受信息的能力受到生

linux_操作系统优化方案

按照传统，Linux不同的发行版本和不同的内核对各项参数及设置均做了改动，从而使得系统能够获得更好的性能。下边将分四部分介绍在Red Hat Enterprise Linux AS和SUSE LINUX Enterprise Server系统下，如何用以下几种技巧进行性能的优化： 1、Disabling daemons （关闭daemons) 2、Shutting down the GUI (关闭GUI) 3、C hanging kernel parameters (改变内核参数） 4、Kernel parameters （内核参数） 5、Tuning the processor subsystem（处理器子系统调优） 6、Tuning the memory subsystem （内存子系统调优） 7、Tuning the file system（文件系统子系统调优） 8、Tuning the network subsystem（网络子系统调优） 1 关闭daemons 有些运行在服务器中的daemons (后台服务)，并不是完全必要的。关闭这些daemons可释放更多的内存、减少启动时间并减少C PU处理的进程数。减少daemons数量的同时也增强了服务器的安全性。缺省情况下，多数服务器都可以安全地停掉几个daemons。 Table 10-1列出了Red Hat Enterprise Linux AS下的可调整进程. Table 10-2列出了SUSE LINUX Enterprise Server下的可调整进程

注意：关闭xfs daemon将导致不能启动X，因此只有在不需要启动GUI图形的时候才可以关闭xfs daemon。使用startx 命令前，开启xfs daemon，恢复正常启动X。可以根据需要停止某个进程，如要停止sendmail 进程，输入如下命令： Red Hat: /sbin/service sendmail stop SUSE LINUX: /etc/init.d/sendmail stop 也可以配置在下次启动的时候不自动启动某个进程，还是send mail： Red Hat: /sbin/chkconfig sendmail off SUSE LINUX: /sbin/chkconfig -s sendmail off 除此之外，LINUX还提供了图形方式下的进程管理功能。对于Red Hat，启动GUI，使用如下命令：/usr/bin/redhat-config-serv ices 或者鼠标点击M ain M enu -> System Settings -> Serv er Settings -> Serv ices.

网络优化方案

2017 年网络优化方案技术部—IT组 2016-11-28 目录前言一、优化目的 1.01、网络体验 1.02、早期酒店无线覆盖方案的问题 1.03、酒店无线（WiFi）网络整体服务

二、解决方案 2.01、网络示意图 2.02、设备选型 2.03、办公区方案 2.04、度假酒店客房方案 1、客房数量 2、网络拓扑 3、方案说明 2.05、大别墅方案前言

酒店无线（WiFi）上网，在几年前还是个超前时髦的概念，但随着以 iPhone/ iPad为代表的智能手机/平板电脑的迅速普及，成为人手一个（特别是商务、旅游人士）的必备终端，无线（WiFi）上网已经成为所有酒店（无论是国外还是国内）必须考量的基础服务。实际上，酒店的服务人员及管理者已经越来越多的遇到来自于客户对于无线(WiFi)网络的需求。国内酒店业门户网站“迈点网”（https://www.360docs.net/doc/606607961.html,）载录的“酒店需具备的十个信息化服务”，描述了客户经常反映和投诉的十个酒店信息化服务，其中最重要的一个就是客户对网络（特别是无线网络）的需求：“网络不好，包含两层意义：A、网络接入点不好，客户找不到网口，或者网口不方便，客人在家里/办公室已习惯了无线上网，但能提供无线上网的酒店数量非常少；B、网络速度和方便度不好，客人在酒店的上网速度、方便性与家里/办公室相比差距甚远” 综上所述，“酒店WiFi无线上网”已经成为最受关注、最吸引客户的酒店服务。提供全面的、免费的WiFi无线上网服务，会使酒店更加吸引客户，从而提高酒店客房入住率。一、优化目的

1.01、网络体验真正令客户满意的无线（WiFi）服务，绝不仅仅是对酒店的无线（WiFi）信号的简单覆盖。酒店无线（WiFi）服务，是涉及“统一服务、无线信号、上网速度、无缝连接、差异化体验、网络门户”等多个方面的综合服务。如果不进行充分的、全面的准备，仓促进行无线网络覆盖部署，不但不能为酒店增添新的卖点，反而可能会因无线网络体验不好而引致客户的抱怨，得不偿失。 1.02、早期酒店无线覆盖方案的问题早期（2004年以前）的酒店无线（WiFi）网络覆盖，往往采用的是以有线局域网为基础，再安装1个或多个分散的无线接入点（AP），以提供酒店内部指定区域的无线网络连接，这种方式的优点是部署简单，普通家庭/个人用户在家庭也多采用这样部署方式。但随着无线网络应用的发展、酒店无线网络服务的用户规模扩大，这种分散AP的部署方式暴露出越来越多的缺点： A、AP独立工作，缺乏统一的管理：AP分散在各个区域，独自工作。网管人员必须对每一个AP进行基本安装配置、安全策略配置、访问控制配置，随着酒店无线网络规模的逐渐增大，日常安装维护工作变得非常繁琐，例如网络临时变更或修改配置需要酒店网管人员对每一个AP逐个进行配置变更，缺乏统一配置和管理。 B、接入有效性、稳定性无法保障：分散的AP布放，由于WiFi网络的传输距离有限，加上酒店客房墙体对无线信号的阻碍，往往会导致离AP较远的房间无法接受到稳定的无线信号；如果试图通过密集布放多个AP来解决信号问题，由于各个AP之间没有统一管理，因此反而会因为AP之间的无线RF信号的互相冲突，反而会导致客户连接的不稳定；而且客户电脑/终端同时接收到多个酒店无线网络的信号，可能会产生使用上的困惑，并且在实际使用时会出现交替连接/断开的现象，影响客户的无线上网体验。

高校数字化校园网络安全优化解决方案

高校数字化校园网络安全优化解决方案行业背景高校与科研机构是互联网最早建设与推广使用的行业之一。各地高校信息化发展迅速，目前高校信息化应用系统已经涵盖到教学（占98%）、科研（占84.4%）、管理（占95.3%）等学校主要业务上，网络从管理向服务转型，中国教育正大力推进自己的信息化水平，教育骨干网、城域网、校园网、教育资源中心等项目正在全国各地如火如荼地规划与建设中。高校校园网由于各类应用普与，用户群庞大且非常活跃，网络环境与流量组成都较为复杂，给整体网络的安全、体验与管理带来了较大的难题。需求分析网络的风险层出不穷，多样化的网络攻击以与应用层的攻击时间频频发生，作为数字化信息的最重要传输载体，如何保证校园网络能正常的运行不受网络黑客、病毒的侵害，并对学生的上网行为进行有效的管理，已经成为了各个学校不可回避的紧迫问题。另外，网络互联的健壮性要求也逐步在提升，单一链路所引起的单点故障问题给校园带来的损失已越来越不容忽视，不少学校会部署多链路来解决单点故障问题，但是这种传统的解决方案同样存在着缺陷。比如：对于出站访问，传统多链路部署方案无法判断哪条链路会比较快速的可以到达访问目标；而对于入站访问，也无法确定哪条链路在当前环境下是能

够更快更好的对外提供服务的。同时链路利用是否合理、链路的稳定性也无从得知。此外，目前学校、政府花费了巨大的精力进行校园网建设，国际教育网络资源对高校也有很大的优惠措施。学校的图书馆电子资源、校内OA系统、校务管理系统给师生工作学习都带来了便利，但走出校园网这些资源便无法利用了。同时，随着智能终端的发展和普与，越来越多的用户已经将办公由原来的台式机、笔记本转向移动智能终端，移动互联网在给我们带来快速性和便捷性的同时，我们也面临着新的问题。如何在校园网外实现远程移动办公已经成为校园网深度建设必须面对的问题。具体需求如下： 1.校园网出口链路负载均衡出口链路的智能调度：目前绝大多数高校均有多条链路出口，如教育网、电信、联通等，如何实现内部用户访问互联网流量在多链路间的智能调度？如访问电信网站则通过电信出口流出？通过传统的路由器+策略路由方式显然无法满足多运营商、多链路的智能调度效果，策略路由的数量毕竟有限，且过多的路由条目还将影响路由器的性能多出口链路的合理利用：学校花费巨资租赁的多条互联网宽带出口，如果无法得到最佳的、最有效的、最合理的利用，显然等同于浪费。因此合理利用多条互联网宽带出口链路不仅能够提升内部宽带用户的互联网访问速度，而且能够提升客户满意度、进而扩大宽带业务推广规模多出口链路的互为备份：为了提升学校互联网宽带链路的稳定性，多条互联网出口链路应该互为备份 2.服务器负载均衡高校的选课服务器、成绩查询服务器等业务系统每年均有学生访问高峰期，

PhotoShopCC运行缓慢甚至卡死的系统性能优化方法

PhotoShopCC运行缓慢甚至卡死的系统性能优化方法 PhotoshopCC是迄今为止功能最强大的图像处理软件之一，而不少网友对于PhotoshopCC也可谓是又爱又恨。爱很好理解，因为PhotoshopCC能帮助我们高效率地进行各种图像处理；而恨呢，则是因为随着PhotoshopCC功能的日益强大，对电脑配置要求也相应提高，运行过程中很可能会出现相应缓慢甚至是停止相应的情况。笔者作为一个UI设计师，每天都要跟那些尺寸不大但却有着许多图层的图像打交道，因此对于PS性能优化还是有一些心得的。这里，我们就针对PSCC运行缓慢或停止相应这一问题提出一些性能优化建议。当然，你可以根据你的工作流程来参考使用这些优化建议，至于优化效果，一定会让你记忆深刻。PS性能优化技巧分享PS性能优化通用技巧这里，我们先介绍一些PS性能优化的通用技巧，不管你用PS来干什么，这些PS性能优化技巧都能帮你提高工作效率。一、文件大小和尺寸作为一名UI设计师，笔者通常使用的文件格式就是PSD，为了确保图像的兼容性，Adobe 对PSD文件的大小限定为最大2GB。当PS运行变慢的时候，你第一件要做的事情就应该是检查文件大小。如果你的应用的每一屏都在同一个PSD里面，文件大小可以非常快就确定下来，尤其是你还要添加图层组合的时候。在Photoshop CC 14.2以后的版本，PS中新增了“链接到智能对象”功能，该功能的出现可让你的应用用到多个文件中，在长期的更新过程中减去许多麻烦。笔者目前开始做的就是利用该功能来打破一些设计，它不仅能保持PS运行

流畅，还能让笔者更加灵活地设计应用的每一屏。除PSD之外，Adobe对其他文件类型的大小也设置有一些限制。如没有文件可以大于300000x300000像素，PDF文件大小也不能超过10GB。不过使用PS的大型文档格式则不需要担心，这些文件大小的限制为4EB（4000000百万兆字节）。二、效率指示想要知道你的PSD占用了多少系统资源，这是一个十分简便的方法。在PSCC 工作区的左下方有一个指示，可现实当前的文件信息。默认状态下，它显示的是“文件大小”，类似“文档：12.5M/384.5M”这样的指示。这时，点击好似播放按钮的符号“?”，就可以按照你的喜好进行自定义设置显示内容，其中就包括“效率”这一项。图01 调出“效率”这一显示内容后，一般显示的会是“效率：100%”。而当该数值低于100%的时候，则意味着你并未分配足够的内存给PS，这时候PS会调用磁盘空间来支持运转，PS的图像处理运行自然会慢下来。如果你看到该数值已经低过90%了，那么你就该分配更多的内存给PS。当然，这里我们稍后再做详细解说。不过如果你是在全屏模式下工作，则该指示会隐藏起来，但我们可以通过信息面板查看到相关信息。图02 此外，还有两种方法可以释放一些内存：1、清理“还原”“剪贴板”和“历史”（编辑>清除>所有）2、关闭所有你现在不使用的文件86ps素材网小提示：这里要注意一点的是，清理这个功能虽然非常有效，但却是不可逆的操作。如果你觉得你有可能会想要把图像恢复至之前的某个步骤中的样子，那么就仅仅清理剪贴板就OK了。三、

企业数据仓库概要设计说明书ETL概要设计分册

文档变更历史

目录 1概述 (4) 2设计原则和前提 (5) 2.1 整体部署 (5) 2.2 前提条件 (6) 2.3 设计原则 (6) 3整体框架 (7) 3.1 ETL系统架构图 (7) 3.2 ETL系统功能模块描述 (7) 4数据抽取模块 (9) 4.1 假设与约定 (9) 4.2 模块功能图 (9) 4.3 各子模块功能及处理流程 (11) 5数据加载模块 (11) 5.1 假设与约定 (11) 5.2 数据加载模块图 (11) 5.3 数据加载功能模块描述 (12) 6作业调度模块 (13) 6.1 模块概述 (13) 6.2 假设与约定 (13) 6.3 作业调度流程 (13) 6.4 ETL作业种类及调度实现方法 (14) 7监控管理模块 (15) 7.1 监控管理模块图 (15) ETL监控内容 (16) 附录1控制表及控制文件设计 (16) 附录2：文件目录及编码说明 (19)

1概述 ETL是数据仓库系统开发中至关重要的一个过程，它涉及到对源数据的抽取、整合及各种转换，并最终形成面向用户的分析数据。由于数据仓库系统的数据源来自于多个分散的业务系统，对不同业务系统的数据整合及清洗转换将是一个复杂的过程，ETL过程决定了数据仓库系统获取数据的准确性。另外由于ETL包括数据抽取、数据清洗、数据转换及数据加载等数据处理过程，这些处理过程分散在不同的系统平台及开发工具上，对这些作业过程的统一调度将是一个重要的问题，作业调度涉及到系统的稳定性。

系统性能优化方案

系统性能优化方案 (第一章) 系统在用户使用一段时间后（1年以上），均存在系统性能（操作、查询、分析）逐渐下降趋势，有些用户的系统性能下降的速度非常快。同时随着目前我们对数据库分库技术的不断探讨，在实际用户的生产环境，现有系统在性能上的不断下降已经非常严重的影响了实际的用户使用，对我公司在行业用户内也带来了不利的影响。通过对现有系统的跟踪分析与调整，我们对现有系统的性能主要总结了以下几个瓶颈： 1、数据库连接方式问题古典C/S连接方式对数据库连接资源的争夺对DBServer带来了极大的压力。现代B/S连接方式虽然不同程度上缓解了连接资源的压力，但是由于没有进行数据库连接池的管理，在某种程度上，随着应用服务器的不断扩大和用户数量增加，连接的数量也会不断上升而无截止。此问题在所有系统中存在。 2、系统应用方式（架构）问题(应用程序设计的优化) 在业务系统中，随着业务流程的不断增加，业务控制不断深入，分析统计、决策支持的需求不断提高，我们现有的业务流程处理没有针对现有的应用特点进行合理的应用结构设计，例如在‘订单、提油单’、‘单据、日报、帐务的处理’关系上，单纯的数据关系已经难以承载多元的业务应用需求。 3、数据库设计问题（指定类型SQL语句的优化）

目前在系统开发过程中，数据库设计由开发人员承担，由于缺乏专业的数据库设计角色、单个功能在整个系统中的定位模糊等原因，未对系统的数据库进行整体的分析与性能设计，仅仅实现了简单的数据存储与展示，随着用户数据量的不断增加，系统性能逐渐下降。 4、数据库管理与研究问题(数据存储、物理存储和逻辑存储的优化) 随着系统的不断增大，数据库管理员（DBA）的角色未建立，整个系统的数据库开发存在非常大的随意性，而且在数据库自身技术的研究、硬件配置的研究等方面未开展，导致系统硬件、系统软件两方面在数据库管理维护、研究上无充分认可、成熟的技术支持。 5、网络通信因素的问题随着VPN应用技术的不断推广，在远程数据库应用技术上，我们在实际设计、开发上未充分的考虑网络因素，在数据传输量上的不断加大，传统的开发技术和设计方法已经无法承载新的业务应用需求。针对以上问题，我们进行了以下几个方面的尝试： 1、修改应用技术模式 2、建立历史数据库 3、利用数据库索引技术 4、利用数据库分区技术通过尝试效果明显，仅供参考！

大数据仓库建设方案设计

第1章数据仓库建设 1.1数据仓库总体架构专家系统接收增购项目车辆TCMS或其他子系统通过车地通信传输的实时或离线数据，经过一系列综合诊断分析，以各种报表图形或信息推送的形式向用户展示分析结果。针对诊断出的车辆故障将给出专家建议处理措施，为车辆的故障根因修复提供必要的支持。根据专家系统数据仓库建设目标，结合系统数据业务规范，包括数据采集频率、数据采集量等相关因素，设计专家系统数据仓库架构如下：数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几个方面的内容：数据采集：负责从各业务自系统中汇集信息数据，系统支撑Kafka、Storm、Flume

及传统的ETL采集工具。数据存储：本系统提供Hdfs、Hbase及RDBMS相结合的存储模式，支持海量数据的分布式存储。数据分析：数据仓库体系支持传统的OLAP分析及基于Spark常规机器学习算法。数据服务总线：数据系统提供数据服务总线服务，实现对数据资源的统一管理和调度，并对外提供数据服务。 1.2数据采集专家系统数据仓库数据采集包括两个部分内容：外部数据汇集、内部各层数据的提取与加载。外部数据汇集是指从TCMS、车载子系统等外部信息系统汇集数据到专家数据仓库的操作型存储层（ODS）；内部各层数据的提取与加载是指数据仓库各存储层间的数据提取、转换与加载。 1.2.1外部数据汇集专家数据仓库数据源包括列车监控与检测系统（TCMS）、车载子系统等相关子系统，数据采集的内容分为实时数据采集和定时数据采集两大类，实时数据采集主要对于各项检测指标数据；非实时采集包括日检修数据等。根据项目信息汇集要求，列车指标信息采集具有采集数据量大，采集频率高的特点，考虑到系统后期的扩展，因此在数据数据采集方面，要求采集体系支持高吞吐量、高频率、海量数据采集，同时系统应该灵活可配置，可根据业务的需要进行灵活配置横向扩展。本方案在数据采集架构采用Flume+Kafka+Storm的组合架构，采用Flume和ETL 工具作为Kafka的Producer，采用Storm作为Kafka的Consumer，Storm可实现对海量数据的实时处理，及时对问题指标进行预警。具体采集系统技术结构图如下:

IBM公司数据仓库商业智能解决方案(DOC 45页)

1. 技术瓶颈：海量数据收集、海量数据存储、海量数据多维分析等一系列的问题，即使最热门最被业内人士看好的Hadoop技术能否撑得住？ 2. 资源投入：海量数据处理伴随着相应的硬件、软件需求的增长，技术人员的投入上对企业势必成为新的负担。 3. 价值金矿：海量数据中的非结构化数据蕴含着的“价值金矿”，能够帮助企业从未所触及的角度和维度为企业提供商业决策和辅助。从海量数据价值挖掘层面上看，传统的思维是数据量加大是一定要考虑OLAP的，一般的报表可能5、6个小时出来结果，而基于Cube的查询可能只需要几分钟，因此从一般意义上认为处理海量数据的利器是OLAP多维分析，即建立数据仓库，建立多维数据集，基于多维数据集进行报表展现和数据挖掘等。然而目前OLAP存在的最大问题是: 业务灵活多变,必然导致业务模型随之经常发生变化,而业务维度和度量一旦发生变化,技术人员需要把整个Cube重新定义并重新生存,业务人员只能在此Cube上进行多维分析,这样就限制了业务人员快速改变问题分析的角度,从而使所谓的BI系统称为死板的日常报表系统. 在思达商业智能平台 Style Intelligence上进行海量数据的多维数据分析，从业务需求的角度出发，维度和度量才是直接针对业务人员的分析语言。在自主知识产权数据块儿技术支持下，直接把维度和度量的生成交给业务人员，由业务人员自己定义好维度和度量之后，将业务的维度和度量直接运行，并最终生成报表。此种以终为始的设计思路，首先能解决传统OLAP分析中维度难以改变的问题，利用思达商业智能平台 Style Intelligence中数据非结构化的特征，业务人员可以灵活地改变问题分析的角度，对业务人员非常友善。其次思达商业智能平台Style Intelligence 在海量数据处理中利用分布式数据处理架构强大的分布式数据处理能力，无论OLAP分析中的维度增加多少，系统开销并不显著增长。

操作系统安全解决方案

操作系统安全解决方案（1）比较各操作系统安全特性 Linux的操作比较复杂，windows的比较简单 Linux速度比较快，安全性比windows好但是有很多软件只能在windows里运行与Linux兼容的软件正在开发中 Linux适用在网络方面 Linux的特性：开放性、多用户、多任务、良好的用户界面、设备独立性、丰富的网络功能、可靠的系统安全性、良好的可移植性 Windows 2008的特性：自修复NTFS文件系统、并行Session创建、快速关机服务、核心事务管理器（KTM）SMB2网络文件系统、随机地址空间分布（ASLR）、Windows硬件错误架构（WHEA）、虚拟化、PowerShell命令、Server Core 手机操作系统特性：应用程序框架支持组件的重用与替换；Dalvik虚拟机专门为移动设备做了优化；内部集成浏览器该浏览器基于开源的WebKit 引擎；优化的图形包括2D 和3D图形库，3D图形库基于OpenGL ES1.0（硬件加速可选）；GSM 电话（依赖于硬件）蓝牙Bluetooth，EDGE，3G，and WiFi（依赖于硬件）；照相机，GPS，指南针，和加速度计（依赖于硬件）；丰富的开发环境包括设备模拟器，调式工具，内存及性能分析图表，和Eclipsc集成开发环境插件。（2）Window系统管理的方法及安全加固策略安全加固策略 1．系统的安全加固：我们通过配置目录权限，系统安全策略，协议栈加强，系统服务和访问控制加固您的系统，整体提高服务器的安全性。 2．IIS手工加固：手工加固iis可以有效的提高iweb站点的安全性，合理分配用户权限，配置相应的安全策略，有效的防止iis用户溢出提权。 3．系统应用程序加固，提供应用程序的安全性，例如sql的安全配置以及服务器应用软件的安全加固。（3）Linux系统管理的方法及安全加固策略安全加固策略 1．取消不必要的服务 2．限制系统的出入 3．保持最新的系统核心 4．检查登录密码 5．设定用户账号的安全等级 6．消除黑客犯罪的温床

SQL2019系统性能优化解决方案共12页文档

SQL Server 系统性能调优解决方案前言近几年,医药流通市场经历了激烈的震荡,导致行业逐步成熟和企业的快速变革,差异化经营成为众多医药流通的竞争选择。时空产品在中国医药流通企业的发展过程中得到了广泛且深入应用,大量的客户化开发和定制支撑了企业管理中横向和纵向的变化，很好的适应了企业在发展过程中不断变化的需求。对于数据库管理系统的使用，很多用户都面临着一个很棘手的问题：系统效率下降。产生效率下降的因素是多方面： 1.硬件问题 2.软件问题 3.实施问题正因为产生效率下降的因素很多，所以如何去查找原因成为我们首要关注的问题，时空公司也处在积极探索过程中。时空公司在解决一些客户问题的过程中积累了一些方法和思路，归纳总结后呈现给体系内的技术人员，本方案就系统效率调整所必需的基础知识、方法、技巧等几个方面进行阐述，从而让技术人员能够快速定位问题，解决问题，为合作伙伴提供优质，快捷的服务。索引简介索引是根据数据库表中一个或多个列的值进行排序的结构。索引提供指针以指向存储在表中指定列的数据值，然后根据指定的排序次序排列这些指针。数据库使用索引的方式与使用书的目录很相似，通过搜索索引找到特定的值，然后跟随指针到达包含该值的行。索引键：用于创建索引的列。索引类型 ?聚集索引：聚集索引基于数据行的键值在表内排序和存储这些数据行。由于数据行按基于聚集索引键的排序次序存储，因此聚集索引对查找行很有效。每个表只能有一个聚集索引，因为数据行本身只能按一个顺序存储。数据行本身构成聚集索引的最低级别（叶子节点）。只有当表包含聚集索引时，表内的数据行才按排序次序存储。如果表没有聚集索引，则其数据行按堆集方式存储。聚集索引对于那些经常要搜索范围值的列特别有效。使用聚集索引找到包含第一个值的行后，便可以确保包含后续索引值的行在物理相邻。例如：如果应用程序执行的一个查询经常检索某一日期范围内的记录，则使用聚集索引可以迅速找到包含开始日期的行，然后检索表中所有相邻的行，直到到达结束日期。这样有助于提高此类查询的性能。同样，如果对从表中检索的数据进行排序时经常要用到某一列，则可以将该表在该列上聚集（物理排序），避免每次查询该列时都进行排序，从而节省成本。 ?非聚集索引非聚集索引具有完全独立于数据行的结构。非聚集索引的最低行包含非聚集索引的键值，并且每个键值项都有指针指向包含该键值的数据行。数据行不按基于非聚集键的次序存储。如

九大数据仓库方案特点横向比较[1]

九大数据仓库方案特点横向比较[1] 本文针对几大知名的数据仓库解决方案的性能和特点做分析和比较…… IBM、Oracle、Sybase、CA、NCR、Informix、Microsoft、和SAS等有实力的公司相继(通过收购或研发的途径)推出了自己的数据仓库解决方案，BO和Brio等专业软件公司也在前端在线分析处理工具市场上占有一席之地。 IBM--IBM公司提供了一套基于可视数据仓库的商业智能(BI)解决方案，包括：Visual Warehouse(VW)、Essbase/DB2 OLAP Server 5.0、IBM DB2 UDB，以及来自第三方的前端数据展现工具(如BO)和数据挖掘工具(如SAS)。其中，VW是一个功能很强的集成环境，既可用于数据仓库建模和元数据管理，又可用于数据抽取、转换、装载和调度。Essbase/DB2 OLAP Server 支持“维”的定义和数据装载。Essbase/DB2 OLAP Server不是ROLAP(Relational OLAP)服务器，而是一个(ROLAP和MOLAP)混合的HOLAP服务器，在Essbase完成数据装载后，数据存放在系统指定的DB2 UDB数据库中。严格说来，IBM自己并没有提供完整的数据仓库解决方案，该公司采取的是合作伙伴战略。例如，它的前端数据展现工具可以是Business Objects的BO、Lotus的Approach、Cognos 的Impromptu或IBM的Query Management Facility; 多维分析工具支持Arbor Software的Essbase和IBM(与Arbor联合开发)的DB2 OLAP服务器; 统计分析工具采用SAS系统。 Oracle--Oracle数据仓库解决方案主要包括Oracle Express和Oracle Discoverer两个部分。Oracle Express由四个工具组成：Oracle Express Server是一个MOLAP (多维OLAP)服务器，它利用多维模型，存储和管理多维数据库或多维高速缓存，同时也能够访问多种关系数据库; Oracle Express Web Agent通过CGI或Web插件支持基于Web的动态多维数据展现; Oracle Express Objects前端数据分析工具(目前仅支持Windows平台)提供了图形化建模和假设分析功能，支持可视化开发和事件驱动编程技术，提供了兼容Visual Basic语法的语言，支持OCX和OLE; Oracle Express Analyzer是通用的、面向最终用户的报告和分析工具(目前仅支持Windows平台)。Oracle Discoverer即席查询工具是专门为最终用户设计的，分为最终用户版和管理员版。在Oracle数据仓库解决方案实施过程中，通常把汇总数据存储在Express多维数据库中，而将详细数据存储在Oracle关系数据库中，当需要详细数据时，Express Server通过构造SQL语句访问关系数据库。但目前的Express还不够灵活，数据仓库设计的一个变化往往导致数据库的重构。另外，目前的Oracle 8i和Express 之间集成度还不够高，Oracle 8i和Express之间需要复制元数据，如果Oracle Discoverer(或BO)需要访问汇总数据，则需要将汇总数据同时存放在Oracle和Express中，系统维护比较困难。值得注意的是，刚刚问世的Oracle 9i把OLAP和数据挖掘作为重要特点。 Sybase--Sybase提供的数据仓库解决方案称为Warehouse Studio，包括数据仓库的建模、数据抽取与转换、数据存储与管理、元数据管理以及可视化数据分析等工具。其中，Warehouse Architect是PowerDesigner中的一个设计模块，它支持星形模型、雪花模型和ER模型; 数据抽取与转换工具包括PowerStage、Replication Server、Carleton PASSPORT，PowerStage 是Sybase提供的可视化数据迁移工具。 Adaptive Server Enterprise是Sybase企业级关系数据库，Adaptive Server IQ是Sybase公司专为数据仓库设计的关系数据库，它为高性能决策支持系统和数据仓库的建立作了优化处理，Sybase IQ支持各种流行的前端展现工具(如Cognos Impromptu、Business Objects、Brio Query等); 数据分析与展现工具包括PowerDimensions、EnglishWizard、InfoMaker、PowerDynamo等，PowerDimensions是图形化的OLAP分析工具，它支持SMP和多维缓存技术，能够集成异构的关系型数据仓库和分布式数据集市，从而形成单一的、新型的