Splunk 技术白皮书

Splunk 技术白皮书
Splunk 技术白皮书

--技术白皮书

2009年7月

目录

一、Splunk产生的背景 (3)

二、目前IT数据整合的需求 (3)

2.1、IT设备的数据整合需求 (3)

2.2、主机系统和数据库的数据整合需求 (4)

2.3、各种业务系统的数据整合需求 (4)

2.4、应用程序的数据整合需求 (5)

2.5、IT数据的法规遵从 (5)

三、Splunk介绍 (6)

四、Splunk的四大应用 (7)

4.1、运维IT数据整合 (7)

4.2、IT安全信息及数据的整合 (8)

4.3、应用程序IT数据整合 (10)

4.4、IT数据的法规遵从 (11)

五、Splunk的六大神奇功能 (12)

5.1、Index(索引) (12)

5.2、Search(搜索) (13)

5.3、Alert(警报通知) (13)

5.4、Report(报告) (13)

5.5、Share(资源共享) (14)

5.6、Secure(安全功能) (15)

六、Splunk技术参数 (15)

6.1、Index –索引 (15)

6.2、Search –搜索 (16)

6.3、Alert -- 事件警告 (16)

6.4、Report –报告 (16)

6.5、Share –分权管理 (16)

6.6、Scale –扩充与能力 (16)

6.7、Secure –安全架构 (17)

一、Splunk产生的背景

计算机技术、网络技术、信息技术已经成为各个组织和机构建设中必不可少的组成部分,甚至相当一部分组织和机构把信息化建设看成组织和机构建设的重中之重。因为互联网,信息化都给组织和机构带来了海量的,即时的各种信息,但是不是所有信息是有用的,因此很多组织和机构为了有效的管理这些海量的信息,并使之成为组织和机构有用的信息,现在都在进行IT数据整合的项目,也就通常大家都提到过的数据大集中。

同时,随着信息架构与应用系统日渐庞大,现行IT架构中,早已不是单一系统或是单一设备的单纯环境,组织中往往使用许多不同的Log Management 对应不同系统、设备与应用的需求,然而除了成本扩张外,每年的维护与人力资源的投资,都是一笔可观的费用成本,既使组织可以暂时获得单一事件或需求上的满足,对于结合异质系统、平台的问题上,却又需要花费大量的人力时间,对于问题解决的时间花费与异质平台问题查找,都无法有效管理与降低成本。

因此在数据大集中背景下,如何使组织和机构的IT数据进行整合,管理,维护,分析并使之再生效益。那就是使用目前大家都耳熟能详的一种技术-----搜索。

二、目前IT数据整合的需求

2.1、IT设备的数据整合需求

随着组织和机构信息化建设的规模越来越大,购买的各种设备也越来越多,各种类型的设备不一而足,即便是同一种类型的设备都可以分为好几种品牌。例如基础网络建设中,需要采用,路由器,交换机,接入链路等,而路由器又有思科,华为,Juniper等品牌;而安全和应用层IT建设中,组织和机构会需要防火墙,负载均衡器,代理网关或入侵防御等设备,而光负载均衡器市场就有Radware,F5,Array等6,7个品牌。

因此当一个中大型组织和机构面对如此众多但又比不可少的IT设备时,对于IT的网管人员管理的难度是可想而知,他们迫切需要一个综合的数据平台,能够统一查看这些设备的状态,而不需要每天都都到设备上登录一次;需要一个能当

这些设备出问题时,快速定位出问题所在的机制;需要一个能快速生成报表,并且能够整合多台设备数据生产报表的系统。

2.2、主机系统和数据库的数据整合需求

同上述IT设备来说,服务器和数据库的数据管理也是大同小异,甚至比这些设备的数据更难管理。对于网管人员同样会遇到大量服务器,而这些服务的数量甚至远远超过了IT设备的数量,因此每日查看这些服务器的状态,查找是否有服务器出现问题,并对出问题的服务器进行人工的日志分析,并需要定时为这些服务手工生成报表,都为网管人员的工作带来大量低技术含量并重复率极高的内容,使网管工作经常性陷入一种无意义的瞎忙状态中。

对于数据库管理员来说,组织和机构里数据库可能没有服务器那么多,但是其管理工作的难道也非常高,因为数据库里的信息是组织和机构最重要的信息,其需要安全程度可想而知,但是由于数据库必须要接受各种类型的人物来访问,因此数据库管理人员对于这些访问信息非常关注,比如每天都有什么人来访过,有多人被拒绝了,都什么时间段来访问的,访问的过程中都执行了什么命令,这些访问都使用了什么IP地址,发生了多少次数,数据库的某些关键信息是否有被改动的记录等等。而这些信息都不是数据本身能够提供,需要耗费数据库管理员大量的时间才能统计出来,有的甚至无法统计,因此数据库的数据管理也是大型组织和机构亟待解决的问题。

2.3、各种业务系统的数据整合需求

组织和机构为了信息化建设,将会开发各种IT业务系统,旨在提升工作效率,减少繁复的工作流程,整合组织和机构各种资源,最终提升整个组织和机构的生产力,为组织和机构带来效益。但是随着信息化建设的不断扩大,这些业务系统也逐渐变多,变大,例如,组织和机构会有OA系统,ERP系统,CRM系统,邮件系统,财务系统,公文审批系统,组织和机构门户网站等等。同样这些IT业务系统会产生大量的IT数据,而这些IT数据又是非常重要的,因为其关系组织和机构各个业务流程的具体运营状态,如果一个系统出现问题将有可能导致整个组织和机构停摆。

而网管人员对于这些组织和机构业务系统产生的各种数据,管理起来更是头大,因为这些业务系统由于开发方式,开发的组织和机构和开发工具不同产生的数据是各式各样的,因此对于这些数据的归档,整合和联合分析都有着巨大的难度。但是这些又是势在必行的,因为这些系统的各种状态对于组织和机构正常运行起着巨大的作用,比如,领导可能想即时的看到ERP系统中某产品近半年的销售状态,想了解CRM系统中某客户近一年内和本组织和机构的生意往来,想知道今天有没有人利用Mail系统发垃圾邮件,有知道某个销售一个季度的业绩,想了解组织和机构的门户网站都有多少人来访问,都来自那些地方。

而这些需求如果仅仅靠网管人员和其现有的工具来实现,简直比登天还难。

2.4、应用程序的数据整合需求

最后一部分,就是组织和机构开发的这些业务系统的支撑软件产生的各种IT 数据,例如下述如BEA,SAP,Vmware,Exchange,Websphere,,Weblogic,Veritas,Apache,IIS,Tomcat这些软件等等。对于一个中大型组织和机构拥有这么多类型软件并不是一件什么新鲜事情。但是对于系统维护人员,或者网管人员来说可以算是一种灾难,因为这些软件都是个组织和机构各种业务息息相关的,任何一个软件出现问题,都会导致组织和机构的某一个业务系统停顿,对组织和机构正常运行产生负面影响,给组织和机构带来各种损失。

因此,对于这些软件产生的IT数据,组织和机构需要一个综合的数据管理平台,能够利用这些软件的数据进行相关性的分析,能够在这些软件出现问题时最快速找到问题,能够定时的为这些软件产生运行状态报表,能够通过分析这些数据为组织和机构的领导进行信息化建设时提供数据支持。

2.5、IT数据的法规遵从

诸如FFIEC、FISMA、HIPAA、PCI和SOX之类的法规遵从强制规定,皆不断针对监控、报告及审核记录检查工作加入新的要求。但要完全符合这些要求,通常是相当困难且需付出高成本。而您所需的IT数据往往散布于系统各个角落,难以有效存取、分析及管理。

此外,若必须同时兼顾其它控管领域的法规遵从,还必须对由防火墙、存取

控制系统及应用程序所产生的系统管理日志文件,产生访问控制操作报告。而这些系统所产生的日志文件,往往具有不同的格式和储存位置。每位审核员的请求,亦涉及截然不同的手动程序。

也许您正饱受组织内部产生的脚本所造成的IT数据问题,并发现持续维护会影响IT资源。即使采用商业日志文件管理系统方式,亦会发现其极为僵硬且功能受限。其无法处理自定应用程序,并需要持续的维护,才能跟上变化的脚步。除了明确的记录规定外,对于生产系统的限制存取规定具有更大,但却常被低估的影响力。若拒绝开发人员及应用程序系统管理员存取生产系统以分析日志文件及配置,将会阻碍其发现及修正与获益服务相关问题的努力。若仅着重于监控及检查法规遵从性数据的日志文件管理方式,对于弥补这种营运缺口则毫无帮助。

三、Splunk介绍

Splunk是专门设计给组织和机构使用的IT搜索引擎(Search Engine),它将雅虎、Google的搜寻技术与概念发扬光大,如今组织和机构可以用Splunk来管理复杂的IT 系统。Splunk的软件能自动收集由各种服务器、网络设备和软件产生的数据与日志。Splunk的设计与使用概念就像是Google谷歌搜索引擎一样,组织和机构一旦安装Splunk的IT Search Engine之后,IT人员就可以透过Browser 使用Splunk并对组织和机构的各种IT Data进行关键词(Keyword)搜寻,快速地得到所需要的数据,除此之外Splunk本身还具有计算(Computing)能力,管理者可以透过Splunk将搜寻所得的结果立即做运算处理,产生各种报告、图表与警示,而且还可以设定Splunk进行排程定时搜寻,并将结果以Email Alert方式通知相关人员。

Splunk的IT Search Engine设计打破过去传统IT管理的方式,也突破过去各种IT管理工具如IBM Tivoli, HP OpenView, CA UniCenter的使用方式,用简单易懂的关键词(Keyword)搜寻方式,来协助IT人员找寻与解决IT问题。使用者不仅可以透过Splunk进行IT Search,还可以透过它的SplunkBase与API来开发相当多种的应用工具。市场上多认为Splunk将会是未来组织和机构IT管理的主要工具。

管理的真谛是简化流程。Splunk IT Search是一个全新的概念,藉由功能强大的搜索引擎,能够协助管理人员快速搜寻各种应用系统、网络设备所产生的大量IT data * ,透过各种相对应的关联性来找出各种IT事件的源头,进而协助管理人员解决IT营运会遇到的各种问题。

* IT Data 泛指一般的日志如syslog, SNMP ,csv,code,message…etc.

四、Splunk的四大应用

4.1、运维IT数据整合

Splunk将所有来源的各类型IT数据编列索引,使您可由单一位置实时搜寻、报警及回报整个系统的运作情形。

Splunk能快速报告各项结果并轻松采纳变更项目,且无须遵循、维护任何复杂的模型或规则。

使您能更快速将问题复原、减少停机时间,以及改善服务效能等级。

疑难排解

Splunk能作为您(或组织和机构中任何员工) 进行疑难排解的单一窗口,使您快速解决各项服务问题。无论是客户来电、硬件设备闪烁红灯等各种状态,皆可依时间、位置、专属错误讯息或您所了解的其它信息搜寻错误。

此外,可在搜寻结果上点击一下,便可依时间、主机、执行ID或其它条件

与其它事件相关联。Splunk能发现问题的症结是在配置变更、系统管理事件或工作负载过重-其能为配置文件及效能标准值制作索引,并配合错误及活动日志文件,使您在单一窗口中获得全盘的掌握。

您的第一线人员不必像之前般提升层级,即能轻易取用信息,以解决众多意外事件。而当必须将问题提升至开发人员时,他们亦能实时存取所需要的数据,无须登入生产机组或是干扰系统管理员,以请求采用严格生产存取控制的数据。另外,可将Splunk与您现有的管理工具及流程紧密整合,并可使用Splunk工具列从任何网页式的主控台,启动相关的Splunk搜寻。

监控

Splunk是极为强大的监控工具。可节省搜寻时间、排定时程,并依结果定期发出报警信息。因为Splunk可以搜寻从日志文件到配置等各种不同的IT数据类型,因此可将单一工具应用于整体基础结构之上,并对任何关键配置变更提出报警、对日志文件中所显示的信息提出报警,甚至对任何超过临界值的执行数目提出报警。

最令人满意的是,Splunk能协助随时改善监控情况。当在排错客户的问题时,可以立即储存并设定该事件重复发生的报警,以便在收到其它客户的申诉之前,先收到Splunk的通知。

Splunk不会成为另一个您必须随时照料的主控台;其报警功能可通过电子邮件、RSS、短信或触发脚本寄送通知,可轻易与您现有的监控主控台及服务台整合。报警亦可触发自动化动作,以立即响应特定状况。

服务效能管理

Splunk 可运用所有应用程序和组件内所登录的数据,协助您充分掌握实际的服务效能-而且无须加入新的仪测技术。其能针对错误、执行效能及其它标准提出报告,并可为商业拥有者、IT管理员及客户更新仪表板信息。

4.2、IT安全信息及数据的整合

Splunk可从单一位置实时搜寻、报警及报告任何使用者、网络、系统或应用程序活动、配置变更及其它IT数据。

消除设置多重主控台的需要,从单一位置即可追查攻击者的行踪。现在您可

以执行更为深入的分析,并更快速而彻底地予以回应,降低风险及危险暴露的程度。

Splunk能让您拥有一直渴望,但是从未想过可真正达成的全面可见性。

意外事件回应

在接获任何可疑活动的报警或报告时,Splunk将会是您第一个处理的窗口。只需在Splunk搜寻框中输入您所掌握的详细数据,包括IDS报警的来源及目标IP,或是认为其私人数据已外泄的客户账户ID即可。Splunk会立即传回您整个网络中所有应用程序、主机及装置中,与该搜寻条件有关的每一事件。虽然开始传回的数据非常多,但Splunk可协助您理出头绪,并依照所希望的方式加以整理。其会自动撷取及让您筛选时间及其它字段、依据关键词及模式将事件分类,因此您可快速处理完所有的活动数据。若您发现值得注意的事件,并希望加以追踪,仅要点击任何名词,即可针对所点击的词汇执行新搜寻。正因为Splunk可为任何IT数据制作索引-而不仅是安全性事件或日志文件,因此您只需使用Splunk,即可掌握全盘状况。您可在此单一位置中,搜寻及发现攻击者当下可能执行的程序、过去执行的程序,并查看其可能已修改的配置变更。

安全性监控

Splunk可让您非常容易跨越IT束缚监控安全性事件;搜寻您路由器及防火墙日志文件中的数据流违反情况,寻找服务器及应用程序上的违反情况,或是寻找未经授权或不安全的配置变更。运用Splunk的趋势分析、分类及执行识别功能,即可快速识别极为复杂的使用情况,例如可疑的执行及模式,或是网络活动的变化。报警功能可透过电子邮件、RSS、短信或触发脚本寄送通知,可轻易与您现有的监控主控台整合。报警还能触发自动化动作,以便立即响应特定状况,譬如命令防火墙封锁入侵者日后的数据流。

变更侦测

通过Splunk,可持续监测所有路径上的档案,无须另行部署其它代理程序。每次在您所监控的路径上加入、变更或删除档案时,Splunk皆会记录一个事件。您也可以让Splunk在每次整体档案有所变更时,皆为其制作快照索引。若已部署专用的变更监控工具,亦无影响,只要使用Splunk为其所记录的事件制作索引,代替直接监控变更即可。

无论来源为何,只要索引中的数据变更,您就会接获重大配置设定变更的警示,并能轻易追踪配置变更的错误症结原因。

安全性报告

Splunk为您提供单一位置,可跨越所有的IT基础结构及技术产生报告,包括跨越所有服务器、设备及应用程序,为安全性事件、效能统计数据及配置变更提供报告,并使用趋势图表及摘要辨识异常及可疑变化。其报告采用交互式能让您深入发掘,以了解问题的原因及影响。使用Splunk可传达您基础结构的安全性基本原则、检查存取控制,或是密切监视使用者的行为,并为您的客户、管理阶层或同事制作自动化的调度报表,或产生特定操作的报告。然后将报告结果列在仪表板上,为您组织中的资产管理人提供应用程序及系统的实时检查,以增加对状况的掌握能力。

4.3、应用程序IT数据整合

Splunk可以作为一个组织和机构的整个IT数据的平台和数据中心,利用Splunk的索引能力可以消化组织和机构中任意的IT数据,利用Splunk的搜索功能可以迅速帮组织和机构找出问题的原因所在,利用Splunk的报表功能,能够对组织和机构的各种IT设备,主机系统,业务系统产生灵活或即时的报表。

实时查错

因此当Splunk面对组织和机构各种业务系统支撑软件的问题时,更显得游刃有余,无论这些软件产生何种问题,重要程度任何,具体时间是多少,发生了多少次,是否造成了整个业务系统的崩溃,都可以通过在Splunk搜索框中键入几个简单字符就能解决,而更为重要的是,Splunk可以根据这些数据的重要级别和发生的次数以及发生的时间来判断是否要发出告警,让关心这些事件的管理人员,第一时间知道问题的出现,并根据告警的内容做好解决问题的准备。

内部威胁

Splunk能使您的组织具备必须的灵活分析能力,以侦测出所有类型的内部威胁。目前并无任何一种事件可以辨别恶意的内部人员。您必须监控整个应用程序堆栈、网络数据流、操作系统、数据库审核记录及应用程序,还有执行日志文件。然后使用Splunk搜寻所有类型的存取行为;产生单一使用者跨越所有应用程序

及服务器活动的可视化报告,以便找出可疑的人员。

变更验证

Splunk能实际验证各项变更及是否符合预期效果的方式,终结周而复始的变更管理工作。或许您已使用或采用服务台及CMDB工具控制及实施基础结构内的变更工作。但人为及系统错误可能导致无法正确实施变更。使用Splunk,即可验证实际发生的变更情况,例如若已下达消除特定执行错误的变更,可在命令事件中包括一个搜寻错误的连结。命令事件结案工作流程可使用连结以验证在执行变更后,错误是否已顺利消失。

4.4、IT数据的法规遵从

Splunk能以单一存取点为任何来源的任何IT数据类型进行搜寻、报警及报告。

仅要使用单一解决方案,即可让审核记录收集及报告,到档案完整性监控等工作皆符合法规需求。其能在数秒内快速产生任何法规遵从报告。

将可克服法规遵从障碍,使操作人员及开发人员得以立即存取他们所需要的数据,以便快速解决问题,同时维持可用性

保障资料保存的安全性

Splunk能提供最有效率及可靠的解决方案,依照大多数法规强制规定的要求,撷取及长时间保存您所有的IT数据。首先,Splunk能在安全网络联机上实时撷取您所有的数据,即使应用程序日志文件已转送至Syslog以外的档案时亦然。实时的集中化处理,对于防止攻击者变更受入侵主机的日志文件,以企图掩饰其行踪是非常重要。Splunk支持多层的部署,并能提供全面化的审核及安全性,以确保Splunk本身的完整性。Splunk会在撷取时对您的数据进行签名,您可随时检查签名的完整性。此外,其会以高效率的压缩格式储存数据,为您提供原则式的控制权,依数据日期及储存限制封存或读取数据。在指定时间内,能以交互式、可搜寻的索引将数据完整保留在在线,或者亦可将旧数据封存至低廉的近线储存装置,并在需要时加以还原。

受控制的数据存取

Splunk能消除各种阻碍营运的法规遵从束缚。其能为开发人员及应用程序系统管理员提供对于所有必须日志文件、组态及状态命令的存取,以方便分析及解

决生产问题。可依据使用者的角色,控制其所能搜寻的数据,其无须苦候服务器系统管理员发送生产存取权才能获得数据,因此能以更少的人力更快速解决问题,却又同时严格遵守生产服务器存取限制的规定。事实上,正因为Splunk的快速搜寻及浏览能力,使员工能够比登入生产系统及手动分析数据的方式更具产能。使用Splunk,不但可使营运不受影响,还能满足审核员的所有要求。

法规遵从性报告

Splunk不仅能使您遵守监控、审核及保存日志文件、配置及其它IT数据的明确要求,还能让您掌握所有其它类型控件的能力,快速而轻易地展现您组织和机构的法规遵从性。关于防火墙日志文件的报告,能显示是否具有适当的防火墙原则,以及其是否能正常运作。关于存取控制系统管理日志文件的报告,则可显示所处理的账户停用程序。您可排程任何搜寻,并透过电子邮件及RSS传送,以达到自动化报告的目的。在仪表板上加入索引图,方便法规遵从及安全性管理员监看法规遵从活动,并可在数秒内产生特定的操作报告,以回答任何审核员的问题。

法规遵从性调查

Splunk能将法规遵从调查及探查请求对营运的影响降至最低。FBI是否曾要求调阅您组织和机构的存取日志文件、电子邮件通讯,或是员工或客户的Web 记录?您是否曾疲于奔命处理HIPAA的信息请求?是否必须对您的每个系统,例如Web代理服务器、电子邮件服务器或其它系统,使用各种既笨重又缓慢的报告接口?Splunk能跨越所有数据快速而简便地进行搜寻,在数秒内取得您所需的信息,使您可迅速返回正常的工作。

五、Splunk的六大神奇功能

5.1、Index(索引)

IT人员往往在管理IT Data 会面临因厂商IT Data format 变更时,与老旧设备、应用程序因稽核需求而必须产出分析报告,现有的Log Management 无法立即支持或无法辨识。Splunk 具备多样且弹性的数据搜集方法,可以检索各种型态的IT data,不限定IT Data format,并收集来自各种不同的应用系统和网络设备。Splunk能够进一步监控文件系统中设定配置的变更,做变更管理,更可链接

各种网络通讯端口(Ports)去接收Syslog、SNMP和来自其他各式各样网络装置的数据。

5.2、Search(搜索)

Splunk具备快速自定的各种型态搜寻,而不是

只有固定几种的字段,不需要指定数据的格式

(format),更可结合时间与关键词进行搜寻,呈现出

清楚的搜寻结果,使用上就像Google一样的直观易

用。

●键入关键词后任意搜寻

●既时的在线查询,立即产生长时间结果

●用交互比对查询,收敛事件范围

●用时间、关键词与复杂流程拼凑关连事件

5.3、Alert(警报通知)

Splunk能够定期排程执行,并依据搜寻结果发出各项警示通知,可以透过email、RSS或SNMP等方式链接其他管理接口,可触发执行自行定义的因应方式,例如重新启动应用程序、系统或网络设备。

●Email、RSS、SNMP

发送警告

●可制订不连续时间

启动自动搜寻并发

送警告

●可以呼叫script 延

伸应用

5.4、Report(报告)

Splunk提供强大的报表能力,能够将搜寻结果以各项清晰的图表呈现,更可

弹性化地产制出组织和机构管理阶层所想要的报告内容。

●无须透过其他工具可直接

产出报表

●11种报表格式,如直方图、

线性图、分区图、圆饼图、

单点图…等

●可双维与多维度分析报表

●皆为动态报表可随时点选

并再次搜寻

●14种报表运算方式,强化

报表可看性

●报表可随时转换为仪表版模式

5.5、Share(资源共享)

由各种设备所产生的IT data是相当枯燥乏味的,透过Splunk可将它转化为切实可用的重要IT信息,并且能为任何人所用,不需要太多艰深的知识即可找出想要的信息。

●搜寻报表转为监控仪表版,可经

由权限控管分享信息接口

●搜寻分析可储存后,分享给特定

人员

●信息搜寻可以收敛至关键词分

享搜寻,或只授予部分变更权限

5.6、Secure(安全功能)

组织和机构的IT信息其重要性不言可喻,Splunk可整合组织和机构既有的认证系统进行安全管控,确保数据在存取、分析和稽核时不会破坏数据的完整性。

●用户联机与数据访问权限控制

●IT Data 联机加密与压缩

●数据库加密与压缩

●不变更原始数据的完整性

以上IT六大需求功能,为IT管理上多了弹性。改变是为了更好,也为了增加价值。

六、Splunk技术参数

6.1、Index –索引

●可以索引所有的资安日志、系统日志、应用程序日志不限制来源与设备,包含日志、

系统配置文件、SNMP与警告信息等

●可弹性化的实时与依照需求接受档案、网络端点、数据库或客户的APIs 等接口收集资

安日志、系统日志、应用程序日志

●可接受TCP 与UDP 网络ports 的syslog, syslog-ng

●监控档案变更达成Change Mangement for File

●可实时于接收资安日志、系统日志、应用程序日志时,将事件捕捉呈现

●藉由WMI 或API 远程实时监控windows event log

●监控windows 登录档的改变

●可透过各原厂专属事件格式如:OPSEC LEA 或其他特殊协议监控资安日志与事件

●对于Unix 与Linux 系统可以经由其既有指令ps, Top , vmstat 等收集系统的日志

●可藉由scp, rsync, ftp and sftp 监控档案变更

●自动定义与标准化时间戳timestamps 于接受的任何格式资安日志、系统日志、应用

程序日志

●可追踪索引的资安日志、系统日志、应用程序日志来源如系统主机或应用程序日志

并动态分类日志属性

●完整保留原始日志、事件不做任何改变,确保日志、事件完整性

●可自动建立日志、事件索引而不需提供原始格式属性

●不需要额外关连式数据库做数据仓储

6.2、Search –搜索

●同时可搜寻资安日志、系统日志、应用程序日志从任何地点、设备与格式

●优化搜寻方式在任何时间区间可快速产生结果

●可直接使用直觉式语法如:布尔代数(AND,ORmNOT)、万用字*与SQL做查询指令

●可提供搜寻参考建议,只需打入关键词开头字母,既可列表搜寻建议

●依照时间搜寻任何格式日志或事件

●可以用Navigate 方式快速收敛搜寻范围,并可动态点选观看日志与事件

●自动定义与找寻数据字段与格式于搜寻处理过程中

●web based 与AJAX 用户接口,没有事先嵌入其他应用程序的必要

●提供CLI 管理模式与有实时呈现最新事件的功能

6.3、Alert -- 事件警告

●可弹性定义Alert 时间至秒钟,可以依照事件发生频率设定触发依据,并提供完整的

原始事件内容

●触发执行的动作如:Email, RSS, SNMP or Scripts

6.4、Report –报告

●动态呈现实时产出,并可做异质设备, 日志与事件来源等做多维度报表分析

●产出之报告可以自动经由Email or RSS 发送

●可重复使用排程报告

●可以制定个人化仪表版,包含报告结果、搜寻内容与事件警告

6.5、Share –分权管理

●与LDAP 结合,可以制定多重使用者不同读取、权限,与显示结果,并可制订权限群

组,快速设定、定义每一使用者的权限

6.6、Scale –扩充与能力

●至少可支持以下系统安装套件(rpm, deb, pkg, dmg, msi, etc.) 与阶层式数据仓储

(.tgz., .zip, .tar.Z) ,并可支持多操作系统如Linux, Windows, Solaris, Free BSD, Mac OSX

and AIX.

●不限分权管理人数授权与设备数使用权

●系统需可支持Active-Active 与High Availability 架构

●可依照时间或使用容量决定数据仓储

6.7、Secure –安全架构

●弹性管理用户与权限Roles based

●认证与用户许可证管理可与AD, eDirectory 与其他LDAP 整合

●可使用SSL/TCP 接收送资安日志、系统日志、应用程序日志与HTTPS 加密管理●仓储数据加密与不可变动管理

网络功能虚拟化白皮书-中文版 v1.2

网络功能虚拟化 ----概念、益处、推动者、挑战及行动呼吁 目标 本文是由网络运营商撰写的无版权白皮书。 本文的主要目标是概要的描述网络功能虚拟化(不同于云和软件定义网络SDN)的益处,推动者及面临的挑战,以及为什么要鼓励国际间的合作,来加速推动基于高市场占有率的行业标准服务器通信解决方案的开发和部署。 推动组织和作者 AT&T: Margaret Chiosi. BT: Don Clarke, Peter Willis, Andy Reid. CenturyLink: James Feger, Michael Bugenhagen, Waqar Khan, Michael Fargano. China Mobile: Dr. Chunfeng Cui, Dr. Hui Deng. Colt: Javier Benitez. Deutsche Telekom: Uwe Michel, Herbert Damker. KDDI: Kenichi Ogaki, Tetsuro Matsuzaki. NTT: Masaki Fukui, Katsuhiro Shimano. Orange: Dominique Delisle, Quentin Loudier, Christos Kolias. Telecom Italia: Ivano Guardini, Elena Demaria, Roberto Minerva, Antonio Manzalini. Telefonica: Diego López, Francisco Javier Ramón Salguero. Telstra: Frank Ruhl. Verizon: Prodip Sen. 发布日期 2012年10月22至24日,发布于软件定义网络(SDN)和OpenFlow世界大会, Darmstadt-德国。

工业大数据白皮书2017版

一张图读懂工业大数据 1. 工业大数据 工业大数据是指在工业领域中,围绕典型智能制造模式,从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。 工业大数据的主要来源有三类: 第一类是生产经营相关业务数据。主要来自传统企业信息化范围,被收集存储在企业信息系统内部。此类数据是工业领域传统的数据资产,正在逐步扩大范围。 第二类是设备物联数据。主要指工业生产设备和目标产品在物联网运行模式下,实时产生收集的涵盖操作和运行情况、工况状态、环境参数等体现设备和产品运行状态的数据。此类数据是工业大数据新的、增长最快的来源。 第三类是外部数据。指与工业企业生产活动和产品相关的企业外部互联网来源数据。 2. 工业大数据的地位 2.1 在智能制造标准体系中的定位 工业大数据位于智能制造标准体系结构图的关键技术标准的左侧,属于智能制造标准体系五大关键技术之一。

2.2与大数据技术的关系 工业领域的数据累积到一定量级,超出了传统技术的处理能力,就需要借助大数据技术、方法来提升处理能力和效率,大数据技术为工业大数据提供了技术和管理的支撑。 首先,工业大数据可以借鉴大数据的分析流程及技术,实现工业数据采集、处理、存储、分析、可视化。其次,工业制造过程中需要高质量的工业大数据,可以借鉴大数据的治理机制对工业数据资产进行有效治理。 2.3与工业软件和工业云的关系 工业软件承载着工业大数据采集和处理的任务,是工业数据的重要产生来源,工业软件支撑实现工业大数据的系统集成和信息贯通。 工业大数据技术与工业软件结合,加强了工业软件分析与计算能力,提升场景可视化程度,实现对用户行为和市场需求的预测和判断。 工业大数据与工业云结合,可实现物理设备与虚拟网络融合的数据采集、传输、协同处理和应用集成,运用数据分析方法,结合领域知识,形成包括个性化推荐、设备健康管理、物品

FusionSphere虚拟化套件存储虚拟化技术白皮书

华为FusionSphere 6.5.0虚拟化套件存储虚拟化技术白皮书

目录 1简介/Introduction (3) 2解决方案/Solution (4) 2.1 FusionSphere 存储虚拟化解决方案 (4) 2.1.1架构描述 (4) 2.1.2特点描述 (5) 2.2存储虚拟化的磁盘文件解决方案 (6) 2.2.1厚置备磁盘技术 (6) 2.2.2厚置备延时置零磁盘技术 (6) 2.2.3精简置备磁盘技术 (6) 2.2.4差分磁盘技术 (7) 2.3存储虚拟化的业务管理解决方案 (7) 2.3.1磁盘文件的写时重定向技术 (7) 2.3.2磁盘文件的存储热迁移 (8) 2.3.3磁盘文件高级业务 (8) 2.4存储虚拟化的数据存储扩容解决方案 (9) 2.4.1功能设计原理 (9) 2.5存储虚拟化的数据存储修复解决方案 (10) 2.5.1功能设计原理 (10)

1 简介/Introduction 存储设备的能力、接口协议等差异性很大,存储虚拟化技术可以将不同存储设备进行格式化,将各种存储资源转化为统一管理的数据存储资源,可以用来存储虚拟机磁盘、虚拟机配置信息、快照等信息。用户对存储的管理更加同质化。 虚拟机磁盘、快照等内存均以文件的形式存放在数据存储上,所有业务操作均可以转化成对文件的操作,操作更加直观、便捷。 基于存储虚拟化平台提供的众多存储业务,可以提高存储利用率,更好的可靠性、可维护性、可以带来更好的业务体验和用户价值。 华为提供基于主机的存储虚拟化功能,用户不需要再关注存储设备的类型和能力。存储虚拟化可以将存储设备进行抽象,以逻辑资源的方式呈现,统一提供全面的存储服务。可以在不同的存储形态,设备类型之间提供统一的功能。

FusionSphere虚拟化套件分布式虚拟交换机技术白皮书

华为FusionSphere 6.5.0 虚拟化套件分布式虚拟交换机技术白皮书

目录 1 分布式虚拟交换机概述 (1) 1.1 产生背景 (1) 1.2 虚拟交换现状 (2) 1.2.1 基于服务器CPU实现虚拟交换 (2) 1.2.2 物理网卡实现虚拟交换 (2) 1.2.3 交换机实现虚拟交换 (3) 2 华为方案简介 (5) 2.1 方案是什么 (5) 2.2 方案架构 (7) 2.3 方案特点 (7) 3 虚拟交换管理 (8) 3.1 主机 (8) 3.2 分布式虚拟交换机 (8) 3.3 端口组 (8) 4 虚拟交换特性 (9) 4.1 物理端口/聚合 (9) 4.2 虚拟交换 (9) 4.2.1 普通交换 (9) 4.2.2 SR-IOV直通 (10) 4.2.3 用户态交换 (10) 4.3 流量整形 (11) 4.3.1 基于端口组的流量整形 (11) 4.4 安全 (11) 4.4.1 二层网络安全策略 (11) 4.4.2 广播报文抑制 (12) 4.4.3 安全组 (12) 4.5 Trunk端口 (12) 4.6 端口管理 (13) 4.7 存储面三层互通 (13) 4.8 配置管理VLAN (13)

4.9 业务管理平面 (13) 5 虚拟交换应用场景 (14) 5.1 集中虚拟网络管理 (14) 5.2 虚拟网络流量统计功能 (14) 5.3 分布式虚拟端口组 (14) 5.4 分布式虚拟上行链路 (14) 5.5 网络隔离 (14) 5.6 网络迁移 (15) 5.7网络安全 (15) 5.8 配置管理VLAN (15) 5.9 业务管理平面 (15) 6 缩略语 (16)

HC大数据产品技术白皮书

H3C大数据产品技术白皮书杭州华三通信技术有限公司 2020年4月

目录 1 H3C大数据产品介绍 (1) 1.1产品简介 (1) 1.2产品架构 (1) 1.2.1 数据处理 (2) 1.2.2 数据分层 (3) 1.3产品技术特点 (4) 先进的混合计算架构 (4) 高性价比的分布式集群 (4) 云化ETL (5) 数据分层和分级存储 (5) 数据分析挖掘 (6) 数据服务接口 (6)

可视化运维管理 (7) 1.4产品功能简介 (7) 管理平面功能: (12) 业务平面功能: (14) 2DataEngine HDP核心技术 (15) 3DataEngine MPP Cluster核心技术 (16) 3.1MPP + Shared Nothing架构 (16) 3.2核心组件 (16) 3.3高可用 (17) 3.4高性能扩展能力 (18) 3.5高性能数据加载 (18) 3.6OLAP函数 (19) 3.7行列混合存储 (19)

1H3C大数据产品介绍 1.1产品简介 H3C大数据平台采用开源社区Apache Hadoop2.0和MPP分布式数据库混合计算框架为用户提供一套完整的大数据平台解决方案,具备高性能、高可用、高扩展特性,可以为超大规模数据管理提供高性价比的通用计算存储能力。H3C大数据平台提供数据采集转换、计算存储、分析挖掘、共享交换以及可视化等全系列功能,并广泛地用于支撑各类数据仓库系统、BI 系统和决策支持系统帮助用户构建海量数据处理系统,发现数据的内在价值。 1.2产品架构 H3C大数据平台包含4个部分: 第一部分是运维管理,包括:安装部署、配置管理、主机管理、用户管理、服务管理、监控告警和安全管理等。 第二部分是数据ETL,即获取、转换、加载,包括:关系数据库连接Sqoop、日志采集Flume、ETL工具 Kettle。

FusionSphere虚拟化套件技术白皮书

华为FusionSphere 6.5.0 虚拟化套件技术白皮书 pg. i

1 摘要 云计算并不是一种新的技术,而是在一个新理念的驱动下产生的技术组合。这个理念就是—敏捷IT。在云计算之前,企业部署一套服务,需要经历组网规划,容量规划,设备选型,下单,付款,发货,运输,安装,部署,调试的整个完整过程。这个周期在大型项目中需要以周甚至月来计算。在引入云计算后,这整个周期缩短到以分钟来计算。 IT业有一条摩尔定律,芯片速度容量每18个月提升一倍。同时,IT行业还有一条反摩尔定律,所有无法追随摩尔定律的厂家将被淘汰。IT行业是快鱼吃慢鱼的行业,使用云计算可以提升IT设施供给效率,不使用则会拖慢产品或服务的扩张脚步,一步慢步步慢。 云计算当然还会带来别的好处,比如提升复用率缩减成本,降低能源消耗,缩减维护人力成本等方面的优势,但在反摩尔定律面前,已经显得不是那么重要。 业界关于云计算技术的定义,是通过虚拟化技术,将不同的基础设施标准化为相同的业务部件,然后利用这些业务部件,依据用户需求自动化组合来满足各种个性化的诉求。云着重于虚拟化,标准化,和自动化。 FusionSphere是一款成熟的Iaas层的云计算解决方案,除满足上面所述的虚拟化,标准化和自动化诉求外,秉承华为公司二十几年电信化产品的优秀基因,向您提供开放,安全可靠的产品。 本文档向您讲述华为FusionSphere解决方案中所用到的相关技术,通过阅读本文档,您能够了解到: ?云的虚拟化,标准化,自动化这些关键衡量标准是如何在FusionSphere解决方案中体现的; ?FusionSphere解决方案是如何做到开放,安全可靠的;

FusionSphere虚拟化套件安全技术白皮书

华为FusionSphere 虚拟化套件安全技术白皮书

目录 1虚拟化平台安全威胁分析 (1) 1.1概述 (1) 1.2云安全威胁分析 (1) 1.2.1传统的安全威胁 (1) 1.2.2云计算带来的新的安全威胁 (3) 1.3云计算的安全价值 (4) 2 FusionSphere安全方案 (6) 2.1 FusionSphere总体安全框架 (6) 2.2网络安全 (7) 2.2.1网络平面隔离 (7) 2.2.2 VLAN隔离 (8) 2.2.3防IP及MAC仿冒 (9) 2.2.4端口访问限制 (9) 2.3虚拟化安全 (10) 2.3.1 vCPU调度隔离安全 (10) 2.3.2内存隔离 (11) 2.3.3内部网络隔离 (11) 2.3.4磁盘I/O隔离 (11) 2.4数据安全 (11) 2.4.1 数据加密 (11) 2.4.2用户数据隔离 (12) 2.4.3数据访问控制 (12) 2.4.4剩余信息保护 (12) 2.4.5数据备份 (13)

2.4.6软件包完整性保护 (14) 2.5运维管理安全 (14) 2.5.1管理员分权管理 (14) 2.5.2账号密码管理 (14) 2.5.3日志管理 (14) 2.5.4传输加密 (15) 2.5.5数据库备份 (15) 2.6基础设施安全 (15) 2.6.1操作系统加固 (16) 2.6.2 Web安全 (16) 2.6.3数据库加固 (17) 2.6.4 Web容器加固 (17) 2.6.5安全补丁 (17) 2.6.6防病毒 (18)

1 虚拟化平台安全威胁分析 1.1 概述 云计算虚拟化平台作为一种新的计算资源提供方式,用户在享受它带来的便利性、低 成本等优越性的同时,也对其自身的安全性也存在疑虑。如何保障用户数据和资源的 机密性、完整性和可用性成为云计算系统急需解决的课题。本文在分析云计算带来的 安全风险和威胁基础上,介绍了华为云计算虚拟化平台针对这些风险和威胁所采取策 略和措施,旨在为客户提供安全可信的服务器虚拟化解决方案。 1.2 云安全威胁分析 1.2.1 传统的安全威胁 来自外部网络的安全威胁的主要表现 ?传统的网络IP攻击 如端口扫描、IP地址欺骗、Land攻击、IP选项攻击、IP路由攻击、IP分片报 文攻击、泪滴攻击等。 ?操作系统与软件的漏洞 在计算机软件(包括来自第三方的软件,商业的和免费的软件)中已经发现了 不计其数能够削弱安全性的缺陷(bug)。黑客利用编程中的细微错误或者上下 文依赖关系,已经能够控制操作系统,让它做任何他们想让它做的事情。常见 的操作系统与软件的漏洞有:缓冲区溢出、滥用特权操作、下载未经完整性检 查的代码等。 ?病毒、木马、蠕虫等。 ?SQL注入攻击

虚拟实验室技术白皮书

虚拟实验室 技术白皮书 上海庚商网络信息技术有限公司 2015年9月

目录 1 产品概述 (3) 1.1 云教育基础架构分类 (5) 1.1.1 服务器虚拟化 (5) 1.1.2 桌面虚拟化 (6) 1.2 教育虚拟技术应用分类 (7) 1.1.1 模拟 (7) 1.1.2 仿真 (8) 1.1.3 虚拟现实 (8) 1.1.4 增强现实 (9) 1.1.5 远程实验 (9) 2 总体设计 (13) 2.1 系统架构 (13) 2.2 系统说明 (13) 3 系统功能 (17) 3.1开放管理 (17) 3.2知识地图 (18) 3.3二维码 (20) 3.4微课与实验支架 (21) 3.5虚拟实验 (22) 3.6 可视化环境监控 (23) 3.7 电流检测 (23) 3.8 科研协同 (24) 3.9 云桌面 (26) 4 预算清单 (28)

1 产品概述 随着计算机技术和网络技术的迅速发展,以及科学研究进一步深入的需要,虚拟仿真实验技术日渐成熟和完善,虚拟实验作为继理论研究和实验研究之后的第三种科学研究方法,对社会发展和科技进步起到了越来越重要的作用,代表着科学研究方法的重要发展方向。 虚拟实验是指以计算机为控制中心,利用软件技术,构建系统的逻辑结构模型,基于模块化和层次化的设计思想,采用软硬件相结合的方式,协调相关硬件和效应设备,形成虚拟实验系统,并利用网络技术,实现虚拟实验系统的网络化,形成运行在个人计算机上、实现自行设计与开发,以及远程控制与协作的实验方式。

庚商虚拟实验室作为实验资源综合服务平台,不同于传统的虚拟平台,割裂实体资源与在线资源的联系,而是面向最终实践教学、科研与管理活动,对数据与应用资源的整合与开发,是实体资源的延伸与增强。同时,通过对实践教学、科研等核心活动数据的采集,为管理活动提供第一手的信息,有效辅助管理决策。系统建设目标如下: 1)提供良好实验平台,提高实验教学水平 传统教学中,理论教学与实验教学是分开的。理论课上没有实验,建设虚拟实验室,借助虚拟仿真实验,就可以将实验带进理论课。 2)整合实验教学资源,实现实验室的真正开放 虚拟实验室可以提供开放式实验环境,真正实现实验室向学生开放。学生可以打破时间和地域的限制完成相关的教学实验。由于虚拟仪器系统的支持,学生可以自拟、自选实验题目,自行组织实验,使用现成的仪器为开发自己的仪器进行实验,摒弃传统的灌输式教学方式,让学生自主参与到教学中来,最大限度地发挥学生的主动性和创造性。

深信服服务器虚拟化-技术白皮书

深信服服务器虚拟化产品技术白皮书 深信服科技

声明 市深信服电子科技所有,并保留对本文档及本声明的最终解释权和修改权。 本文档中出现的任何文字叙述、文档格式、插图、照片、方法、过程等容,除另有特别注明外,其著作权或其它相关权利均属于市深信服电子科技。未经市深信服电子科技书面同意,任何人不得以任何方式或形式对本文档的任何部分进行复制、摘录、备份、修改、传播、翻译成其他语言、将其全部或部分用于商业用途。 免责条款 本文档仅用于为最终用户提供信息,其容如有更改,恕不另行通知。 市深信服电子科技在编写本文档的时候已尽最大努力保证其容准确可靠,但市深信服电子科技不对本文档中的遗漏、不准确、或错误导致的损失和损害承担责任。 信息反馈 如果您有任何宝贵意见,请反馈: 信箱:省市学苑大道1001号南山智园A1栋邮编:518055 电话:09 传真:09 您也可以访问深信服科技:https://www.360docs.net/doc/dd11760929.html,获得最新技术和产品信息

缩写和约定 英文缩写英文全称中文解释 Hypervisor Hypervisor 虚拟机管理器(和VMM同 义) VMM VMM Virtual Machine Manager 虚拟机监视器 HA HighAvailability 高可用性 vMotion vMotion 实时迁移 DRS Distributed Resource Scheduler 分布式资源调度程序 FC Fibre Channel 光纤通道 HBA Host Bus Adapter 主机总线适配器 RAID Redundant Arrays of Independent Disks 磁盘阵列 IOPS Input/Output Operations Per Second 每秒读写(I/O)操作的次数VM Virtual Machine 虚拟机 LUN Logical Unit Number 逻辑单元号

Citrix桌面虚拟化实施部署白皮书

Citrix桌面虚拟化技术白皮书 思杰系统信息技术有限公司 Citrix Systems Information Technology Co., Ltd. 2013年05月

目录 序言:关于方法论 (3) 一、Access (3) 二、Design (3) 三、Deploy (4) 四、Maintain (4) 五、项目计划 (4) 第一部分:Access (5) 一、业务驱动力 (5) 二、数据搜集 (5) 三、用户数据搜集 (6) 四、应用程序数据搜集 (8) 五、用户分类 (9) 1. FlexCast模型比较 (9) 2. FlexCast模型选择 (10) 六、应用程序评估 (12) 七、项目管理 (13) 1. Roadmap (13) 2. 项目团队 (13) 第二部分:Design (21) 一、概况 (21) 二、用户层 User Layer (21) 1. 终端类型的选择 (21) 2. Receiver的选择 (24) 3. 资源需求 (27) 三、访问层 Access Layer (30) 四、桌面层 Desktop Layer (35) 1. 应用程序交付 (35) 五、控制层 Control Layer (39) 1. 远程访问架构 (39) 2. StoreFront (42) 3. 桌面控制器 (47) 4. Provisioning Services(PVS的设计) (47)

序言:关于方法论 Citrix Virtual Desktop handbook会紧密遵循Citrix顾问实施方法论,即如下图所示: 一、Access Access阶段主要提供Design阶段所需要的信息,包括: 1.业务驱动力; 2.数据搜集:包括用户、应用程序、设备以及基础架构; 3.用户的分类:用户要根据需要的分类而分成不同的组别,随之应对着不同的FlexCast 方法论; 4.应用程序分类:旧的应用程序应该被删除、应用程序版本应该标准化、非公司程序应该 删除,等等这些构成了应用程序的标准化和合理化; 5.计划:每个用户组都要根据对业务的影响程度指定不同的实施时间优先级,优先级实施 进度结果应该随时更新项目进度和计划。 二、Design 设计阶段主要聚焦在五层的一个方法论上: 1.用户层:描述推荐的终端以及所需要的用户功能体验; 2.访问层:描述用户层是如何连接到他们的桌面,例如本地桌面是直接连接StoreFront, 而外界用户往往要通过Firewall层才能进来,这就涉及到了FW、VPN等技术; 3.桌面层:主要指用户的虚拟桌面实现技术,即FlexCast技术,主要好汉三个主要成分, 分别是镜像文件、应用程序,以及个性化内容; 4.控制层:如何管理和维护其他层,又分为访问控制、桌面控制,以及基础架构控制;

工业大数据技术架构白皮书

工业大数据技术架构白皮书

编写说明 党的十九大报告中提出要“加快建设制造强国,加快发展先进制造业,推动互联网、大数据、人工智能和实体经济的深度融合”。再一次强调了运用新兴技术促进信息化和工业化的深度融合,以实现制造强国的战略目标。 工业是国民经济的主导,每一次工业届的重大变革都会对社会发展形成重大的影响。我国政府高度重视并积极推动以互联网为代表的新一代新兴技术与工业系统深度融合,以加速工业体系的智能化变革。工业互联网的建设重点概括为“网络”、“数据”、“安全”三大领域,而“数据”是实现工业智能化的核心驱动。在工业领域中合理地运用大数据技术能有效促进企业信息化发展,提升企业生产运行效率、加速生产信息在制造过程中的流动、助力企业升级转型并形成全新的智能制造模式。 为了加速新一代信息技术与传统产业的融合,工业互联网联盟(AII)针对工业领域的技术创新、标准制定、试验验证、应用实践等进行了一系列调查研究,在工业大数据领域也开展了相关工作,先后发布了《中国工业大数据技术与应用白皮书》,《工业大数据创新竞赛白皮书——风机结冰故障分析指南》等成果,以推动大数据技术在工业领域的深入应用。 本白皮书从实际出发,在现有研究的基础上,结合生产过程中的经典案例,介绍和分析了工业生产环境中大数据技术的应用方法,为工业企业建设大数据系统提供了基础架构层面的建议和指导,从数据的采集与交换、集成与处理、建模与分析、决策与控制几个层面,形成完整的大数据管理与分析架构,供相关行业伙伴参考使用,适用于广义的工业领域,包括制造业、采伐工业、原材料工业以及其他衍生的工业范围。

目录 第一章工业大数据系统综述 (1) 1.1 建设意义及目标 (1) 1.2 重点建设问题 (2) 第二章工业大数据技术架构概述 (3) 2.1 数据采集与交换 (5) 2.2 数据集成与处理 (6) 2.3 数据建模与分析 (8) 2.4 决策与控制应用 (9) 2.5 技术发展现状 (10) 第三章工业大数据技术架构实现 (12) 3.1 技术组件选择 (12) 3.1.1 数据采集 (12) 3.1.2 数据存储 (16) 3.1.3 数据计算 (17) 3.1.4 混合云架构 (18) 3.2 建设标准 (19) 3.2.1 基础业务能力 (19) 3.2.2 数据管理能力 (20) 3.2.3 运维管理能力 (21) 3.2.4 安全管理 (22) — 1 —

DreamBI大数据分析平台-技术白皮书

DreamBI大数据分析平台 技术白皮书

目录 第一章产品简介 (4) 一、产品说明 (4) 二、产品特点 (4) 三、系统架构 (4) 四、基础架构 (7) 五、平台架构 (7) 第二章功能介绍 (7) 2.1.元数据管理平台 (7) 2.1.1.业务元数据管理 (8) 2.1.2.指标元数据管理 (10) 2.1.3.技术元数据管理 (14) 2.1.4.血统管理 (15) 2.1.5.分析与扩展应用 (16) 2.2.信息报送平台 (17) 2.2.1.填报制度管理 (17) 2.2.2.填报业务管理 (33) 2.3.数据交换平台 (54) 2.3.1.ETL概述 (55) 2.3.2.数据抽取 (56) 2.3.3.数据转换 (56) 2.3.4.数据装载 (57) 2.3.5.规则维护 (58) 2.3.6.数据梳理和加载 (65) 2.4.统计分析平台 (67) 2.4.1.多维在线分析 (67) 2.4.2.即席查询 (68) 2.4.3.智能报表 (70) 2.4.4.驾驶舱 (74)

2.4.5.图表分析与监测预警 (75) 2.4.6.决策分析 (79) 2.5.智能搜索平台 (83) 2.5.1.实现方式 (84) 2.5.2.SolrCloud (85) 2.6.应用支撑平台 (87) 2.6.1.用户及权限管理 (87) 2.6.2.统一工作门户 (94) 2.6.3.统一消息管理 (100) 2.6.4.统一日志管理 (103) 第三章典型用户 (106) 第四章案例介绍 (108) 一、高速公路大数据与公路货运统计 (108) 二、工信部-数据决策支撑系统 (110) 三、企业诚信指数分析 (111) 四、风险定价分析平台 (112) 五、基于斯诺模型的增长率测算 (113) 六、上交所-历史数据回放引擎 (114) 七、浦东新区能耗监控 (115)

数据中心虚拟化解决方案技术白皮书

H3C数据中心虚拟化解决方案技术白皮书 关键词:数据中心,虚拟化 摘要:根据市场的需求及业界的发展趋势,数据中心第五期解决方案围绕“虚拟化”主题展开。核心是网络网虚拟化、计算虚拟化、存储虚拟化。 缩略语清单: 缩略语英文全名中文解释 IDC Internet Data Center 互联网数据中心 Forwarding 虚拟路由器转发 VRF Virtual Router Multi-Processing 对称多处理 SMP Symmetrical SNIA Storage Networking Industry Association 存储网络工业协会 TCO Total Cost of Ownership 总拥有成本 ROI Return on Investment 投资回报

目录 1 技术背景 (5) 1.1 虚拟化简介 (5) 1.2 网络虚拟化简介 (6) 1.2.1 网络虚拟化 (6) 1.2.2 MCE(精简版VRF)的原理 (6) 1.3 计算虚拟化简介 (7) 1.3.1 计算虚拟化的概念 (7) 1.3.2 计算虚拟化的特性 (8) 1.3.3 计算虚拟化的架构 (9) 1.4 存储虚拟化简介 (10) 1.4.1 定义 (10) 1.4.2 虚拟化的方法 (11) 1.4.3 网络虚拟化技术 (11) 1.4.4 虚拟存储的意义 (13) 2 数据中心虚拟化解决方案 (14) 2.1 方案概述 (14) 2.1.1 传统的应用孤岛式的数据中心 (14) 2.1.2 虚拟化方案 (14) 2.1.3 数据中心虚拟化方案架构 (15) 2.2 网络虚拟化 (16) 2.3 计算虚拟化 (17) 2.3.1 计算虚拟化方案架构 (17) 2.3.2 计算虚拟化方案VMware ESX Server的网络组件 (19) 2.3.3 虚拟交换机Virtual Switch (19) 2.3.4 VMware ESX Server的虚拟特性规格 (21) 2.4 存储虚拟化 (21) 2.4.1 整体架构 (21) 2.4.2 存储虚拟方案的目标与特点 (23) 3 数据中心虚拟化解决方案的典型组网 (24) 3.1 典型组网1 (24) 3.2 典型组网2 (25) 4 数据中心虚拟化解决方案应用 (26) 5 方案总结 (27)

VMWare vSphere7虚拟化基础架构白皮书

重新审视您的 vSphere 虚拟化基础架构 白皮书

目录 VMware vSphere with Operations Management (3) VMware vSphere Data Protection (4) VMware Virtual SAN (4) VMware vCloud Air (5) 不断变化的格局 (6)

近年来,随着虚拟化格局发生巨大转变,许多公司正在不断进一步整合他们的 x86 工作负载,导致对物理硬件的需求大大减少。同时,不断提升的硬件性能使得整合率比以往有所提高,10:1 已成为广泛接受的最 小正常值。如此之高的整合率可将服务器资源利用率推升到了 80%,从而使客户获得最佳的投资回报。之所以能够取得这些进展,在很大程度上得益于 VMware 服务器虚拟化解决方案的成功推出及采用,而最近推出的 VMware vSphere? 系列产品更是起到了推波助澜的作用。原本只面向大型企业客户的各种功能现在也适用于中小企业 (SMB) 市场,这使得这一细分市场的用户也能最大限度地利用服务器硬件资源和数据中心容量。 随着虚拟化的快速演变,一个全新的虚拟化 2.0 时代蓄势待发,这将引领行业朝着软件定义的数据中心(SDDC) 方向不断前进。在过去,许多此类新功能和技术都非常适合中小企业市场,但高昂的成本使他们 望而却步。这一状况如今将随着新一轮虚拟化 2.0 技术浪潮而发生根本改变,其中包括: ?热添加 ?Fault Tolerance ?VMware vShield Endpoint? ?vSphere Storage vMotion? 虚拟化 2.0 时代不仅添加了这些功能,还在 VMware 新近发布的一系列解决方案和技术中增加了多种高级 服务、数据保护、聚合存储、实时集成智能报告与监测以及优化整个虚拟基础架构等功能。此白皮书将回顾其中一部分新的解决方案和技术,并重点介绍混合云(混合云本身不是虚拟化 2.0 的一部分,而是一种 部署模型,该模型可利用并增强虚拟化 2.0 的各种功能,以便将来能够发展成为云)– 这一切都是基于值得信赖的 VMware 技术构建的。 在 2013 年的第一个季度,VMware 宣布推出两款新产品,即VMware vSphere with Operations Management?和VMware vSphere Data Protection?,以帮助各种规模的企业客户调整其虚拟基础架构,从而实现向软件定义的数据中心 (SDDC) 环境的演变。这两款产品的推出意味着所有客户现在都能购买这些产品来帮助他 们管理并提升 IT 基础架构的性能、运行状况和利用率,并保护他们的虚拟环境。 此白皮书将重点探讨这两款产品以及其他一些新近发布的产品,这些产品在为中小企业提供广泛功能的同时也为 SDDC 和虚拟化 2.0 奠定了基础,并已促使许多组织开始重新审视自身的 vSphere 虚拟基础架构。 VMware vSphere with Operations Management VMware vSphere with Operations Management 可帮助中小企业客户进行运行状况监测和性能分析,让他们能够实时查看自己的 vSphere 基础架构。集成的智能警报功可帮助终端用户在遭受影响之前发现并主动解决问题。它是如何做到这一点的?它使用从 VMware vCenter Server? 提取的指标呈现一个操作仪表盘,然后再通过 vSphere Web Client 集成并呈现这些指标。用户可通过仔细分析所提取的数据并将数据分类为运行状况、风险和能效值来进行根本原因分析。此外,它还可帮助管理员识别超额配置和配置不足的虚拟机,进而优化 CPU、内存和存储等硬件资源的利用率,以此来提供容量管理和优化服务。总而言之,这使用户获得了一个更易于管控的环境,拥有对未来的容量进行规划和主动补救的措施,从而确保客户的虚拟基础架构实现最佳性能、可用性和利用率。

大数据可视化实时交互系统白皮书

大数据可视化实时交互系统白皮书

目录 第1章产品定位分析 (1) 1.1产品定位 (1) 1.2应用场景 (1) 1.2.1城市管理RAYCITY (1) 1.2.2交通RAYT (2) 1.2.3医疗RAYH (3) 1.2.4警务RAYS (3) 1.3产品目标客户 (4) 1.3.1政务部门 (4) 1.3.2公共安全部门 (4) 1.3.3旅游规划部门 (5) 1.3.4其他客户 (5) 第2章产品简介及优势 (5) 2.1软件产品系统简介 (5) 2.1.1系统概述 (5) 2.1.2系统组成 (6) 2.1.3系统对比 (7) 2.1.4内容开发分项 (7) 2.2主要硬件设备简介 (9) 2.2.1[R-BOX]介绍 (9) 2.2.2[R-BOX]规格 (10) 2.2.3设备组成 (11) 2.2.4现场安装需求 (11) 2.3产品优势 (12) 2.3.1专业大数据交互可视系统 (12) 2.3.2极其便捷的操作 (13) 2.3.3震撼绚丽的高清图像 (13) 2.3.4超大系统容量 (14) 2.3.5高安全可靠性 (14) 2.3.6优异的兼容扩展能力 (14) 2.3.7灵活的部署方式 (14) 2.4方案设计规范 (14) 2.4.1设计依据 (14) 2.4.2设计原则 (15) 第3章产品报价及接入方式 (16) 3.1产品刊例价 (16) 3.2接入注意事项及常见问题 (16) 第4章成功案例 (18)

重庆:城市服务可视化解决方案 (18) 成都:政务云数据可视化解决方案 (19) 深圳:城市综合数据可视化解决方案 (20) 世界互联网大会:大数据可视化 (20) 智能建筑:物联应用解决方案 (21)

2019年H3C大数据产品技术白皮书

H3C大数据产品技术白皮书 杭州华三通信技术有限公司 2020年7月

目录 1 H3C大数据产品介绍................................................................... 错误!未定义书签。 产品简介........................................................................ 错误!未定义书签。 产品架构........................................................................ 错误!未定义书签。 数据处理 ............................................................................ 错误!未定义书签。 数据分层 ............................................................................ 错误!未定义书签。 产品技术特点............................................................... 错误!未定义书签。 先进的混合计算架构........................................................ 错误!未定义书签。 高性价比的分布式集群................................................... 错误!未定义书签。 云化ETL ................................................................................ 错误!未定义书签。 数据分层和分级存储........................................................ 错误!未定义书签。 数据分析挖掘...................................................................... 错误!未定义书签。 数据服务接口...................................................................... 错误!未定义书签。 可视化运维管理................................................................. 错误!未定义书签。 产品功能简介............................................................... 错误!未定义书签。 管理平面功能:................................................................. 错误!未定义书签。 业务平面功能:................................................................. 错误!未定义书签。 2 DataEngine HDP核心技术......................................................... 错误!未定义书签。 3 DataEngine MPP Cluster核心技术 ......................................... 错误!未定义书签。 MPP + Shared Nothing架构 .................................. 错误!未定义书签。 核心组件........................................................................ 错误!未定义书签。 高可用............................................................................. 错误!未定义书签。 高性能扩展能力 .......................................................... 错误!未定义书签。 高性能数据加载 .......................................................... 错误!未定义书签。 OLAP函数..................................................................... 错误!未定义书签。 行列混合存储............................................................... 错误!未定义书签。

华为FusionSphere 5.0 存储虚拟化技术白皮书

华为FusionSphere 5.0 存储虚拟化技术白皮书 文档版本V1.0 发布日期2014-09-05

版权所有? 华为技术有限公司2014。保留一切权利。 非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传播。 商标声明 和其他华为商标均为华为技术有限公司的商标。 本文档提及的其他所有商标或注册商标,由各自的所有人拥有。 注意 您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定,华为公司对本文档内容不做任何明示或暗示的声明或保证。 由于产品版本升级或其他原因,本文档内容会不定期进行更新。除非另有约定,本文档仅作为使用指导,本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。 华为技术有限公司 地址:深圳市龙岗区坂田华为总部办公楼邮编:518129 网址:https://www.360docs.net/doc/dd11760929.html,

存储虚拟化技术白皮书目录 目录 1 执行摘要/Executive Summary (1) 2 简介/Introduction (2) 3 解决方案/Solution (3) 3.1 FusionSphere 存储虚拟化解决方案 (3) 3.1.1 架构描述 (3) 3.1.2 特点描述 (4) 3.2 存储虚拟化的磁盘文件解决方案 (4) 3.2.1 固定磁盘技术 (4) 3.2.2 动态磁盘技术 (5) 3.2.3 差分磁盘技术 (5) 3.3 存储虚拟化的业务管理解决方案 (6) 3.3.1 磁盘文件的写时重定向技术 (6) 3.3.2 磁盘文件的存储热迁移 (6) 3.3.3 磁盘文件高级业务 (7) 3.4 存储虚拟化的数据存储扩容解决方案 (7) 3.4.1 功能设计原理 (7) 3.5 存储虚拟化的数据存储修复解决方案 (8) 3.5.1 功能设计原理 (8)

企业级一站式大数据综合平台白皮书

Transwarp Data Hub (TDH)企业级一站式大数据综合平台 白皮书星环信息科技(上海)有限公司

Transwarp Data Hub (TDH) 企业级一站式大数据综合平台 Transwarp Data Hub (TDH) 企业级一站式大数据综合平台 01 2015 TRANSWARP 星环科技 大数据时代的来临为众多企业带来了更多全新的发展机遇。星环科技基于Apache Hadoop 为企业开发了一站式大数据综合平台Transwarp Data Hub (简称TDH ), 通过提供从数据存储、分布式计算、数据分析挖掘以及数据可视化的整套支持,帮助企业建立一个统一的数据和计算平台。企业用户可以在星环科技TDH 一站式大数据综合平台上采集、存储、分析、搜索、挖掘海量数据及其内在价值。TDH 一站式大数据综合平台涵盖: TDH 一站式大数据综合平台是国内首个内嵌Apache Spark 计算框架的大数据平台软件, 也是国内外领先的高性能大数据分析平台。TDH 包含四个组成部分: Transwarp Hadoop 基础版、TranswarpInceptor 分布式内存分析引擎、Transwarp Hyperbase 分布式实时数据库和Transwarp Stream 流处理引擎。 一站式数据存储平台: TDH 通过内存计算技术、高效索引、执行计划优化和高度容错的技术,使得一个平台能够处理从GB 到PB 的数据,并且在每个数量级上都能提供比现有技术更快的性能; 企业客户不再需要混合架构,不需要孤立的多个集群。TDH 可以伴随企业客户的数据增长而动态不停机扩容,避免MPP 或传统架构数据迁移的棘手问题。 一站式资源管理平台: TDH 在统一存储上建立资源管理层,提供企业用户统一的计算资源管理、动态资源分配、多部门之间的资源配置和动态共享等功能,使多部门多应用可以灵活地在统一平台上平滑运行。一站式数据分析平台: TDH 支持批处理统计分析、交互式SQL 分析、在线数据检索、R 语言数据挖掘、机器学习、实时流处理、全文搜索和图计算,为企业客户提供广泛的计算支持能力,客户无需切换平台或架构即可完成复杂的任务。 一站式管理平台: TDH 作为企业级解决方案,开发了用户友好的管理界面、提供了系统安装、集群配置、安全访问控制、监控及预警等多方面支持,在可管理性方面优势显著。 系统可线性扩充存储容量或提高处理性能,只需要简单地向集群中增加机器,无需停机。有效解决企业由于数据增长导致的处理性能缓慢或频繁迁移数据的问题。满足新一代数据管理需求的TDH 一站式大数据综合平台改进的YARN 资源管理框架,可在同一份数据集上运行多种计算框架,动态创建SQL 统计、数据挖掘、机器学习、流处理等计算集群,满足企业多部门数据和计算资源统一管理的需求。Inceptor 交互式内存分析引擎,同时支持SQL 2003和R 语言,满足数据交互式分析和挖掘需求,加快企业决策速度。内置改进后的Apache Spark ,SQL 执行性能比Apache Hadoop 快10倍左右。 Hyperbase 实时数据库支持结构化、半结构化 、 非结构化等多种类型数据的在线存储、OLTP 事务、OLAP 检 索、全文搜索 、图分析和批处理统计业务等全方位 需求。Stream 分布式实时流处理引擎提供强大的流计算表达能力,可支持复杂的实时处理逻辑,满足企业实时告警、风险控制、在线统计 和挖掘等应用需求。采用普通商用服务器构建集群,最大程度降低成本;内置Erasure Code 先进编码技术,提供两倍存储效率和两倍容错能力;高效支持内存/闪存/硬盘混合存储,可提供最佳性价比存储配置。 无限水平扩展 统一数据处理平台 高速数据分析 灵活数据处理 实时流计算 超高性价比

相关文档
最新文档