浪潮云海大数据解决方案V3.0

合集下载

浪潮云海云数据中心操作系统V3.2_快速部署指南V1.0_20141015

浪潮云海云数据中心操作系统V3.2_快速部署指南V1.0_20141015

浪潮云海·云数据中心操作系统V3.2 Inspur In-Cloud DataCenter Operating System快速部署指南浪潮(北京)电子信息产业有限公司2014年10月目录1. 前言 (3)1.1. 背景 (3)1.2. 适用范围 (3)1.3. 术语表 (3)2. 系统环境 (4)2.1. 物理拓扑 (4)2.2. 环境配置 (7)3. 系统部署 (12)3.1. vCenter (12)3.2. 存储配置 (13)3.3. 部署Diana环境 (13)3.4. 系统使用的注意事项 (28)3.5. 卸载Diana环境 (28)4. 附录 (30)4.1. 配置本地yum安装源 (30)4.2. 手动修改各WEB服务配置文件 (30)1.前言1.1.背景本文档是Diana项目的简要系统部署配置说明书,依据此说明书,可以完成Diana系统正常运行所依赖的基本环境。

1.2.适用范围本文档适用于设计人员、开发人员、测试人员以及系统实施人员等。

1.3.术语表序号术语说明性定义1 vCenter VMware的虚拟化管理平台,本文档中通常简写为VC。

2 Cluster若干ESX物理主机的集合(主机上挂载存储)。

3 iVirtual 浪潮虚拟机管理平台2. 系统环境2.1. 物理拓扑2.1.1. 简单拓扑(单网环境)iVirtual 管理节点vCenter Server云海OS 各管理服务自服务节点服务RabbitMQ Server iAot Master MySQL Server超级/域管理员自服务用户(组织管理员/用户)NFS 存储iAot Agent 节点iAot Agent 节点图2.1-1● 一套物理网络环境; ● 云海OS 各管理服务、自服务节点各服务、MySQL Server 、RabbitMQ Server 以及iAot的Master 节点部署在同一台节点上; ● vCenter Server 一台单独的节点; ● iVirtual 一台单独的节点; ● NFS 存储一台单独的节点;● iAot(自动部署) Agent 单独的节点 云海OS 所在节点配置 详细说明硬件配置处理器 8核 网卡 2块网卡硬盘 大容量,最好上TB 内存16GB 网络 控制网操作系统1、 CentOS 6.4 X86_642、 系统安装时,选择最小化安装模式(Minion安装模式)3、 系统所需的必备软件包请参见下面图片示例 其他防火墙开放以下端口:443、8080、3306、21、8000、8999、5000表2.1-2关于安装操作系统时所必须要安装的软件包,请按照下图勾选:图2.1-3图2.1-4图2.1-5图2.1-6如果你的操作系统没有安装图形桌面或者是默认的最小Minion安装,则可以使用附录4中的《配置本地YUM安装源》的方式安装上图所需的软件包。

浪潮自主研发云计算软件介绍

浪潮自主研发云计算软件介绍

路由 网络
分级存储,提高计算节点和管理节点上本地存储的利用率
一级存储:主要用于存储虚拟机镜
像、配置文件和快照等,主要由计算 节点的本地存储和外部的存储设备
(如SAN和iSCSI存储设备)构成,
提供高性能的存储服务。
二级存储:主要存储创建系统所必
需的ISO镜像、虚拟路由器模板等。
二级存储由管理节点的本地存储构成, 并且全局唯一,管理员可以通过 Samba或者NFS客户端访问二级存储。
VM3 VM4 VM1 VM6 VM2 VM5
计算资源池(S1、S2、S3…)
• • • •
资源池中计算资源和存储资源动态扩展
资源负载均衡DRS
虚拟机HA,且断电后来电,服务器可自动 重启 虚拟机动态迁移
共享存储
浪潮自主研发虚拟化软件(浪潮云海·iVirtrual 3.0)
集群 技术
虚拟机 模板
迁移 P2V
国产自主研发云资源管理软件,完全替 代VMware vCloud 产品 异构资源池平台的兼容,支持 vSphere5.X和iVirtual 支持定制化业务流程管理和计费管理 多组织/用户机制 资源服务按需获取和丰富的报表管理等
课程内容

浪潮现有云计算软件产品概览

三 四 五
浪潮自主研发虚拟化软件(浪潮云海·iVirtrual 3.0)
1台
1台
1台 1台
1台 1台
小规模部署
类型
计算节点 存储节点 管理节点 网络节点
中规模部署
配置要求
数量
2台 1台 1台 1台
八路服务器,内存>=256G,千兆4网卡,CPU支持VT技术,建议采用浪潮TS850 八路服务器 SAN架构存储(建议FC-SAN),配置10000转以上SAS盘,建议采用浪潮 AS1000G6G3光纤存储、光纤交换机FS5800 2路服务器,千兆双网卡(可与计算节点合并或安装在虚拟机内) 千兆交换机

浪潮云海大数据解决方案V3.0

浪潮云海大数据解决方案V3.0

浪潮云海大数据一体机解决方案高端服务器研发部高端容错计算机产品部2013.1目录一.产品简介 (4)1.1 浪潮云海大数据一体机总体架构 (4)1.2 系列化产品 (4)二.关键模块介绍 (5)2.1 Hadoop分布式文件系统: (5)2.2 Hadoop MapReduce计算框架: (6)2.3 HBase 分布式数据库 (6)2.4 Hive数据仓库 (7)三.浪潮云海大数据一体机解决方案优势 (7)3.1 高性能 (7)3.2 高可靠性 (8)3.3 高性价比 (9)3.4 易管理 (10)3.5 专业化服务 (11)四.竞争性分析 (11)4.1 跟传统关系型数据库对比分析 (11)4.2 跟开源Hadoop对比分析 (13)五.成功案例 (14)5.1 某城市智能交通系统 (14)5.2 某省级运营商清帐单查询系统 (18)六.浪潮云海大数据一体机配置 (19)一.产品简介为应对大数据时代的到来,浪潮集团适时推出浪潮云海大数据一体机,重点面向行业大数据应用,是一体化数据处理的解决方案。

采用新型技术体系架构,整合软硬件系统,涵盖数据存储、数据处理、数据呈现等全环节。

浪潮云海大数据一体机是公安、金融、电信、交通、医疗、企业等各个行业用户的大数据解决方案理想之选。

1.1浪潮云海大数据一体机总体架构1.2系列化产品SDA-1:●满配:CPU:480Core;内存:12TB;存储容量:144TB;网络:1Gbps、10Gbps或者40Gbps●支持线性扩展●适合数据处理应用:模式计算,商业智能,医疗数据挖掘等。

计算能力、I/O能力、存储能力均衡。

SDA-2:●满配:CPU:288Core;内存:6912GB;存储容量:540TB;网络:1Gbps、10Gbps或者40Gbps●支持线性扩展●适合处理密集型的重载应用:视频处理,图片处理分析,图像渲染,在线交易等。

可重构加速器件或众核处理器,硬件加速。

19-浪潮云海大数据一体机产品白皮书V1.0 2016503

19-浪潮云海大数据一体机产品白皮书V1.0 2016503

浪潮云海大数据一体机产品白皮书文档状态:V1.02016年3月浪潮电子信息产业股份有限公司1引言随着近年来信息化日臻成熟,社会化网络迅速兴起,云计算、移动互联网和物联网等新一代信息技术广泛应用,中国行业用户的数量增长之大,数据增长之快前所未有,他们需要引入新的技术和产品,建设自己的大数据基础环境,融合处理多种类型的数据,解决性能与扩展性的矛盾,满足大并发、快速响应的客户需求。

在这个大数据引入过程中,也爆发出了很多的新问题:●大数据场景复杂,需要合理规划行业用户对数据价值的期望迫切并且热烈,但其数据现状是总量不断膨胀、类型多种多样、质量参差不齐,数据应用和创新的场景十分复杂。

这种需求的复杂性和当前的技术发展水平,直接导致了尚无单一技术可以包打天下,需要从架构层面合理规划,利用软硬件多种技术手段搭配组合、配合调优,才能实现整体的融合和高效。

●大数据开源组件+通用硬件平台,问题众多开源生态的兴起为新技术的发展注入了源源不断的新鲜血液,但是其过度炒作也导致很多客户为了追求一时的低成本,采用了开源软件+通用硬件平台简单组合的建设方式。

随着使用的深入,客户越来越发现这种组合方式软件升级更新频繁,品质不稳定,硬件能力没有得到有效释放,出现问题排查困难,总体稳定性不高,总体拥有成本不低反高。

●IT服务分层,接口众多,交付困难行业的大数据基础建设需要综合性和一体化的考量,但是目前业界普遍的IT 产品和服务专业化分工方式导致整个升级和重构过程往往会涉及IaaS、PaaS和SaaS的多家产品和服务提供商,接口复杂。

这就意味着需要花费大量的时间和精力完成不同厂商和产品之间的对接、整合、排错和调优,交付周期长,大数据转型成本高。

2产品定位浪潮云海大数据一体机(Inspur InCloud SmartData Appliance,简称SDA)采用分布式架构,提供海量数据的采集、存储、处理、挖掘洞察能力,是基于浪潮卓越稳定的硬件平台、企业级的大数据软件系统,配合丰富的大数据最佳实践经验打造出来的开箱即用的融合基础设施。

浪潮解决方案

浪潮解决方案

浪潮解决方案浪潮解决方案是一种专门针对企业信息化需求的综合解决方案。

它结合了浪潮公司多年来在信息技术领域的经验和技术优势,为企业提供了一套全面、高效、可靠的解决方案。

浪潮解决方案包括硬件设备、软件系统、网络架构、安全防护等多个方面,以满足企业在信息化建设过程中的各种需求。

下面将针对每一个方面进行详细介绍。

1. 硬件设备:浪潮解决方案提供了一系列高性能、高可靠性的硬件设备,包括服务器、存储设备、网络设备等。

这些设备采用了最新的技术,具备强大的计算、存储和传输能力,能够满足企业在大数据处理、云计算、人工智能等方面的需求。

2. 软件系统:浪潮解决方案提供了一套完整的软件系统,包括操作系统、数据库管理系统、应用软件等。

这些软件系统具有高度的稳定性和安全性,能够有效地支持企业的业务运营和管理。

3. 网络架构:浪潮解决方案提供了一套灵便、可扩展的网络架构,包括局域网、广域网、数据中心网络等。

这些网络架构能够满足企业在数据传输、通信协作、资源共享等方面的需求,提高企业的工作效率和协同能力。

4. 安全防护:浪潮解决方案提供了一系列安全防护措施,包括防火墙、入侵检测系统、数据加密等。

这些安全防护措施能够有效地保护企业的信息安全,防止各种网络攻击和数据泄露。

除了以上几个方面,浪潮解决方案还提供了一系列增值服务,包括技术咨询、系统集成、运维支持等。

这些增值服务能够匡助企业更好地实施和使用浪潮解决方案,提高企业的信息化水平和竞争力。

总之,浪潮解决方案是一种全面、高效、可靠的企业信息化解决方案,能够满足企业在硬件设备、软件系统、网络架构、安全防护等多个方面的需求。

通过采用浪潮解决方案,企业可以提高工作效率、降低成本、提升竞争力,实现可持续发展。

最新沈阳大学——浪潮云海大数据一体机产品白皮书

最新沈阳大学——浪潮云海大数据一体机产品白皮书

沈阳大学——浪潮云海大数据一体机产品白皮书浪潮云海大数据一体机产品白皮书2014.8浪潮信息云产品部目录1.产品介绍 (2)1.1产品定位 (2)1.2产品特点 (2)2.体系架构 (3)2.1大数据一体机硬件组成 (4)2.2大数据一体机网络拓扑 (5)2.3大数据一体机软件架构 (6)3.应用场景 (8)4.关键技术特性 (9)5.技术指标 (9)1.产品介绍1.1产品定位浪潮云海大数据一体机(Inspur In-Cloud SmartData Appliance 以下简称SDA或大数据一体机)面向行业大数据应用场景,是一体化数据处理的解决方案,采用新型技术体系架构,整合软硬件系统,采用全分布式大数据处理架构,平台能够随着客户数据的增长和业务的扩张而不断线性扩展,解决了传统架构的扩展瓶颈,集成计算单元、存储单元、通讯单元、管理单元、等核心模块,涵盖数据存储、数据处理、数据呈现等全环节,是金融、电信、公安、交通、卫生等各个行业用户大数据分析处理平台的理想之选。

1.2产品特点新型技术体系架构采用全分布式大数据处理架构,平台能够随着客户数据的增长和业务的扩张而不断增长,并且能够保持极高的线性度,解决了传统架构的扩展瓶颈,系统在扩展至120000核心时依旧保持0.8左右的扩展效率;软硬一体化的系统集成计算单元、存储单元、通讯单元、管理单元等核心模块,是对数据存储、处理、展现的全环节的解决方案,由浪潮统一开发,能够统一交付,集中管理,用户可以轻松完成;全局优化的系统浪潮进行全局优化性能等技术指标大幅提升,在性能、可用性方面有了重大提升。

16%:通过优化系统任务调度策略,动态调整任务执行资源,减少慢任务数量,任务执行时间平均缩短16%以上;30%:引入Reed-Solomon算法,优化分布式散列数据布局,满足文件高并发和高带宽双重需求同时平衡数据冗余度,浪潮采用两副本加编码的方式相对三副本最大可实现30%空间节省;50%:采用多级高速缓存,实现硬件加速。

浪潮云海OSV3.0实现数据中心异构资源一体化管理

浪潮云海OSV3.0实现数据中心异构资源一体化管理

浪潮云海OSV3.0实现数据中心异构资源一体化管理云海OS V3.0是浪潮基于中国首款的自主云操作系统云海OS V1.0、V2.0版本的重要升级产品,是开放架构、模块化、标准化的云数据中心资源管理平台,实现了数据中心异构资源融合、管理及快速服务交付,是云数据中心的“中枢神经系统”。

云海OS V3.0包括云数据中心管理平台ICM和服务器虚拟化两大模块。

ICM是云数据中心的综合管理平台,有云资源管理、监控&管理、计费管理、业务管理、系统设置、基础管理六个小模块可供选择。

虚拟化模块是利用虚拟化技术,将服务器、存储、网络进行池化,形成虚拟资源池,借助管理平台将这些池化资源二次组合和封装成虚拟机、虚拟集群、虚拟网络,并对外提供服务。

浪潮云海OS V3.0具有以下三大核心功能亮点:异构资源管理;快速业务交付和精细资源监控。

1、异构资源管理在长期的信息化建设中,用户积累了很多不同技术路线,不同架构,不同品牌的硬件产品——服务器、存储、网络设备,会部署各种各样的应用,可能已部署VMWarevSphere、Citrix XenServer等多种虚拟化环境。

数据中心内积累了大量的软硬件资源,如何将这些资源迁移到云环境中,如何继续利用旧有设备,如何统一管理数据中心内种类繁多的硬件资源、异构的虚拟化系统和不同的业务应用,是每个客户在实施云计算过程中难以回避的难题。

只有开放融合的云计算方案,才能更好的整合和管理数据中心各类异构资源。

云海OS V3.0正是为解决客户的这些问题而诞生的。

云海OS V3.0可实现对数据中心各类异构物理资源和虚拟资源的综合运维管理,实现基础资源根据业务需求弹性扩展、动态流转;实现资源的按需获取、按量计费。

实现对云数据中心服务器等硬件资源,数据库、web服务等软件资源以及虚拟化平台的监控管理;通过自助服务门户,企业或组织可轻松创建自己的虚拟数据中心,组织或组织用户可快速搭建业务平台,使云数据中心具备对外提供服务及运维能力,实现云数据中心资源服务化。

浪潮解决方案

浪潮解决方案

浪潮解决方案简介:浪潮解决方案是一种全面的IT解决方案,旨在匡助企业提高效率、降低成本、增强安全性等方面的需求。

通过整合浪潮的技术和服务,该解决方案可以满足企业在不同行业和领域的各种需求。

解决方案概述:浪潮解决方案包括以下几个主要方面:云计算、大数据、人工智能、物联网和企业级应用。

下面将对每一个方面进行详细介绍。

1. 云计算:浪潮提供了一套完整的云计算解决方案,包括云平台、云存储、云安全等。

企业可以利用浪潮的云计算解决方案,将自己的业务迁移到云端,从而实现资源的共享、灵便的扩展和高可用性。

此外,浪潮的云计算解决方案还提供了强大的数据分析和管理工具,匡助企业更好地理解和利用自己的数据。

2. 大数据:浪潮的大数据解决方案可以匡助企业处理和分析海量的数据。

通过使用浪潮的大数据平台,企业可以从各种数据源中提取有价值的信息,并将其转化为商业洞察。

此外,浪潮的大数据解决方案还提供了高效的数据存储和处理能力,以满足企业对大数据处理的需求。

3. 人工智能:浪潮的人工智能解决方案利用先进的算法和技术,匡助企业构建智能化的系统。

通过使用浪潮的人工智能平台,企业可以实现自动化的决策、智能客服、图象识别等功能。

此外,浪潮的人工智能解决方案还提供了灵便的开辟工具和支持,以满足企业对个性化应用的需求。

4. 物联网:浪潮的物联网解决方案可以匡助企业连接和管理各种物联设备。

通过使用浪潮的物联网平台,企业可以实现设备的远程监控、数据的采集和分析等功能。

此外,浪潮的物联网解决方案还提供了安全的通信和数据传输机制,以确保设备和数据的安全。

5. 企业级应用:浪潮的企业级应用解决方案提供了一系列的应用软件,包括ERP、CRM、OA 等。

这些应用软件可以匡助企业提高内部管理效率、优化业务流程,并提供更好的客户服务。

此外,浪潮的企业级应用解决方案还提供了定制化的开辟和支持,以满足企业对特定应用的需求。

总结:浪潮解决方案是一种全面的IT解决方案,涵盖了云计算、大数据、人工智能、物联网和企业级应用。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

浪潮云海大数据一体机解决方案高端服务器研发部高端容错计算机产品部2013.1目录一.产品简介 (4)1.1浪潮云海大数据一体机总体架构 (4)1.2系列化产品 (4)二.关键模块介绍 (5)2.1Hadoop分布式文件系统: (5)2.2Hadoop MapReduce计算框架: (6)2.3HBase 分布式数据库 (6)2.4Hive数据仓库 (7)三.浪潮云海大数据一体机解决方案优势 (7)3.1高性能 (7)3.2高可靠性 (8)3.3高性价比 (9)3.4易管理 (9)3.5专业化服务 (11)四.竞争性分析 (11)4.1跟传统关系型数据库对比分析 (11)4.2跟开源Hadoop对比分析 (13)五.成功案例 (15)5.1某城市智能交通系统 (15)5.2某省级运营商清帐单查询系统 (18)六.浪潮云海大数据一体机配置 (19)一.产品简介为应对大数据时代的到来,浪潮集团适时推出浪潮云海大数据一体机,重点面向行业大数据应用,是一体化数据处理的解决方案。

采用新型技术体系架构,整合软硬件系统,涵盖数据存储、数据处理、数据呈现等全环节。

浪潮云海大数据一体机是公安、金融、电信、交通、医疗、企业等各个行业用户的大数据解决方案理想之选。

1.1浪潮云海大数据一体机总体架构1.2系列化产品SDA-1:●满配:CPU:480Core;内存:12TB;存储容量:144TB;网络:1Gbps、10Gbps或者40Gbps●支持线性扩展●适合数据处理应用:模式计算,商业智能,医疗数据挖掘等。

计算能力、I/O能力、存储能力均衡。

SDA-2:●满配:CPU:288Core;内存:6912GB;存储容量:540TB;网络:1Gbps、10Gbps或者40Gbps●支持线性扩展●适合处理密集型的重载应用:视频处理,图片处理分析,图像渲染,在线交易等。

可重构加速器件或众核处理器,硬件加速。

二.关键模块介绍HDFS分布式存储解决数据如何存储的问题,Map/Reduce解决数据如何处理问题,HBase解决实时数据库问题,Hive解决基于SQL的数据分析和挖掘。

2.1Hadoop分布式文件系统:–使用低成本存储和服务器构建–存放PB级别的海量数据–高可扩展性,实际生产环境扩展至4000个节点–高可靠性和容错性,数据自动复制,可自我修复–高带宽,高并发访问2.2Hadoop MapReduce计算框架:为离线数据分析而设计,基本上是个利用数据并行性进行分布运算而后汇总结果的计算框架。

通用的计算框架,松耦合,非常利于线性扩展。

与HDFS一起使用,具有容错特性,数据本地化处理,通过移动计算,而非移动数据来实现高效数据处理。

•分析问题能够被并行化,且输入数据集可以被切分•一个Map函数,在第一阶段计算<Key,Value>对•一个Reduce函数,在第二阶段用于汇总Map函数的结果2.3HBase 分布式数据库HBase是一个分布式的、按列存储的、多维表结构的实时数据库, 为高速在线数据服务而设计–NoSQL•面向列、可压缩,有效降低磁盘I/O,提高利用率。

•多维表,四个维度,其中三个维度可变,适合描述复杂嵌套关系。

•灵活的表结构,可动态改变和增加(包括行、列和时间戳)。

•支持单行的ACID事务处理–分布式系统•高性能,支持高速并发写入和高并发查询;•可扩展,数据自动切分和分布,可动态扩容,无需停机;•高可用性,建立在HDFS分布式文件系统之上。

2.4Hive数据仓库Hive是一个建立在hadoop之上的数据仓库,用于查询和分析结构化海量数据–采用HDFS进行数据存储–采用Map/Reduce进行数据操作基本特点:–提供类似于SQL的查询语言–高扩展性(scale-out),动态扩容无须停机–针对海量数据的高性能查询和分析系统–提供灵活的扩展性•复杂数据类型,扩展函数和脚本等三.浪潮云海大数据一体机解决方案优势3.1高性能●专用的大数据存储服务器:针对大数据的应用特点,浪潮凭借在服务器及存储方面的领先优势,自主开发了大数据存储服务器,具备高密度、大容量存储特性。

●胖节点加速方案:胖节点拥有英特尔至强平台的最强性能、最大内存、最高RAS特性保障。

●闪存加速技术:将闪存盘放在整个计算缓存里面做高速缓存,针对不同应用类型,实现全局的算法,降低冗余率,使整个平台的计算节点、存储节点大大提高运行效率。

●高速通信网络:通信网络选用性能领先的万兆网络或者IB网络,实现一体机内部的高速互联,消除网络瓶颈。

●软件性能优化✓IO瓶颈易于解决✓可以发挥大规模并行运算优势✓支持大规模并行装载,装载前无需数据格式化,节点越多装载速度越快✓优化系统任务调度策略,对任务实现实时监控,✓动态调整任务执行资源,减少慢任务数量,提高整体性能3.2高可靠性●服务器本身冗余特性:节点的硬盘、风扇、电源等关键部件都是冗余设计,保障了节点本身的可靠性。

●链路冗余:网络可实现物理冗余设计,避免单点故障对系统的影响。

●采用Reed-Solomon算法,优化分布式散列数据布局,满足文件高并发和高带宽双重需求同时平衡数据冗余度。

采用两副本加编码的方式相对三副本最大可实现30%空间节省。

●智能失败任务识别:自动将任务转移到备份数据节点执行,单个节点的故障不影响整个任务的执行,有效应对计算单元失效。

3.3高性价比●Hadoop的诞生本身就是为了在低成本的通用硬件集群上运行分布式计算框架。

●浪潮云海大数据一体机具备优异的线性可扩展,满足了未来业务量增长的需求,有效保护了现有投资,降低总体CTO。

3.4易管理●本地管理平台:每套大数据一体机中都配有本地管理平台,使系统管理人员方便集中控管一体机。

远程集中管理平台:HDFS配置界面HBase配置界面监控管理界面3.5专业化服务●实施服务:云海大数据一体机会在出厂前进行产品预装及严格的可靠性测试,保障产品的品质。

产品实施实现客户现场的一体化交付,真正做到插电即用,极大地降低了客户利用大数据的门槛。

●售后服务:浪潮建立了以山东济南客户服务总部为中心、其他各省、直辖市设立服务分中心的覆盖全国的完备售后体系,所有客服工程师都是原厂经验丰富的服务工程师。

浪潮已经连续九年获得售后服务满意度金奖。

四.竞争性分析4.1跟传统关系型数据库对比分析4.2跟开源Hadoop对比分析五.成功案例5.1某城市智能交通系统项目背景●年过车信息数据量达数百亿级记录规模●市局和区县的数据中心两级架构,分布式存储,集中管理。

●支持多条件组合快速查询:卡口名称、车道名称、车辆类型、车牌类型、车牌号码、车身颜色、车牌颜色、车速范围、车长范围、号牌段范围、时间范围。

●支持海量过车信息的模糊匹配检索。

●支持各种统计分析、数据挖掘:车辆违章率统计、过车识别率统计、套牌分析、关联性分析、黑名单等系统需求●数据量(过车记录+违章图片+数据冗余+异地容灾):~6PB●数据采集终端:12000个,写入性能>24000记录/秒●用户数:>1000难点分析传统数据库方案潜在问题:●初始投入和后期维护,扩展成本巨大●人为分库,灵活性差。

●混合数据类型支持●规模仅能支持单个区域中心●应用可靠性差,难以保证业务连续性●代码复杂●系统可维护性浪潮云海大数据一体机解决方案拓扑图智能交通应用技术方案规模、指标、特点●该方案使用SDA-1、SDA-2,共计580节点●集群性能:写入100000条记录/秒,20000主键查询/秒●系统特点:✓解决了海量过车信息(结构文本+图片)存储问题✓解决了分布式数据查询问题,应用系统可以接入任何一个本地数据中心,并访问全库数据✓系统提供了易于使用的API,方便进行二次开发✓系统做了较多优化,性能很好的满足了项目的实时性要求✓系统稳定性强,建立在X86服务器平台,自动进行数据迁移和数据恢复5.2某省级运营商清帐单查询系统原有方案:小型机+存储+Oracle●成本高、扩展性差✓服务器采用P595的两个分区(48CPU),部署不同的地市,互为主备;存储使用2台DS8300,RAID5方式,有效容量54TB✓数据量大,增长迅速,但数据库的扩容工程施工风险高●数据风险高✓灾难恢复依赖磁带,业务中断时间长●效率低✓关系数据库处理困难,查询慢(超过15秒)✓关系数据库入库慢,常有清单文件积压,不能实时入库,从而不能实时查询新清账单中心方案●底层为浪潮提供的大数据解决方案平台,上层由应用开发商开发业务程序,对入库和查询进行业务处理。

●这种架构有效的屏蔽了底层的功能,对上层来说,只需要调研相关接口即可。

数据的分发、复制、任务调度、容错都是由系统软件来控制。

大规模的PC具备强大的处理能力和网络带宽,同时具备线性的横向扩展能力。

3份冗余的数据保证对硬件的容错和读处理的支持。

●存储使用69台PC机身硬盘作分布式存储DataNode,每台PC配置6TB磁盘容量,按每份数据存放3份计算,有效容量138TB,保存6+1个月数据,压缩比1:5六.浪潮云海大数据一体机配置系统平台●根据客户实际应用容量需求,用SDA-1、SDA-2进行灵活线性扩展。

●操作系统:✓Red Hat Enterprise Linux for Servers或CentOS,64位系统,版本6以上。

✓SUSE Linux 11 SP1●Hadoop平台:✓HDFS/MapReduce✓HIVE✓HBASE✓Hadoop Manager✓Zookeeper。

相关文档
最新文档