杉岩数据企业内容管理解决方案
SandStone MOS 分布式对象存储技术白皮书_V2.0

SandStone MOS分布式对象存储技术白皮书深圳市杉岩数据技术有限公司2019年08月前言读者对象本文档主要介绍SandStone MOS的产品技术知识,从产品功能、应用场景、技术规格、技术价值等多方面进行介绍,便于读者全面了解产品。
本文档主要适用于以下工程师:●最终用户●售前工程师●技术支持工程师目录1概述 (8)2系统架构 (9)2.1产品逻辑架构 (9)2.2产品硬件结构 (10)2.3软件部署架构 (11)2.4存储硬盘 (11)2.5网络架构 (11)2.6运维管理系统 (12)3数据存储技术 (13)3.1DHT分布式哈希算法 (13)3.1.1技术背景 (13)3.1.2技术原理 (13)3.1.3技术特点 (14)3.1.4客户价值 (15)3.2智能缓存技术 (15)3.2.1技术背景 (15)3.2.2技术原理 (16)3.2.3技术特点 (18)3.2.4客户价值 (19)3.3多故障域技术 (20)3.3.1技术背景 (20)3.3.2技术原理 (20)3.3.3技术特点 (22)3.3.4客户价值 (23)3.4负载均衡及高可用技术 (23)3.4.1技术背景 (23)3.4.2技术原理 (24)3.4.3技术特点 (25)3.4.4客户价值 (25)3.5恢复QoS技术 (26)3.5.1技术背景 (26)3.5.2技术原理 (26)3.5.3技术特点 (26)3.5.4客户价值 (27)4数据保护技术 (28)4.1副本冗余技术 (28)4.1.1技术背景 (28)4.1.2技术原理 (28)4.1.3技术特点 (29)4.1.4客户价值 (30)4.2纠删码冗余技术 (30)4.2.1技术背景 (30)4.2.2技术原理 (31)4.2.3技术特点 (33)4.2.4客户价值 (33)4.3集群数据恢复技术 (34)4.3.1技术背景 (34)4.3.2技术原理 (34)4.3.3技术特点 (35)4.3.4客户价值 (36)4.4多版本及CDP技术 (36)4.4.1技术背景 (36)4.4.2技术原理 (36)4.4.3技术特点 (39)4.4.4客户价值 (39)4.5多站点技术 (40)4.5.1技术背景 (40)4.5.2技术原理 (40)4.5.3技术特点 (43)4.5.4客户价值 (43)4.6WORM技术 (44)4.6.1技术背景 (44)4.6.2技术原理 (44)4.6.3技术特点 (45)4.6.4客户价值 (46)4.7静态加密技术 (46)4.7.1技术背景 (46)4.7.2技术原理 (47)4.7.3技术特点 (48)4.7.4客户价值 (48)5数据管理技术 (49)5.1生命周期管理技术 (49)5.1.1技术背景 (49)5.1.2技术原理 (49)5.1.3技术特点 (50)5.1.4客户价值 (51)5.2NAS异构技术 (52)5.2.1技术背景 (52)5.2.2技术原理 (52)5.2.3技术特点 (55)5.2.4客户价值 (56)5.3授权管理技术 (56)5.3.1技术背景 (56)5.3.2技术原理 (57)5.3.3技术特点 (58)5.3.4客户价值 (60)5.4标签检索技术 (60)5.4.1技术背景 (60)5.4.2技术原理 (61)5.4.3技术特点 (62)5.4.4客户价值 (63)6应用场景 (64)6.1文件云存储 (64)6.2内容管理平台 (64)6.3文件归档 (64)6.4备份存储 (65)1概述SandStone MOS是深圳市杉岩数据推出的一款分布式对象存储产品,该产品利用软件将多台X86服务器,通过先进的DHT技术构建为统一的分布式对象存储池,并利用副本和纠删码(Erasure Code)技术实现数据的高可靠性和高可用性,并支持跨地域的多站点容灾、总部/分支机构站点数据汇聚分发,以及混合云数据流动的能力。
巨杉解决方案:新一代海量历史数据管理平台

• 提升客户体验,手机 App、线上直销和电商等导致线上客户的查询需求迅速增加, 尤其对于海量历史数据的灵活查询和统计需求迅速上升。 • 客户标签与画像,通过客户的历史数据分析客户的各个时间段的偏好属性与其基本 属性之间的关联。 • 大数据驱动的运营管控,需要保存更长期的历史管理数据和影像数据,并且更快的 发现业务运营上的问题。 • 大数据辅助风险分析,风险分析需要更长时间的历史数据支持,尤其是原始数据, 比如审计或司法部门要看到多年前某一时点(以天为单位)某业务系统某张表的原状(可称 时点快照) 。
在上述业务需求的推动下, 建设专门的历史海量数据管理系统已成为必然, 它将重点解 决以下几个技术问题: • 海量的结构化和非结构化历史归档数据原来都放在磁带光盘上没有利用,历史数据 平台首先要解决多种类型的海量数据分布式存储问题, 通过低成本的分布式集群为海量数据 存储提供高效稳定的平台。 • 现有 ODS/DW 系统中已经累积多年数据,运行效率越来越低,而历史数据平台可以 把大量历史数据迁移出去, 提供相对廉价的数据存储和计算压力卸载。 比如把大量和业务主 题无关的、需求随机的数据分类查询、分析,多表关联查询,交互分析等业务拆分到历史数 据平台中处理,从而使数据仓库和历史数据平台各司其职,相辅相成。 • 由于移动客户端的使用增加,用户从移动 App 上对更长期的历史数据查询与统计 需求越来越强烈, 造成生产系统的查询压力陡然增加。 成熟而稳定的历史数据平台除了卸载 历史数据查询和分析之外, 也可以同时应对高并发的客户在线查询压力, 从而成为多个高压 力生产系统的读写分离技术平台。 下图以某商业银行的历史数平台为例, 说明读写分离的方 式和各类不同应用同时访问海量的历史数据。
传统的企业 IT 架构中 ODS/DW 系统是数据处理的重点,ODS/DW 系统中通常会存储和 处理 2-3 年历史结构化数据,包括数据的查询、统计、分析等,而非结构化的历史数据,以 及超过 3 年以上的结构化数据往往由于数量太大, 只能存到已光盘和磁带为主的归档系统而 无法充分加以利用。但是 ODS/DW 系统并不适合用于处理海量历史数据,这是由于: 1. ODS/DW 系统基于传统通用关系数据库技术构建,所处理的数据超过一定量以后性能急 剧下降,需要成本高昂的专用一体机来处理,因此海量数据的处理成本往往限制了企业 对于更大量数据处理的渴望。 2. ODS/DW 系统基于关系型数据库技术,无法处理大量的非结构化数据。 3. ODS/DW 系统更专注于数据的集成和清洗,把生产数据变成企业管理角度所需要的主题 数据,但是对于随时变化的客户查询统计类业务、审计和司法调查类业务、以及各种需 要快速灵活变化的数据请求,往往不堪重负。 4. ODS/DW 系统的基础是模型,而互联网业务的迅速发展,使很多数据的存储和分析都无 法预先定义好完善的模型。
杉岩数据存储产品概述及存储过程与架构

07
①
领先的
峭 软 件定 存储 商
I Sandstone EBS与传统SAN存储架构的对比
I 类别
Sand St叫BS
横向扩展能力
宅R主;司-
节点数最多可达4096个 窑fflPB级扩展
传统SAN存储
低 中低端支持2或4个控制器 高端支持8或16个控制器
性能
随服务器节点加入线性增长
受限于控制器的能力,总带宽受限
Web 化筐理平白, IT 运维亘简单
IT管理员可借助自动化安装向导轻松完成Sandstone MOS 产晶的一键 式部署,Web化的管理平台可清晰展现出存储资源的利用情况及性能指标。 当发生故障时 , 管理平台第一时间发送报警信息及修复建议,帮助管理员快 速定位故障、完成处理,保障业务稳定运行。
11
开脑兼窑, 支持多种接口和平台
Sandstone EBS产晶支持iSCSI、SCSI, FC、RBD等多种协议接 口,可快速晌应不同业务的接入 需求。与VMware ESXi、 Microso行
v Hype「- 、Cit「ix XenServer、KVM 、OpenStack等主流虚拟化平
台深度融合,支持VAAI、ODx等特性进行垂直1/0的深度优化,提升 应用访问性能。
CD 领先的企阴阳存储厂商
I Sandstone MOS与传统NAS存储的对比
l 功能分类
功能名称
文件存储功能
臼ndS川OS
支持
存储基本功能
文件自定义属性
支持
传输协议
S3
多租户
支持
配额筐理
支持
访闯仅限管理
支持桶、 对象粒度的读写权限管理
安全与可靠性
物联网相关知识模拟练习题与参考答案

物联网相关知识模拟练习题与参考答案一、单选题(共60题,每题1分,共60分)1、售中-业务开通指客户经理在建设的物联网一体化平台上提单到完成网络侧业务开通,联调测试并交付的环节。
其中物联网专线(资源具备)银牌级开通时限为几个工作日A、8B、9C、6D、7正确答案:B2、NB-IoT系统在In band 操作模式下,时以下哪种情况下允许 LTE CRS 作为额外的参考信号用于物理下行数据信道解调?A、LTE与NB-IoT具有相同的PCI和不同的天线端口B、LTE与NB-IoT具有相同的PCI和相同的天线端口C、LTE与NB-IoT具有不同的PCI和不同的天线端口D、LTE与NB-IoT具有不同的PCI和相同的天线端口正确答案:B3、在处理MME故障时,结合故障处理流程,应该遵循()的基本原则。
A、一“动手”、二“查看”、三“询问”、四“思考”B、一“动手”、二“查看”、三“思考”、四“询问”C、一“查看”、二“询问”、三“思考”、四“动手”D、一“询问”、二“查看”、三“思考”、四“动手”正确答案:C4、安全风险评估分为自评估和检查评估两种形式。
下列描述不正确的是:()A、检查评估也可委托风险评估服务技术支持方实施,但评估结果仅对检查评估的发起单位负责。
B、安全风险评估应以自评估为主,自评估和检查评估相互结合、互为补充。
C、检查评估可在自评估实施的基础上,对关键环节或重点内容实施抽样评估。
D、检查评估是指信息系统上级管理部门组织有关职能部门开展的风险评估。
正确答案:D5、智慧地球是()提出来的A、法国B、美国C、德国D、日本正确答案:B6、NB-IoT上行链路中,对于3.75KHZ子载波间隔而言,其时隙长度延长至()ms。
A、1B、2C、0.5D、3正确答案:B7、对于GRE协议,以下说法错误的是哪项A、对使用GRE的用户,在发送用户的包时,先对用户的IP包进行一次GRE封装,然后再从Gi接口发送B、GRE是一种通用隧道协议,属于二层隧道协议C、当从Gi接口收到GRE封装的包时,首先要进行GRE的解封装,然后再查找上下文,将解开的IP包通过GPRS网络送给相应的用户D、对某些网络层协议的数据报进行封装,使这些被封装的数据报能够在另一个网络层协议(如IP)中传输正确答案:B8、NB-IoT 覆盖等级0 对应的MCL是多少?A、A164dbB、C144dbC、D134dbD、B154db正确答案:B9、OneLink用户连接数已经达到()亿A、1.2B、5.1C、2.3D、0.5正确答案:B10、下列()过程不是NB-IoT连接挂起过程中的步骤。
DMS系统解决方案

DMS系统解决方案目录一、内容概述 (2)1.1 DMS系统概述 (3)1.2 DMS系统解决的问题 (3)二、DMS系统架构设计 (5)2.1 总体架构 (6)2.2 组件设计 (7)2.2.1 数据采集模块 (8)2.2.2 数据处理模块 (9)2.2.3 数据存储模块 (10)2.2.4 数据分析模块 (11)2.3 系统安全设计 (13)三、DMS系统功能实现 (14)3.1 数据采集与整合 (15)3.3 数据分析与挖掘 (17)3.4 数据可视化与应用 (18)四、DMS系统应用场景 (19)4.1 企业级数据管理 (21)4.2 电商平台数据管理 (22)4.3 金融行业数据管理 (24)4.4 政府机构数据管理 (25)五、DMS系统部署与实施 (27)5.1 部署环境准备 (28)5.2 系统安装与配置 (29)5.3 数据迁移与校验 (31)5.4 系统测试与上线 (32)六、DMS系统维护与升级 (34)6.1 系统日常维护 (36)6.3 系统升级与迭代 (38)七、总结与展望 (40)7.1 DMS系统优势总结 (41)7.2 未来发展趋势 (42)一、内容概述本文档旨在全面而深入地阐述DMS系统解决方案,通过详细分析其核心功能、应用场景、实施步骤及优势,帮助用户更好地理解和运用这一先进技术。
DMS系统,作为企业数字化管理的重要工具,其解决方案将围绕数据管理、安全保障、流程优化及业务协同等关键领域展开。
在本文档中,我们首先概述了DMS系统的基本概念和核心构成,让用户对其有一个清晰的认识。
我们将重点探讨DMS系统在数据管理方面的卓越表现,包括数据整合、数据存储、数据查询及数据分析等功能。
我们也将关注DMS系统在保障数据安全方面的强大能力,如数据加密、访问控制、审计日志等。
我们还详细解析了DMS系统如何助力企业优化业务流程,提升工作效率。
从自动化工作流到智能化报表,从权限管理到数据备份,DMS系统都能为用户提供全方位的支持。
物联网L1题库测试与答案2020第66部分

物联网L1题库随机抽题考试66第一部分单选题(200题)1、NB-IoT呼叫保持类指标中不包含下列哪一个?()A、NB-IoT小区UE上下文掉线率B、NB-IoT小区SRB上行数据调度总时长C、NB-IoT小区切换成功率D、NB-IoT小区SRB上行数据接收总时长1、C2、为了减少NB-IoT核心网元,可以将MME/SGW/PGW合一部署,称为()。
A、C-SGNB、S-SGNC、P-SGND、T-SGN2、A3、UE开机后执行的操作为()A、UE先进行小区选择,再进行PLMN选择,成功后注册主流B、 UE先进行PLMN选择,再进行小区选择,成功后并注册主流C、 UE先进行PLMN选择,再进行注册,注册成功后再进行小区选择D、以上说法都不对3、B4、Pool容灾场景下,用户发的Service请求消息中携带了GUMMEI,但是eNB到GUMMEI对应MME的S1接口故障触发()流程A、S1 SetupB、attachC、TAUD、detach4、B5、以下几种站间切换中,要求必须使用同一MME的切换类型是()A、S1切换B、LTE&UMTS切换C、X2切换D、LTE&GERAN切换5、C6、中移物联网公司在重庆和南京的数据中心共计采购120余台通用x86服务器,部署杉岩统一存储平台(SandStone USP),该平台主要提供()核心功能?A、提升物联网容量B、降低时延C、异地容灾备份D、增加并发用户数6、C7、系统管理员有权根据情况对帐号进行冻结,针对连续____未使用的帐号执行冻结A、1个月B、3个月C、6个月D、1年7、B8、对KPI指标中S1接口流量描述不正确是()A、S1接口流量可分为S1接口上行流量和S1接口下行流量B、反映S1接口的系统负荷情况C、S1接口流量指的是物理层流量D、S1接口流量指的是IP层流量8、C9、请问下面选项中哪项不属于人们常说横在物联网应用前有三座大山()。
SandStone MOS 分布式对象存储技术白皮书_V2.0 (1)

SandStone MOS分布式对象存储技术白皮书深圳市杉岩数据技术有限公司2019年08月前言读者对象本文档主要介绍SandStone MOS的产品技术知识,从产品功能、应用场景、技术规格、技术价值等多方面进行介绍,便于读者全面了解产品。
本文档主要适用于以下工程师:●最终用户●售前工程师●技术支持工程师目录1概述 (8)2系统架构 (9)2.1产品逻辑架构 (9)2.2产品硬件结构 (10)2.3软件部署架构 (11)2.4存储硬盘 (11)2.5网络架构 (11)2.6运维管理系统 (12)3数据存储技术 (13)3.1DHT分布式哈希算法 (13)3.1.1技术背景 (13)3.1.2技术原理 (13)3.1.3技术特点 (14)3.1.4客户价值 (15)3.2智能缓存技术 (15)3.2.1技术背景 (15)3.2.2技术原理 (16)3.2.3技术特点 (18)3.2.4客户价值 (19)3.3多故障域技术 (20)3.3.1技术背景 (20)3.3.2技术原理 (20)3.3.3技术特点 (22)3.3.4客户价值 (23)3.4负载均衡及高可用技术 (23)3.4.1技术背景 (23)3.4.2技术原理 (24)3.4.3技术特点 (25)3.4.4客户价值 (25)3.5恢复QoS技术 (26)3.5.1技术背景 (26)3.5.2技术原理 (26)3.5.3技术特点 (26)3.5.4客户价值 (27)4数据保护技术 (28)4.1副本冗余技术 (28)4.1.1技术背景 (28)4.1.2技术原理 (28)4.1.3技术特点 (29)4.1.4客户价值 (30)4.2纠删码冗余技术 (30)4.2.1技术背景 (30)4.2.2技术原理 (31)4.2.3技术特点 (33)4.2.4客户价值 (33)4.3集群数据恢复技术 (34)4.3.1技术背景 (34)4.3.2技术原理 (34)4.3.3技术特点 (35)4.3.4客户价值 (36)4.4多版本及CDP技术 (36)4.4.1技术背景 (36)4.4.2技术原理 (36)4.4.3技术特点 (39)4.4.4客户价值 (39)4.5多站点技术 (40)4.5.1技术背景 (40)4.5.2技术原理 (40)4.5.3技术特点 (43)4.5.4客户价值 (43)4.6WORM技术 (44)4.6.1技术背景 (44)4.6.2技术原理 (44)4.6.3技术特点 (45)4.6.4客户价值 (46)4.7静态加密技术 (46)4.7.1技术背景 (46)4.7.2技术原理 (47)4.7.3技术特点 (48)4.7.4客户价值 (48)5数据管理技术 (49)5.1生命周期管理技术 (49)5.1.1技术背景 (49)5.1.2技术原理 (49)5.1.3技术特点 (50)5.1.4客户价值 (51)5.2NAS异构技术 (52)5.2.1技术背景 (52)5.2.2技术原理 (52)5.2.3技术特点 (55)5.2.4客户价值 (56)5.3授权管理技术 (56)5.3.1技术背景 (56)5.3.2技术原理 (57)5.3.3技术特点 (58)5.3.4客户价值 (60)5.4标签检索技术 (60)5.4.1技术背景 (60)5.4.2技术原理 (61)5.4.3技术特点 (62)5.4.4客户价值 (63)6应用场景 (64)6.1文件云存储 (64)6.2内容管理平台 (64)6.3文件归档 (64)6.4备份存储 (65)1概述SandStone MOS是深圳市杉岩数据推出的一款分布式对象存储产品,该产品利用软件将多台X86服务器,通过先进的DHT技术构建为统一的分布式对象存储池,并利用副本和纠删码(Erasure Code)技术实现数据的高可靠性和高可用性,并支持跨地域的多站点容灾、总部/分支机构站点数据汇聚分发,以及混合云数据流动的能力。
SequoiaDB巨杉数据库解决方案:ECM新一代内容管理平台

企业级特性: SequoiaDB 巨杉数据库的高性能数据库引擎, 配合分布式的存储架构, 带来了超越传统数据库的数据处理性能。同时,通过高校数据压缩、减少冗余、读 写分离等机制,巨杉数据库也能大大提升系统的效率。 此外,与其他同类分布式数据库相比,SequoiaDB 的大对象(LOB),对单个数据没有数据 大小限制的,可以存储任意大小的非结构化数据。 水平扩展:SequoiaDB 巨杉数据库采用的是完全的分布式的存储架构,在数据存储的集 群中可以动态的添加或删除节点, 可以快速的响应增量数据带来的存储不足的问题。 同 时, 分布式下数据均会进行统一存储及管理, 且会用分片的方式, 将数据进行切分存储。 通过分片和分布式存储,保证了数据的快速检索和实时查询。 降低成本:SequoiaDB 巨杉数据库,通过分布式集群实现了原有的昂贵存储才能达到的 性能和存储量。通过最普通的小型机甚至 PC 就可以实现的集群,相比于天价一般的数 据库和机器,大大降低了成本。同时,灵活地存储结构和高效的数据库机制给开发和运 维人员大大降低了工作复杂度,节约了管理的成本。
SequoiaDB 巨杉数据库解决方案: ECM 新一代内容管理平台
业务挑战
互联网和移动化已经成为人们生活的一部分,传统企业的应用架构也在向互 联网、移动化和社交化转型,移动 App、HTML5 等富客户端的增加以及社交化应 用、UGC(用户产生内容)等逐步普及,传统意义的"内容管理"已经从简单的文件 管理演进为“以客户为中心”的内容管理,包括用户关联的图片、音频、影像甚至 社交媒体内容等多种类型的内容集中管理。 新一代的内容管理平台要能够同时存储和管理包括文档、图片、音视频在内 的非结构化数据,以及从这些非结构化数据中提取的结构化数据包括用户信息、 用户偏好、内容标签等,并能通过通用接口高效检索和分析这些内容,满足应用 平台的内容需求。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
杉岩数据企业内容管理解决方案
随着人工智能、4G/5G技术发展,越来越多的企业利用照片、视频等方式取代现场业务办理,提升业务办理效率,同时通过这些方式记录业务处理过程,保证服务质量。
而这些方式的应用,使得企业应用产生非结构化数据的来源变多,非结构化数据量也呈现爆发性增长,对这些数据的科学管理和有效开发成为企业正确决策、增强竞争力的关键。
杉岩企业内容管理解决方案,帮助企业客户实现跨业务系统的非结构化数据统一存储、统一管理和价值挖掘,提升企业业务管理水平。
面临的挑战
数据增长快导致管理复杂化
文件数量快速增长达到数亿级别,存储的访问性能下降,需要划分更多文件空间。
音视频文件的增加,容量超过PB级,存储不断扩容,NAS卷的不断增多给管理带来了挑战。
传统存储只能存储内容,无法存储相关元数据:传统NAS或SAN存储只支持文件存储,而文件的元数据往往存储在业务系统的数据库中,一旦离开了业务系统,就无法对存储中的文件进行有效检索和分类。
各业务系统形成信息孤岛,无法有效利用数据:由于存储的空间管理和文件数量上限,各个业务系统有单独的文件空间,文件存储无法统一名字空间,影响数据的统一管理和利用。
解决方案
杉岩通过分布式对象存储实现企业内容数据的统一存储、统一管理和高效利用。
杉岩分布式对象存储基于x86服务器构建,可通过增加x86服务器弹性扩展容量和性能,单个文件系统名字空间支持数百PB级和百亿级文件数量,确保大型企业的业务系统可以统一存储在单一名字空间中,可通过多用户进行访问权限管理。
另外,杉岩智能化对象存储,还内置文件元数据管理和检索能力,以及支持可插拔的文件内容处理功能,帮助企业更好地管理数据并挖掘数据价值。
客户价值
企业数据统一管理
提供企业级非结构化数据统一视图
打通业务系统之间的数据壁垒
提升业务系统之间数据交换效率
企业数据价值最大化
支持对内容进行挖掘和检索
脱离业务系统数据库,数据可利用
企业数据实时在线
历史企业数据全部在线访问,提升用户体验
支持冷热分层,降低历史数据存储成本
数据更安全业务更连续
多副本/纠删码保证数据长期可靠保存
多版本和CDP保护,无需外置备份,备份/恢复效率更高支持多数据中心读写,数据中心故障自动切换。