华为大数据多租户技术探索与实践
SaaS应用中多租户若干关键技术研究
容器化技术则是一种更为轻量级的安全隔离技术，它只隔离应用程序和其相 关的依赖项，而不隔离操作系统。尽管这两种技术都有其优点和不足，但我们认 为基于容器的多租户安全隔离技术更加适合SaaS应用。因为这种技术能够减少资 源占用和提高系统性能，同时能够更好地支持快速迭代和扩展。
对于SaaS应用来说，多租户实时数据处理也是一个非常关键的技术。它能够 提高数据处理的速度和质量，满足不同租户的需求。现有的多租户实时数据处理 技术主要包括基于事件驱动架构和基于流式处理架构。事件驱动架构是指通过事 件来驱动应用程序的执行，当一个事件发生时，应用程序会响应并处理该事件。
流式处理架构则是指将数据流分成一系列小的数据块，并逐个处理每个数据 块。然而，这两种技术都存在一些不足之处，如数据处理的速度和可靠性无法保 证、数据处理的质量和精度较低等。因此，我们建议采用基于分布式和并行处理 的多租户实时数据处理方案。这种方案能够提高数据处理的速度和可靠性，同时 能够保证数据处理的质量和精度，满足不同租户的需求。
SaaS应用中多租户若干关键技术研 究
基本内容
Software as a Service (SaaS)是一种流行的云计算服务模式，它通过互 联网提供软件应用和服务给多个租户。多租户技术是SaaS应用的核心，它允许多 个租户共享同一个软件实例，但彼此之间的数据和应用程序是隔离的，从而保障 了数据安全和隐私。本次演示将围绕数据备份与恢复、安全隔离和实时数据处理 三个关键技术，探讨SaaS应用中的多租户技术。
1、生产过程稳定性和产品质量 显著提高。
2、设备故障率降低30%，维修 成本降低20%。
3、物料库存成本降低15%，库 存周转率提高20%。
4、人员绩效得到有效评估和提 升，生产效率提高10%。
多租户数据库管理的设计与实现
多租户数据库管理的设计与实现随着云计算和软件即服务的兴起，多租户架构成为了一种广泛应用的系统架构模式。
多租户数据库管理的设计与实现是实现多租户架构的重要组成部分。
本文将介绍多租户数据库管理的设计原则、架构和实现方法。
设计原则在进行多租户数据库管理的设计时，需要考虑以下几个原则：1. 数据隔离：不同租户的数据应该彼此隔离，确保数据的安全性和私密性。
2. 性能隔离：每个租户应该有自己的资源配额，确保租户之间的性能不互相影响。
3. 可扩展性：系统应该能够支持新增、删除租户的动态变化，而不对现有租户产生影响。
4. 管理简单：系统的部署、配置、监控和维护应该简单易用，减少管理员的工作量。
架构设计基于上述原则，可以采用以下的多租户数据库管理架构：1. 数据库隔离：为每个租户分配独立的数据库实例，每个租户只能访问自己的数据库实例。
可以采用物理隔离或虚拟隔离的方式来实现。
2. 数据隔离：在数据库实例内部，可以使用表、视图或者模式的方式来实现租户之间的数据隔离。
每个租户只能访问自己的数据，不能访问其他租户的数据。
3. 性能隔离：为每个租户分配独立的资源配额，例如计算资源、存储空间和并发连接数等。
通过对资源进行限制和控制，确保不同租户之间的性能不互相影响。
4. 扩展性：采用水平扩展的方式来支持新增、删除租户的动态变化。
可以通过自动化脚本或者管理工具来实现租户的创建、删除和配置等操作。
实现方法实现多租户数据库管理可以采用以下方法：1. 数据库虚拟化：利用虚拟化技术，将物理数据库实例虚拟化为多个逻辑数据库实例，每个逻辑数据库实例对应一个租户。
通过软件层的隔离，确保不同租户的数据和性能隔离。
2. 数据划分：对于大规模的多租户系统，可以采用数据划分的方式来管理租户数据。
可以根据租户ID或者其他标识符将数据划分为多个数据分片，每个租户使用独立的数据分片存储自己的数据。
3. 安全控制：为每个租户配置独立的访问权限和数据加密措施，确保数据的安全性。
介绍华为云的大数据服务和应用
介绍华为云的大数据服务和应用
华为云的大数据服务和应用提供了一系列强大的解决方案，帮助企业和个人处理和分析大规模的数据。
以下是华为云大数据服务和应用的主要特点和应用场景：
1. 数据存储与计算：华为云提供了分布式存储和计算服务，如云存储、云数据库等，支持海量数据的存储和高效计算，可满足各类应用场景的需求。
2. 数据仓库与数据湖：华为云的数据仓库和数据湖解决方案，可实现数据的集中管理、快速存储和分析，支持多种数据源的接入和集成，帮助企业更好地进行数据挖掘和洞察。
3. 数据分析与挖掘：华为云提供了一系列数据分析和挖掘工具，如人工智能开发平台ModelArts、图像识别、自然语言处理等，帮助用户对海量数据进行深入分析和挖掘，发现潜在的商业价值和趋势。
4. 实时数据处理：华为云的流式计算服务可支持实时数据的处理和分析，如流式数据分析、实时数据过滤和聚合等，帮助用户及时获取并处理数据中的有价值信息。
5. 数据安全与合规：华为云提供了完善的数据安全和合规性措施，如数据加密、访问控制、安全审计等，保障用户数据的安全和隐私。
6. 物联网大数据分析：华为云可结合物联网技术，提供物联网大数据分析的解决方案，帮助用户从物联网设备中获取数据
并进行分析，实现智能决策和优化。
华为云的大数据服务和应用广泛应用于各行各业，包括金融、电信、制造、交通等领域。
通过利用大数据技术和工具，用户可以更好地理解和利用数据，提升企业运营效率、精细化管理、优化决策，并创造更多商业价值。
基于华为高端NAS存储双活的POC测试
基于华为高端NAS存储双活的POC测试【摘要】近年来，银行业积累了越来越多的非结构化数据，在业务场景和存储系统建设上都在不断进行优化。
本文以作者所在企业的业务需求以及存储系统优化实际出发，在高端NAS存储双活系统上线前进行了深度POC测试。
从双活系统组网、架构健壮性以及业务系统适配上进行了多维度的测试，并形成了本POC测试报告，最终作为行里高端NAS双活系统规划和建设的依据。
1. 项目背景我行自2018年开始建设NAS存储资源池，从而正式开启了业务数据的存储架构优化之路，对于文件类的数据由先前的GPFS向NAS存储逐步迁移转型。
此外，结合存储系统分级体系建设以及业务系统的分级标准，在NAS存储资源池建设上同样也进行了分级存储建设。
为此，近两年来随着新核心系统的建设我行开始调研并构建高端NAS存储资源池。
同时，在同城双中心构建高端NAS存储的双活架构以满足我行新核心、重要及重要支撑系统的文件共享需求及其文件的高可用需求。
然而，高端NAS双活在我行首次实施，无论是该技术本身在我行网络架构中的适配性，还是在业务场景中的匹配上，甚至是存储运维人员对于这一新技术的全面掌握上都存在不确定性，甚至是盲点。
因此，运维部门作为该项目建设的牵头部门，开展了深度的高端NAS双活POC测试。
2. 测试目的和测试思路本项目计划通过深度的POC测试对高端NAS双活系统在应用场景、安全性以及功能性上进行充分验证，然后形成详尽的POC测试报告，最终作为高端NAS双活系统的规划和建设依据。
测试目的主要包括以下方面：第一，验证高端NAS双活架构在我行分区域建设的网络架构中的组网可行性。
第二，验证高端NAS双活架构在各种单点和双点故障场景中的自身架构健壮性。
第三，验证基于细粒度的单个业务系统的计划性站点切换演练的易用性和安全性。
对于POC测试原则最重要的是真实模拟或尽量贴近生产实际，因为在客户真实环境中的POC测试是最有说服力的，尤其是网络环境的真实性。
大数据应用与实践(8)
大数据应用与实践（8）胡经国本文根据有关文献和资料编写而成，供读者参考。
本文在篇章结构、内容和文字上对原文献作了一些修改和补充，并且添加了一些小标题，特此说明。
十七、确保大数据业务成功的七个步骤1、关于大数据的三个重要事实对于大数据有以下三个重要的事实。
⑴、大数据并不是新趋势自20世纪90年代，亚马逊、微软和谷歌就开始进行大数据工作。
几十年来，很多公司都一直在挖掘数据。
可能由于当时只有资金雄厚的大型公司，才能够进行大数据研究；但是大数据确实早已存在。
现在，基于廉价的计算和存储能力以及新工具和技术，几乎每个人都可以使用高级数据挖掘技术和算法了。
很多人认为，大数据只是商业智能（BI）的新名称。
虽然这两者有相似之处，但是大数据已超出了BI的范畴。
⑵、大数据的“大”是相对的现在，各行业各组织确实正面对创纪录水平的数据增长。
据IDC称，我们每秒创造超过58 TB数据。
到2020年，将拥有超过35ZB的存储数据。
然而，大数据并不一定是巨大的；大数据并不在于其规模，而在于需要如何处理它。
拥有100 TB数据的小公司可能也存在大数据问题。
因为，他们需要提取、分析数据，并且据以作出决策。
⑶、大数据处理的数据的定义是广泛的它可以包含结构化和非结构化数据。
对于一些公司来说，最重要的是大数据的元数据，或者是关于数据的数据。
麦肯锡将大数据定义为：“其规模超出传统数据库软件的捕捉、存储、管理和分析能力的数据集”。
然而，这些数据集需要大量运行在数百甚至数千台服务器（云）中的并行软件（系统）来处理。
2、大数据业务成功必须遵循的七个步骤以下是确保大数据业务成功必须遵循的七个步骤。
⑴、承认存在问题这往往是最难的一个步骤。
以前，我们拒绝承认我们的网络已不再受防火墙和代理服务器设置的保护；而我们不得不为员工远程访问开放基础设施并拥抱互联网。
对于大数据，IT领导者需要评估其数据情况：①、你的数据集是否让你不堪重负？②、你不知道所有数据的位置？③、你（或者企业领导者）没有从你的数据中得到所需的信息？④、企业领导没有基于数据来做决策？⑤、有可能提高IT在企业政策和战略决策中的相关性？如果你像大多数公司一样，部分或者所有这些问题的答案都是肯定的，那么是时候控制你的数据，并从中挖掘出情报以提供给领导层做决策。
微服务架构中的租户与多租户支持(四)
微服务架构中的租户与多租户支持随着云计算和大数据时代的到来，跨越多个行业的企业越来越多地采用微服务架构来构建和管理其应用程序。
微服务架构是一种将应用程序拆分为一系列小而自治的服务的方法，每个服务都可以独立部署和扩展。
其中一个核心概念是租户和多租户支持。
在微服务架构中，租户是指一组用户或组织，它们共享同一个应用程序实例，但彼此之间是相互隔离的。
这种隔离是为了确保不同租户的数据和资源不会相互干扰。
租户可以是企业的不同部门、合作伙伴、客户等等。
多租户支持则是指一个应用程序能够同时支持并服务于多个租户。
实现租户和多租户支持在微服务架构中有多种方式。
一种常用的方式是通过对每个租户进行标识和区分。
可以在每个请求中加入租户的标识信息，这样后端服务就能够根据这些标识来判断请求属于哪个租户，并做出相应的处理。
另一种方式是通过在应用程序的数据模型中引入租户的概念。
每个数据对象都会关联到一个特定的租户，这样可以确保每个租户只能访问到自己的数据。
除了标识和数据隔离，多租户支持还涉及到各个服务之间的通信和协调。
在一个多租户的环境中，不同租户的请求可能需要在多个服务之间进行协作。
为了实现这一点，可以使用消息队列、事件总线或者分布式数据库等技术来实现租户间的消息传递和协调。
这些技术可以确保不同的服务之间能够高效地进行通信，并保持数据的一致性和完整性。
多租户支持还需要考虑一些安全性和性能方面的问题。
对于安全性来说，每个租户的数据和资源应该是相互隔离的，确保一方的操作不会影响到其他租户。
同时，对于敏感数据的处理要有特殊的保护措施，如数据加密、访问控制等。
对于性能来说，需要考虑每个租户的资源需求和负载情况，根据实际情况进行动态调整和负载均衡，以确保每个租户都能够获得良好的性能体验。
此外，租户和多租户支持还需要考虑一些管理和运维方面的问题。
对于管理来说，需要提供一套完整的租户管理工具，用于创建、配置和监控各个租户的状态和性能。
对于运维来说，需要确保各个服务的高可用性和容错性，以及快速故障恢复和扩展能力。
华为云技术的大数据方面的应用
华为云技术的大数据方面的应用随着移动互联网时代的到来，数据已经成为了当今社会最宝贵的资源之一。
随着云计算技术的不断发展和普及，越来越多的企业开始将大数据应用于业务发展和决策分析中。
作为全球领先的云计算服务提供商之一，华为云技术在大数据方面的应用更是成为了行业的领头羊。
本文将从华为云技术的大数据应用优势、应用案例以及发展趋势等方面展开探讨。
一、华为云技术的大数据应用优势1. 高性能计算华为云技术具备高性能计算能力，能够快速处理大规模数据，并能满足各种不同行业的大数据应用需求。
其多样化的服务器产品能够满足不同计算场景的需求，提供高性能的计算能力。
2. 多维数据存储华为云技术提供多维数据存储服务，可以满足用户对多种不同数据形式的存储需求，包括结构化数据、半结构化数据和非结构化数据等。
并且华为云技术还支持多种不同存储方案，包括分布式文件存储、对象存储和块存储等。
3. 安全性华为云技术通过多重安全保障措施，确保用户的数据得到充分保护，满足用户对数据隐私和安全性的要求。
其高级安全防护措施包括安全加密、网络安全等多种方面的保障。
4. 弹性伸缩华为云技术支持弹性伸缩功能，能够根据用户的业务需求，灵活调整计算资源，满足大数据应用的高并发处理能力的需求。
并且在伸缩过程中不会影响到用户的正常业务运行。
5. 高效监控与管理华为云技术提供全面的监控与管理功能，可以实时监控大规模数据的状态和运行情况，并能够对数据进行有效管理。
用户可以根据需要灵活配置监控策略和管理方案，提高大数据应用的运行效率和安全性。
二、华为云技术大数据应用案例1. 金融行业在金融行业中，华为云技术被广泛应用于风险控制、信用评估、大数据分析等方面。
通过对大规模金融数据的深度挖掘和分析，可以为金融机构提供更加精准的业务决策支持，帮助其降低风险，提高效率。
2. 零售行业在零售行业中，华为云技术被应用于用户行为分析、销售预测、供应链优化等方面。
通过对大规模零售数据的深度分析，可以为零售企业提供更加个性化的服务，提高用户满意度和忠诚度，从而提升企业的竞争力。
云计算架构技术与实践(第2版)
7.4软件化L4～ L7网络功能
7.5网络虚拟化 端到端解决方 案
8.2典型的混合云 架构模式
8.1混合云的驱动 力与背景
8.3基于OpenStack 级联的开放异构混
合云
9.2基于Docker的 新型PaaS
9.1 PaaS简介
9.3消息中间件服 务
9.4数据库和缓 存服务
9.5大数据服务
精彩摘录
这是《云计算架构技术与实践（第2版）》的读书笔记模板，可以替换为自己的精彩内容摘录。
谢谢观看
05
11.5面向 多租户的企 业桌面公有 云服务
12.1基于开放 1
云平台的云生 态系统构建
12.2
2
Marketplace
系统架构
3 12.3面向电信
网络和业务云 化的CT编排自 动化——MANO
4 12.4面向IT应
用的IT编排自 动化——Heat & TOSCA
5 12.5 TOSCA
（云应用的拓 扑编排标准）
5
14.5云数据安 全
01
14.6公有 云、私有云 的安全组
02
14.7云安 全管理
03
14.8安全 即服务
04
14.9云安 全应用实施 案例
Hale Waihona Puke 0614.11云计 算服务法律 风险及其应 对
05
14.10云计 算安全的其 他考虑
作者介绍
这是《云计算架构技术与实践（第2版）》的读书笔记模板，暂无该书作者的介绍。
目录分析
第2版序言
1.2云计算的商业 动力：企业ICT转
型
1.1云计算基础概 念与架构
1.3企业云计算的 发展趋势
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大大数据软件云端部署、托管能力力力 虚拟机上的真实大大数据集群 运行行行在云服务上的大大数据集群
DataNode Proxy 存储计算分离 VM 集群动态伸缩 VPC
方方向 形态 定位
大大数据技术自自身的租户隔离能力力力 物理理机上的虚拟大大数据集群 大大数据集群提供的云服务
Pool 精简内核 P2P I/O直通 适配更更多的大大数据组件
Sandbox
Execution Framework MapReduce MR Programs
SQL
UDFs
受限的SQL接口口，平台产生生的的代码更更加容 易易控制和优化。目目前国内在公网网开放的单实 例例大大数据服务也都是从SQL开始。
JVM的安全策略略可以做到限制文文件系统功 能、网网络等资源的访问，这样可以把用用户代 码框定在处理理自自己己的内存数据上，与外部世 界的交互由可信的框架代码来完成。
Write-back Daemon
Write-back daemon submits all request!
Block-Level Scheduler - cfq/deadline/noop
失去了了正确的cause信息，I/O调度器器的优先级也就 无无从谈起，因此对于经过pagecache的所有I/O， cgroups blkio的weight配比比也完全没办法保证。
Virtualization
临时集群
弹性
安全
性能隔离
能效
功能
两种路路线
IaaS能力力力超强 体量量小小 业务增⻓长快，业务需求不不稳定 体验新的大大数据分析软件 重计算 Adhoc访问 存储密集，计算稀疏 性能追求 零运维 数据变现 重I/O 体量量足足够大大
大大数据软件云端部署、托管能力力力 虚拟机上的真实大大数据集群 运行行行在云服务上的大大数据集群
加密 分区 调度算法 沙箱 分区
方方向 形态 定位
大大数据技术自自身的租户隔离能力力力 物理理机上的虚拟大大数据集群 大大数据集群提供的云服务
资源管理理
资源管理理 份额 调度算法
为更更多的大大数据组件 增加多租户能力力力
弹性
安全
性能隔离
能效
功能
安全
上古时代的Hadoop没 有任何安全能力力力 实现了了『用用户到服务』 以及『服务到服务』 的认证 数据表、视图、列列 文文件、行行行、列列
MapReduce服务
机器器学习服务
数据调度服务
大大数据、云、多租户
云上的大大数据集群 or 大大数据集群的云
大大数据多租户的核心心挑战
能否快速地申请、释放预留留资源？ 能否运行行行时根据资源用用量量快速扩容、缩容？
能否支支持重要租户、应用用的强性能隔离？ 如何控制租户对于共享资源的竞争？ 如何对接现有大大数据生生态？ 如何利利用用租户的闲置资源？ 如何在隔离与性能损耗间获取平衡？
如何防范和预警本地提权漏漏洞洞攻击？ 如何防范普通网网络攻击和DDOS攻击？ 如何为关键数据添加额外保险？ 如何支支撑多种形式的数据共享与变现？
Storm Flink MPP SQL
共享 静态 弹性 动态 系统 数据 安全 物理理 运行行行时 闲置 损耗
HBase MR
Spark 功能
性能隔离
能效
两种路路线
IaaS能力力力超强 体量量小小 业务增⻓长快，业务需求不不稳定 体验新的大大数据分析软件 重计算 Adhoc访问 存储密集，计算稀疏 性能追求 零运维 数据变现 重I/O 体量量足足够大大
大大数据软件云端部署、托管能力力力 虚拟机上的真实大大数据集群 运行行行在云服务上的大大数据集群
方方向 形态 定位
Block-Level Scheduler - cfq/deadline/noop
I/O来源信息的跨层传递是后续工工作的基础。
/sosp/sosp15/current/2015-Monterey/printable/168-yang.pdf
Global I/O Scheduling
https:///pdf/1603.03404.pdf
性能隔离
多实例例 静态隔离 动态隔离
上古时代的Hadoop没 有任何性能隔离能力力力 可以控制用用户进程和 平台组件的CPU与内 存占用用
FIFO Capacity, Fair cgroups 虚拟机 虚拟网网络 分区 份额 联邦 优先级
无无安全机制 鉴权 Kerberos认证 细粒度权限控制 数据加密
公网网 信任用用户声称的身份， 改善了了『误越界』的 问题 内部使用用 数据行行行 企业
VM VPC EMR 提权 & DoS
Partition Sandbox
Quota Guard
“Hadoop”-a-a-S
提权攻击应对思路路及手手段
全集群多实例例的方方案往往会基于VM 来做，这样对集群各组件的负载隔离 都比比较，但是即使从DoS的⻆角度， VM也不不是高高枕无无忧的。
VM DoS
VM间的共享资源也存在安全⻛风险
MEMORY COMPONENTS
Shared LLC Buses IMC
ATTACKER’S TECHNIQUE
LLC cleansing bus locking
Cross-Layer Tag
App1 write() write() App2 Tags to identify origin
Page Cache
1 1 1
1 2
2
Tags pass across layers
Write-back Daemon
Write-back daemon submits all request!
CONTENTION TYPE
storage-based scheduling-based scheduling-based
RUNTIME SLOWDOWN
1~5.5X 1~7.9X
memory flooding DRAM storage-based
1~1.54X
2016年年3月月，T. Zhang等人人成功地在EC2上，利利用用VM间的共享资源进行行行了了memory DoS攻击。
users
FairCallQueue依赖于 获取请求的用用户信息 来做后面面的调度，但 获取用用户信息前的连 接处理理、请求头处理理、 用用户信息获取没有办 法做到公平。
weighted round-robin
不不同操作的代价可能 差别很大大，执行行行时间、 并发能力力力上都有很大大 不不同。
防范无无意识的DDoS攻击，也提升RPC资源分配的公平性。
缩小小攻击面面 延⻓长攻击线 异常早可⻅见
手手段
Partition Sandbox Subtraction Guard
作用用
降低提权的影响。 不不能隔离的通过Sandbox防护。 只开放高高层、安全的接口口。 异常行行行为探测与处理理。
举例例
Label Partition VM、Container、JVM SQL-a-a-S Apache Eagle
华为大大数据多租户技术探索与实践
孙桂林林/guilin.sun@
自自我介绍
2年年的HWer 10年年大大规模分布式系统从业者 华为大大数据系统架构 分布式系统 大大规模分布式存储 海海量量数据处理理 大大数据云服务 ……
华为大大数据业务与产品
电信、企业、消费者……
大大数据业务举例例
可以控制不不同租户和 应用用的计算资源份额
对象存储
与无无意识的DDoS相比比，性能隔离侧重于合理理的资源使用用与竞争。
分区
通过标签对YARN节 点进行行行分区。
YARN
HDFS
Partition Label
Node Label
Exclusive
Non-Exclusive
Partition Label
回顾
API Restriction - SQL
I/O Weight
Language Sandbox
Multiple Instance Partition FairCallQueue
VM/LXCs
Guard
DRM Weight
安全 性能隔离 能效 功能
弹性
谢谢
Q&A
实践中往往需要组合多种安全机制。
VM != Safe
2016年年11月月10号的PwnFest擂台中，来自自国内和韩国的两只团队分别在 VMware上实现了了虚拟机逃逸，可在宿主机上执行行行任意代码。
虽然非非常困难构造，逃逸可能是对虚拟机最大大的安全威胁
DoS攻击应对思路路及手手段
缩小小攻击面面 多实例例 延⻓长攻击线 多队列列 异常早可⻅见
手手段
RPC Fair Share Language Sandbox Federation Container/VM Subtraction Guard
作用用
防止止RPC的DDoS 禁止止敏敏感API的调用用 租户不不共享瓶颈节点 租户不不共享集群 只开放高高层、安全的接口口 异常行行行为探测与处理理
电信 企业 消费者
SmartCare SEQ Analyst 智能网网络规划优化
离网网分析
个性化套餐包推荐
投诉处理理
用用户体验管理理
**银行行行 精准营销
历史交易易明细查询
实时事件营销
实时征信
异常交易易预警
EMUI 智能应用用商店
智能帮助
华为企业云
数据接入入服务
多维交互式分析服务
Tenant A Tenant B
Task 1
Task 2
Task 3
Task 4
DataNode