阿里云 飞天系统架构
计算机网络技术PPT课件(共12章)12云计算与物联网
12.5.2 大数据的基本特征
03
01
02
04
（1）数据量大。目前，我 们对大数据的起始计量单位 至少是 PB（210 TB=1 024 TB ≈1 000 TB）、 EB（220 TB=1 048 576 TB ≈100万TB）或 ZB（230=1 073 741 824 ≈10亿TB）。
（2）种类繁多。数据种类 包括网络日志、音频、视频 、图片、地理位置信息等， 多种类型的数据对数据处理 能力提出了更高的要求。
12.2.1 阿里云计算
“阿里云”被视为我国云计算的代名词，在福布斯 中国500强企业中，三分之一的企业都在使用阿里 云。
阿里云的飞天（Apsara）操作系统诞生于2009年2 月，是由阿里云自主研发的、服务全球的、超大规 模的通用操作系统，目前已为全球200多个国家和 地区的创新创业企业、政府、机构等提供服务。它 可以将遍布全球的百万级服务器连成一台超级计算 机，以在线公共服务的方式为社会提供计算能力， 从而有效解决计算的规模、效率和安全等问题。飞 天的革命性在于将云计算的3个方向进行了高效的 整合，分别是提供强大的计算能力，提供通用的计 算能力，提供普惠的计算能力。
Azure的底层是Microsoft公司全球基础服务系统，由遍布全球的第4代数据中心构成。这是继Wind在 2010年10月的参与式设计会议（Participatory Design Conference，PDC）大会上，Microsoft公司 公布了Windows Azure云计算平台的未来蓝图，将Windows Azure定位为平台服务，一套全面的开发 工具、服务和管理系统。
（2）美国的定义：将各种 传感设备，如射频识别设备 、红外传感器、全球定位系 统等与互联网结合起来而形 成的一个巨大网络，其目的 是让所有的物体都与网络连 接在一起，方便识别和管理
阿里云架构介绍PPT幻灯片课件
目前只能逐个快照回滚，只读快照只能挂载至其它VM 10月份之后能够实现快照的任意回滚，只读挂载无位置限制
数据异地备份（计划中）
19
案例分析&产品优势
• 相比Amazon的产品优势
1、防DDOS攻击服务——独有的自动化流量清洗和黑洞功能，能够抵御3-7G的DDOS攻击 2、更先进的网络架构——大二层网络设计，消除NAT设备，避免网络功能和性能上的单点， 架构更具扩展性 3、概念简化——VM Local Storage\EBS\S3存储合并为单一的“虚拟磁盘”概念，可提供不 同级别的数据安全保证 4、国内互联互通
16
故障迁移
虚拟机管理：VM操作
Monitor
操作内容：
创建、销毁、启动、关闭、重启 重置VM密码 修改VM规格 监控运行状态 故障迁移 在线迁移
17
安全性：系统安全性
防ARP、IP欺骗、ARP攻击
无须在Guest OS内部安装ARP防火墙
用户处于不同的安全域
采用分布式防火墙实现VM与物理机、VM之间的系统隔离 Group之间可相互授权
20
弹性计算服务应用场景
• 问题
•
– IT开支是中小企业很大的负担，而能够产生 价值的业务系统开支在IT系统中占比很小
• 初始投资：购买硬件、软件，搭建IT系统
• 运营开销：系统维护、升级，配备管理人员
– IT人员需要花费大量精力维护硬件软件系统 正常运行，影响业务应用的开发
– 中小企业的业务高度依赖产业链上下游企业， 如何及时响应
8
阿里云OS演示
9
ALIYUN 全网搜索
10
阿里云网页搜索
网页搜索
• 每天抓取更新数亿计的网页，包括移动网页。 • 基于飞天云计算的离线处理系统，能高效快速的处理海量的网页数据，包括
阿里云-飞天系统-总体框架
阿里云—飞天系统总体架构西门老衲研究整理关于华博科技（ Technology ）目录1. 飞天体系结构—飞天系统+ 飞天应用2. 飞天系统—分布式基础架构9 5. 飞天系统—集群监控—神农3. 飞天系统—分布式文件系统—盘古4. 飞天系统—任务调度—伏羲7. 结束语6. 飞天应用—阿里云系列韵公园什么是飞天？飞天体系—技术框架关于华博科技（ Technology ）目录1. 飞天体系结构—飞天系统+ 飞天应用2. 飞天系统—分布式基础架构9 5. 飞天系统—集群监控—神农3. 飞天系统—分布式文件系统—盘古4. 飞天系统—任务调度—伏羲7. 结束语6. 飞天应用—阿里云系列韵公园关于华博科技（ Technology ）目录1. 飞天体系结构—飞天系统+ 飞天应用2. 飞天系统—分布式基础架构9 5. 飞天系统—集群监控—神农3. 飞天系统—分布式文件系统—盘古4. 飞天系统—任务调度—伏羲7. 结束语6. 飞天应用—阿里云系列韵公园飞天文件系统-盘古飞天盘古—特性飞天盘古系统—设计飞天盘古—针对在线业务的优化关于华博科技（ Technology ）目录1. 飞天体系结构—飞天系统+ 飞天应用2. 飞天系统—分布式基础架构9 5. 飞天系统—集群监控—神农3. 飞天系统—分布式文件系统—盘古4. 飞天系统—任务调度—伏羲7. 结束语6. 飞天应用—阿里云系列韵公园任务调度—伏羲飞天伏羲—体系架构飞天伏羲关于华博科技（ Technology ）目录1. 飞天体系结构—飞天系统+ 飞天应用2. 飞天系统—分布式基础架构9 5. 飞天系统—集群监控—神农3. 飞天系统—分布式文件系统—盘古4. 飞天系统—任务调度—伏羲7. 结束语6. 飞天应用—阿里云系列韵公园飞天系统—集群监控—神农飞天神农—特点关于华博科技（ Technology）目录1. 飞天体系结构—飞天系统+ 飞天应用2. 飞天系统—分布式基础架构95. 飞天系统—集群监控—神农3. 飞天系统—分布式文件系统—盘古4. 飞天系统—任务调度—伏羲7. 结束语6. 飞天应用—阿里云系列韵公园飞天应用阿里云邮箱服务阿里云金融数据仓库阿里云渲染计算服务问题关于华博科技（ Technology）目录1. 飞天体系结构—飞天系统+ 飞天应用2. 飞天系统—分布式基础架构95. 飞天系统—集群监控—神农3. 飞天系统—分布式文件系统—盘古4. 飞天系统—任务调度—伏羲7. 结束语6. 飞天应用—阿里云系列韵公园仅供分享学习只用敬请尊重阿里云—飞天系统相关研发者的知识产权！！。
阿里云新型互联网架构介绍
DevOps 管理
容器服务
• Docker企业版(国内独家) • 支持Kubernates
云效：持续开发持续集成（ DevOps ） 的管理软件
Aliware （分布式企业中间件）： 大规模验证的 Java 中间件
新型应用 第三方应用 存量IT系统
CSB云服务总线
能力开放运营
用户中心 资源中心
API管理运营 共享服务层
客户和场景：互联网金融生产环境（含大数据） 关键产品：IAAS+大数据+
中间件（含docker）+高级版云盾
平台特性：等保三级，两地三中心 客户和场景：央企，互联网中台+大数据
V2.0 （2016.05）
关键产品：IAAS+大数据+中间件 平台特性：统一运维管理，管控节点压缩
满足生产级可靠性和 安全合规的要求
统一的管理运维系统， 和企业现有IT管理系统 无缝对接
向混合云 平滑演进
飞天平台整体架构
淘宝、天猫、支付宝、高德、菜鸟网络、阿里音乐等事业部 PaaS服务 微服务开发 框架服务 分布式数据 库服务 分布式消息 中间件服务 云服务总线 服务 数据交换服 务 DaaS服务 数据治理服 务 数据开放服 务 数据可视化 服务
解决数据 长效保存 及采集问题
解决数据 规范问题
解决数据 交换及安全问题
解决技术 转化输出问题
飞天平台：由实践锤炼而来
天猫 支付宝
17.5万笔/秒订单
12万笔/秒支付
2017天猫 11.11 购物狂欢节 1682亿元总成交额
阿里云专有云：让每个企业都拥有自己的飞天
专有云 公共云
北京，杭州，上海，青岛 深圳，香港，新加坡
云计算导论第二章
2.2 .2平台即服务
云计算服务模型
2.2 .2平台即服务 部署开发环境简单
云计算服务模型
服务丰富
代码实时托管
维护方便
著名的PaaS云服务包括Google App Engine、Microsoft Azure和Saleforce Platform。
2.2 .3软件即服务
云计算服务模型
2.2 .3软件即服务
云计算系统架构参考模型
2.1.1 NIST云计算参考架构
云 计 算 参 考 架 构
云计算系统架构参考模型
2.1.1 NIST云计算参考架构
角色
云消费者 云审核员 云提供商 云代理商 云承载者
职责
与云提供商保持业务关系，并使用云提供商提供的云计算服 务的个人或组织
能够对云计算服务、信息系统操作、性能和安全性进行独立 评估的中立机构
云计算服务模型
2.2 云计算服务模型
云计算是一种通过出售服务盈利的商业模式，具有一套完整 的业务交付系统，即云计算服务模型。
基础设施即服务（Infrastructure as a Service，IaaS） 平台即服务（Platform as a Service，PaaS） 软件即服务（Software as a Service，SaaS）
资 源 层 资源层即基础设施经过虚拟化后形成的IT资源池。
平 台 层 平台层是链接应用层和资源层的中间层。
应用层
应用层直接面向客户的需求，通常采用友好的交互界面，以向云消 费者提供高度集成化的软件云服务。
2.1.2”四层两域“模型
云计算系统架构参考模型
服务域 管理域
服务域由基础设施层、资源层、平台层和应用层共同构成，它主 要是面向云计算系统的用户提供资源服务、平台资源调用服务和应用 服务等。
阿里云体系架构ppt课件
弹性计算服 务SLB/ECS 集 群 部 署
(分布式)关系数据库 DRDS/RDS 分布式文件系统
大数据 ODPS/ADS 任务调度 远程过程调 用
开放存储 OSS
分布协同服 务
安全管理
资源管理
基础 设施
x86服务器 & Linux
网络设备
机房环境
5
阿里云的产品体系
6
分布式文件系统-（一层结构）
负载均衡
LB / LVS
协议处理、访问控制
协议接入层 RESTful 数据访问层 Key-Value引擎 持久存储层 Pangu
1. 海量、分布式的KV存储 2. 可扩展至数千台服务器 3. KVMaster/KVServer/Nuwa 1. 基于分布式文件系统Pangu 2. Master-Slave，基于Paxos的多 Master设计。 3. 三份拷贝分布不同机架存储 16
云市场及第三方服务
集群 部署 Depl oym ent
关系型数据 库服务 (RDS)
分布式文件系统 Distributed File System
Distributed Coordination Service
集群 监控 Mon itori ng
分布协同服务
Security Manag客户端主要为： ECS OSS/OSA ODPS/Opensearch OTS/SLS
2019
-
8
分布式文件系统-二层结构
Paxos
2019
-
9
任务调度系统-伏羲
2019
-
10
物理部署示意图
2019
-
11
IAAS基础服务-ECS弹性服务器
Docker EE 及 飞天敏捷版介绍
企业版增强版（EE Advanced）的特性
专业的认证
• 架构经认证——企业级操作系统（Ubuntu, CentOS） • 容器经认证——ISV（第三方软件供应商）提供的容器 • 插件经认证——网络&存储供应商提供的插件
层次化管理
• 镜像管理——私有镜像库提升Байду номын сангаас源利用率、缓存加速镜像层构建效率 • 容器管理——ISV（第三方软件供应商）提供的容器 • 编排管理——编排（容器调度、集群管理）
Mesos/Marathon 中 高 支持 支持
支持 支持 支持 部分支持 支持 不支持 不支持
敏捷版解决方案 (兼容并扩展Docker编排)
低 低 支持
支持
支持 支持 支持 支持 支持 支持 支持
敏捷版和 Docker 开源方案对比 —— 资源集成
跨主机网络 持久化存储 日志处理
容器监控
外部负载均衡 镜像管理 DevOps 多集群管理 权限管理
于Docker EE，可以直接部署在企业已有的x86等硬 件之上（不区分厂商） • 底层基于Docker商业版，配合阿里云容器服务的插件 和多集群管理能力，为客户打造了全功能的容器平台 • 和公有云上的阿里云容器服务在界面和API方面保持 一致 • 采用Docker的存储插件机制，敏捷版可以对接企业现 有的企业存储，为容器应用提供存储支持 • 提供对容器及应用的指标监控的收集、集中、存储和 分析的能力，对接企业已有的监控和日志分析系统， 为企业打造完整的容器应用监控和日志分析平台
• Docker安全扫描集成在Docker EE高级版中，在新的镜像上传到仓库时触发一系列事件；这个服务包含一个扫描触发器，扫描器，数 据库，框架插件和连接到CVE数据库的验证服务。
阿里飞天云平台架构简介
阿⾥飞天云平台架构简介飞天是由阿⾥云开发的⼀个⼤规模分布式计算系统，其中包括飞天内核和飞天开放服务。
飞天内核负责管理数据中⼼集群的物理资源，控制分布式程序运⾏，隐藏下层故障恢复和数据冗余等细节，有效提供弹性计算和负载均衡。
如图所⽰，飞天体系主要包含四⼤块：1、资源管理、安全、远程过程调⽤等构建分布式系统常⽤的底层服务;2、分布式⽂件系统;3、任务调度;4、集群部署和监控。
飞天开放服务为⽤户应⽤程序提供了计算和存储两⽅⾯的接⼝和服务，包括弹性计算服务(Elastic ComputeService，简称ECS)、开放存储服务(Open Storage Service，简称OSS)、开放结构化数据服务(Open Table Service，简称OTS)、关系型服务(Relational Database Service，简称RDS)和开放数据处理服务(Open Data Processing Service，简称ODPS)，并基于弹性计算服务提供了云服务引擎(Aliyun Cloud Engine，简称ACE)作为第三⽅应⽤开发和Web 应⽤运⾏和托管的平台。
阿⾥有限公司(简称“阿⾥云”)成⽴于2009年9⽉10⽇，致⼒于打造云计算的基础服务平台，注重为中⼩企业提供⼤规模、低成本、⾼可靠的云计算应⽤及服务。
飞天开放平台(简称“飞天平台”或者“飞天”)是由阿⾥云⾃主研发完成的公共云计算平台，该平台所提供的服务于2011年7⽉28⽇在正式上线，推出了第⼀个云服务——弹性计算服务。
截⾄本书出版时，阿⾥云已经推出了包括弹性计算服务、开放存储服务、关系型数据库服务、开放结构化数据服务在内的⼀系列服务和产品。
飞天平台内核包含的模块可以分为以下⼏部分。
分布式系统底层服务：提供分布式环境下所需要的协调服务、远程过程调⽤、安全管理和资源管理的服务。
这些底层服务为上层的分布式⽂件系统、任务调度等模块提供⽀持。
分布式⽂件系统：提供⼀个海量的、可靠的、可扩展的数据存储服务，将集群中各个节点的存储能⼒聚集起来，并能够⾃动屏蔽软硬件故障，为⽤户提供不间断的数据访问服务；⽀持增量扩容和数据的⾃动平衡，提供类似于POSIX的⽤户空间⽂件访问API，⽀持随机读写和追加写的操作。