淘宝分布式服务框架
淘宝技术架构简介
• 价值
– 用同步的语义来实现异步的调用
ngx_lua原理
• 每个Nginx工作进程使用一个Lua VM，工 作进程内所有协程共享VM • 每个外部请求都由一个Lua协程处理，协程 之间数据隔离 • Lua代码调用I/O操作接口时，若该操作无 法立刻完成，则打断相关协程的运行并保 护上下文数据 • I/O操作完成时还原相关协程上下文数据并 继续运行
系统过载保护
• 判断依据
– 系统的loadavg – 内存使用（swap的比率）
• sysgurad模块
sysguard on; sysguard_load load=4 action=/high_load.html; sysguard_mem swapratio=10% action=/mem_high.html
– 防hashdos攻击 – 防SQL注入 – 防XSS
• 标准Nginx无输入体过滤器机制的问题 • 例子（防hashdos攻击）
– 如果所有POST内容都在内存中，占用内存过大 – 否则性能不高，内容可能被buffer到磁盘 – /2012/01/amechanism-to-help-write-web-applicationfirewalls-for-nginx/
ngx_lua原理
代码示例
location /http_client { proxy_pass $arg_url; } location /web_iconv { content_by_lua ' local from, to, url = ngx.var.arg_f, ngx.var.arg_t, ngx.var.arg_u local iconv = require "iconv" local cd = iconv.new(to or "utf8", from or "gbk") local res = ngx.location.capture("/http_client?url=" .. url) if res.status == 200 then local ostr, err = cd:iconv(res.body) ngx.print(ostr) else ngx.say("error occured: rc=" .. res.status) end '; }
淘宝技术架构介绍, 了解淘宝,了解淘宝的架构需求
pipeline 页面布局
Screen Layout Control
多模板引擎
Jsp Velocity FreeMarker
V2.0 淘宝项目管理工具 AntX
类似maven 脚本编程语言 AutoConfig 依赖管理，冲突检测
V2.1 的需求
提高性能 增加开发效率 降低成本
V2.1 2004.10 – 2007.01
TBStore
Read/Write
Oracle Oracle Oracle Oracle
dump
Search
Read/Write
Node Node
1
2 ……
Node n
V2.1逻辑结构
表示层
Service
业务请求转发
Framework
S
UC
UC 业务流程处理 UC
UC
P
R
AO
AO
AO
AO
I
业务逻辑层
Node 1
Node 2
Node n
V2.1 TaobaoCDN
squid apache+php lighttpd 静态页面（包括php页面）、图片、描述 最初只有杭州和上海两个站点 现在发展到北京、广州、西安、天津、武
汉、济南等近10个站点 现在每天高峰期30G流量/秒
V2.1 session框架
Put/Get Data
Node 1
Node 2
Node n
V2.2 搜索引擎
垂直/水平 分割
AAPPPP
AAPPPP
Merge
Node1
Node2 ……
Node n
Col1
Node 1
淘宝网上购物系统的开发与设计
目录摘要 (I)1.引言 (1)1.1课题的来源、目的、意义 (1)2.系统分析 (3)2.1 业务流程 (3)2.2 系统功能分析 (7)3.系统设计 (10)3.1 数据库设计 (10)EBusiness是一个典型的电子商务系统，针对它将要实现的业务功能，数据库中具有以下的模块： (10)4.总结与展望 (15)致谢 (16)参考文献 (17)淘宝网上购物系统的开发与设计摘要随着计算机技术在各行各业日益广泛和深入的应用，网络的概念早已深入人心。
网络在各行各业的发展战略中占据了重要的位置，成为商家不可分割的部分。
商品的宣传已不只局限于电视与报纸，网络已成为商家展示自己的另一个舞台。
商家建立网站，将商家各方面的宣传与服务展现于网络中，通过网络便可实现如网上购物、信息查寻等功能，这样一个基于浏览器/服务器（B/S）模式的B2C的网上购物系统就形成了。
本论文研究了这种基于B/S模式的B2C的网上购物系统的开发。
其开发主要包括后台数据库的建立、后台管理以及前台页面的Web设计。
系统使用Microsoft 公司以C#为核心语言的开发工具，利用微软提供的IIS 5.0建立运行环境，再结合SQL Server 2000建立数据连接关系。
利用其提供的各种组件，在短时间内建立数据库，对数据库进行分析与建立页面，不断改进，直到功能基本实现的可行系统。
论文还对WEB分析、设计、开发、测试和发布这个工作流程进行了详细的论述，从中着重介绍了网上购物系统要实现的功能、业务流程、系统流程、前台数据流图、后台数据流图、E-R图、数据库设计、功能模块设计、实现和测试等一系列开发流程。
最后，对设计中所遇到的难题进行重点介绍、分析和说明解决的办法，同时对商场实现后所运行的结果进行定性分析并得出结论。
关键词:技术，数据库，网上购物系统，Web设计1.引言1.1课题的来源、目的、意义1.1.1本课题的来源近年来，随着Internet的迅速崛起，互联网已日益成为收集提供信息的最佳渠道并逐步进入传统的流通领域。
淘宝系统功能及网站结构
当当网的系统功能：1.客户服务系统当当网建立了功能强大的客户服务中心。
当当网以网上购物为主要的经营手段，用户与商家最为直接交流莫过于电话，因此，建立一个完善的客户服务中心是用户必须的。
当当网呼叫中心系统在保证话务质量的同时具有相当的规模，并随着业务的不断增大，还可以平滑的升级；所采用的呼叫中心系统完全摆脱了传统呼叫中心系统的羁绊，建立了一套基于IP的分布式呼叫中心平台，同时，可以实现高质量的话务统计。
2.智能比价系统当当网开发了智能比价系统系统。
通过此系统，当当网每天都实时对各电子商务网站的同类商品的价格进行对比。
如果对方同类商品价格低于当当网商品价格，此系统将自动调低当当网同类商品的价格。
3.相关搜索系统当当网购物系统根据客户的购物习惯自动向他们推荐相关商品。
如今当当网客户的搜索范围不仅包括当当网近百万自营商品，还把当当数千家店中店的各类商品一搜到底4.物流配送系统当当网在这180个城市拥有物流合作伙伴。
这些合作伙伴可能只是一家只有数十人的小快递公司，服务范围可能仅仅是它所在的城市。
但当当网成功的将这些物流合作伙伴整合成一个覆盖全国的物流网络，向180个城市提供送货上门和货到付款服务，并且覆盖的城市还在增加。
当当网在北京、上海、广州3个城市设立了仓储中心。
当一笔订单产生时，当当网将判断从那个仓库调货最优，然后订单被发送到用户所在的城市，该城市的快递公司收到货后立即送货上门。
当当网对于这些快速公司怎么搭配发送包裹一向不作要求，唯一的要求就是在特定的时间内将货物送到。
5.支付系统当当网其主要的支付方式有：a.货到付款：快递公司把商品送至指定地点时，由收货人当时交付货款和运费。
b.银行汇款：用户可以通过银行汇款、转帐的方式汇款至当当网。
c.邮局汇款：全国邮政服务范围所能覆盖的国内省、市、自治区、直辖市的客户均可以选择此方式支付。
d.信用卡支付：用户使用几种指定的信用卡付款。
当当网还设立了专门的论坛。
HSF新人用户手册
HSF新人用户手册一江，更新时间：2010-9-91.HSF介绍 (2)2.安装和使用HSF (3)1.下载和安装HSF (3)2.进行HSF服务开发 (6)3.查询和调用HSF服务 (13)3.HSF相关开发工具 (16)1.Eclipse Jetty插件 (16)2.Hsf.unit (21)3.Hsf-Standalone (23)4.HSF工作原理 (24)1.JBoss中的HSF部署模型 (24)2.Tomcat中的HSF部署模型 (25)3.HSF发布服务 (25)4.HSF订阅及调用服务 (26)5.HSF服务配置详解 (28)1.HSFSpringProviderBean (28)2.HSFSpringConsumerBean (30)1.HSF介绍HSF全称为High-Speed Service Framework，旨在为淘宝应用提供一个分布式的服务框架，HSF从分布式应用层面以及统一的发布/调用方式层面为大家提供支持，从而可以很容易的开发分布式的应用以及提供或使用公用功能模块，而不用考虑分布式领域中的各种细节技术，例如远程通讯、性能损耗、调用的透明化、同步/异步调用方式的实现等等问题。
更详细的HSF介绍信息请访问：淘宝百科HSF页面，常用链接入口：/。
图1-1.HSF常用链接入口2.安装和使用HSF1.下载和安装HSF第一步：从HSF主页访问HSF软件下载中心，下载JBoss4.2.2和HSF1.4.8压缩包。
如下图所示：图2-1.HSF下载中心第二步：解压jboss-4.2.2.GA.zip包到任意目录，如D:\。
这时JBoss应该位于D:\jboss-4.2.2.GA目录；解压taobao-hsf.tgz到%JBOSS_HOME%\server\default\deploy 目录。
至此，JBoss和HSF安装完成。
JBoss服务器目录结构如图2-2所示。
图2-2.JBoss和HSF安装后目录结构第三步：执行%JBOSS_HOME%\bin\run.bat启动JBoss，这时访问http://localhost/将能够看到JBoss服务器默认首页，如图2-3所示。
淘宝商品推广系统服务器端软件的分析与设计
基本内容
然而，随着业务需求的不断变化和技术的发展，我们建议淘宝在以下几个方 面进行进一步改进：1）持续优化算法模型，提高搜索和推荐准确率；2）加强数 据安全性和隐私保护；3）研究和引入新兴技术，如和大数据分析，提升系统的 智能化水平。
基本内容
总之，本次演示对淘宝商品推广系统服务器端软件进行了全面分析，并探讨 了其设计和实现方法。通过不断优化和完善该系统，我们可以为电商行业的发展 提供有力支持。
基本内容
在技术选型上，淘宝商品推广系统主要采用Java语言开发，使用Spring框架 进行依赖注入和事务管理。数据库方面，系统采用MySQL数据库进行数据存储和 处理，通过索引优化和SQL调优来提高查询效率。
基本内容
在进行淘宝商品推广系统服务器端软件设计时，我们需要根据架构设计的要 求，对每个子系统进行详细设计。搜索服务器需要实现关键词搜索和结果排名功 能，推荐服务器需要实现个性化推荐算法，广告服务器需要实现广告投放和计费 功能。此外，还需要设计一个统一的数据接口，方便各个子系统之间的数据交互。
淘宝商品推广系统服务器端软 件的分析与设计
基本内容
基本内容
随着互联网的快速发展，电子商务越来越成为人们生活中不可或缺的一部分。 淘宝作为国内最大的电商平台之一，每天都有大量的商品交易和流量。为了更好 地服务卖家和买家，淘宝不断优化其商品推广系统。本次演示将对淘宝商品推广 系统服务器端软件进行深入分析，并探讨其设计和实现方法。
基本内容
在实现过程中，我们需要根据业务需求和技术选型来进行代码编写和调试。 例如，对于搜索服务器，我们需要编写一个SearchController类，用于处理用户 搜索请求，并调用SearchService类来进行搜索和排名操作。对于推荐服务器， 我们需要编写一个RecommenderController类，用于接收用户行为数据并调用 RecommenderService类来进行推荐算法运算。
淘宝功能架构图ppt课件
SPU搜索
…搜索
1
介绍上图中提到的各个系统缩写意思
1.UIC: 用户中心(User Interface Center),提供所有用户信息相关的读写服务，如基本信息，扩展信息，社区信息，买卖家信用等级等等。 淘宝现在有两类卖家B 和C，这是通过在用户身上打不同的标签实现的，我们这次的无名良品卖家也是通过在用户身上打特殊的标签来区别于淘宝 已有的B 和C 类卖家。淘宝的TOP 平台已经开放了大部分的UIC 接口。 2.IC：商品中心(Item Center),提供所有商品信息的读写服务，比如新发商品，修改商品，删除商品，前后台读取商品相关信息等等，IC 是 淘宝比较核心的服务模块，有专门的产品线负责这块内容，IC 相关接口在TOP 中占的比重也比较大。 3.SC：店铺中心(Shop Center),类似中文站的旺铺，不过淘宝的SC 不提供页面级应用，提供的都是些远程的服务化的接口,提供店铺相关信 息的读写操作。 如：开通店铺，店铺首页，及detail 页面店铺相关信息获取，如店内类目，主营，店铺名称，店铺级别：如普通，旺铺，拓展版， 旗舰版等等。装修相关的业务是SC 中占比重较大的一块，现在慢慢的独立为一个新的服务化中心DC(design center),很多的前台应用已经通过直 接使用DC 提供的服务化接口直接去装修相关的信息。 4.TC：交易中心(Trade Center),提供从创建交易到确认收货的正 向交易流程服务，也提供从申请退款到退款完成的反向交易流程服务. 5.PC：促销中心(Promotion Center),提供促销产品的订购，续费，查询，使用相关的服务化接口，如：订购和使用旺铺，满就送，限时秒 杀，相册，店铺统计工具等等。 6.Forest：淘宝类目体系：提供淘宝前后台类目的读写操作，以及前后台类目的关联操作。 7.Tair：淘宝的分布式缓存方案，和中文站的Memcached 很像。其实也是对memcached 的二次封装加入了淘宝的一些个性化需求。 8.TFS：淘宝分布式文件存储方案(TB File System)，专门用户处理静态资源存储的方案，淘宝所有的静态资源，如图片，HTML 页面，文本 文件，页面大段的文本内容如：产品描述，都是通过TFS 存储的。 9.TDBM：淘宝DB 管理中心(TB DB Manager), 淘宝数据库管理中心，提供统一的数据读写操作。 10.RC：评价中心(Rate center),提供评价相关信息的读写服务，如评价详情，DSR 评分等信息的写度服务。 11.HSF：淘宝的远程服务调用框架和平台的Dubbo 功能类似，不过部署方式上有较大差异，所有的服务接口都通过对应的注册中心（config center）获取。
淘宝-分布式调用跟踪系统介绍
7
丼个例子
• 可以得到
– 收费站的每日总车流量和流量趋势 – 鲁A123BC在五一期间的行驶路线和费用 – G20上的车速、路况 – G20流量过高时，车的来源分布
8
丼个例子
• 高速上行驶的车辆：前端请求
• 高速上的收费站：处理请求的应用
• 由中间件去记彔请求的网络调用情况
• 关键点：关联日志中记彔的车牌号
34
埋点和生成日志
• 埋点遇到的问题
– 异步调用
• 业务使用异步线程处理逡辑时会丢失上下文 • 异步 IO：Send 和 Recv 丌在同一线程 • 异步 servlet：业务逡辑在丌同线程中切换执行
– 一对多的调用方式 – 非前端请求触发的调用链
35
埋点和生成日志
• 写日志面临的挑战
– 尽可能减少对业务线程的影响，降低系统消耗 – 每个网络请求至少1行日志，QPS 越高日志产生越快
19
调用来源分析
20
透明的分布式数据传输
eagleeyex_sellerId
应用A
clear(“sellerId”)
get(“sellerId”) =8d6402…
HSF
发消息 投递消息 应用D
消息服务器
应用B
get(“sellerId”)= null
投递消息
HSF
get(“sellerId”) =8d6402… get(“orderId”)= 22f9b7…
应用E
get(“sellerId”) =8d6402… put(“orderId”, 22f9b7…)
应用F
HSF 应用G
21
透明的分布式数据传输
• 鹰眼自身需要传递调用上下文
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
HSF演进过程
• 配置使用方式的改进
– 使用示例
<bean id=“helloWorld” class=“com.taobao.hsf.test.HelloWorldImpl” />
HSF演进过程
• 发布服务
HSF演进过程
• 演进过程中的一些小功能
– 服务动态归组 – 服务限流 – 服务延迟注册 – 服务调用上下文支持 – Rpc框架与业务交互（常见如：remotehost） – 服务NDI方式调用 – 运行期动态发布数据 – 服务降级 – Jar包升级
– 业务层
问题
QA？
服务治理
• 服务监控
– 安全监控 – 报警 – 问题定位
分布式跟踪系统
• 类似google的dapper， Twi^er Zipkin • 基于tcp方式，h^p方式支持但是未全局推广
分布式跟踪系统
分布式跟踪系统
• 分布式跟踪系统链路图
QOS
协议层
容 器 接 入 层
核心服务层
HSF运行原理
Ip地址为 192.168.1.2的机器 提供了A服务 好的，A服务地址： 192.168.1.2 , 我要订阅A服务，把 192.168.1.3 A服务的地址给我吧 Ip地址为 192.168.1.3的机器 提供了A服务 谢谢，我会根据相 应规则选择一台机 器发起调用的。
HSF演进过程
• 部署及隔离方式改进
– 与应用分开部署，运行期依赖 – 外部采用与应用独立的classloader隔离，内部采 用OSGI隔离
• 优点vs缺点？
HSF演进过程
• 网络通讯改进
– 基于mina封装TB-‐Remo8ng – 分阶段序列化（java，hessian） – 连接采用长连接
分布式跟踪系统
• 分布式跟踪系统基本元素
– 全局唯一ID – 链路顺序的rpcID – 响应时间 – 请求，响应大小 – …..
分布式跟踪系统
• 分布式跟踪系统带来的价值
– RPC层
• • • • • • • • • 应用调用链路分析 服务依赖检测 性能优化 用户行为分析 …. 子账户系统 账号追踪 风险控制 ….
服务提供者
发起远程调用 服务消费者
软负载体系
• 路由规则
– 接口路由 – 方法路由 – 参数路由
• 选址算法
– 随机 – 权重
软负载体系
• 服务本机房调用
– 基于服务名或者应用名订阅机房调用规则 – 默认非本机房调用 – 业务场景： 机房容灾演习
• 消费服务
<bean id=“hello” class="com.taobao.hsf.app.spring.u8l.HSFSpringConsumerBean“> <property name=“interfaceName"> <value>com.taobao.hsf.test.HelloWorld </value> </property> </bean>
HSF演进过程
• 演进过程中走过的弯路
– 动态热部署 – 跨语言支持（protocol buffer） – 版本及其他信息存放 – 基于应用粒度的订阅 – 权重规则 – 分布式事务（补偿，二阶段提交） – 订阅从configserver迁移diamond
• 虚机房规则
– 将几个机房看成一个机房做调用 – 业务场景：双11，机房容量不足
软负载体系
• 服务限流
– 应用白名单 – 阈值规则 – 消费者级别限流
服务治理
• 整体结构图
服务治理
• 服务搜索
– 以服务为粒度搜索服务相关信息
HSF演进过程
• 严重事故
– Configserver地址归组错乱 – Configserver地址推空 – Configserver网卡瓶颈
HSF架构图
OSGI 容器 应用层
HSF演进过程
• 初始版本
– 服务发布，订阅以xml文件形式配置 – Xml文件与应用分离 – 通讯层基于JbossRemo8ng – 负载通过硬件设备负载
产生的问题
• 使用起来非常复杂，部署维护成本高 • Jboss Remo8ng量大，不稳定，而且不可控 • 硬件负载设备成本高，易出问题。
淘宝分布式服务框架
玄宵
引子
• 分布式服务框架基础数据
参数 每天调用量 提供的服务数量 机器数量 机房分布 应用 使用者 值 300+亿 3k+ 8k+ 6,7个机房 1000+ 整个阿里系
大纲
• • • • 淘宝分布式服务框架（HSF）演进过程 软负载体系 服务治理 分布式跟踪系统（Eagleeye）
– 面向静态数据推送
HSF演进过程
• 跨语言改进
– Webservice – Protocol buffer – Hessian
HSF演进过程
• 演进过程中的一些小功能
– 客户端线程池控制（稳定性开关） – 日志放置的目录 – 日志刷屏 – 服务本机优先调用 – 服务调用及执行统计（logstat） – 服务端线程池隔离（防止雪崩） – 线程池满，自动执行jstack，jmap – 服务端及客户端配置交互（超时，序列化类型） – Core+plugin模式
服务治理
• 务管理
– 服务上下线 – 服务路由 – 服务降级 – 服务归组 – 服务线程池管理 – 虚机房规则 – 服务授权
服务治理
• 服务信息
– 服务编码 – 服务质量 – 服务容量 – 服务机房分布 – 服务统计 – 服务生命周期 – 服务推送 – 服务依赖 – 服务调用模板 – 服务元数据仓库
HSF演进过程
• 负载均衡改进
– 采用基于配置中心（configserver）订阅推送 – 客户端软负载 – 容灾，失效恢复 – 路由等规则支持
HSF演进过程
• Configserver
– 面向动态数据推送
• Diamond
<bean class="com.taobao.hsf.app.spring.u8l.HSFSpringProviderBean“> <property name="serviceInterface"> <value> com.taobao.hsf.test.HelloWorld </value> </property> <property name="target"> <ref bean=“helloWorld"/> </property> </bean>