淘宝网高性能可伸缩架构技术探秘
淘宝网高性能可伸缩架构技术探秘今天我们继续大型网站探秘，一起来探秘淘宝网的架构技术。
作为国内最大的B2C网站，淘宝网的网站架构一直承载着数据量告诉增长压力，要保证良好的负载和流程的使用体验，一个可伸缩性的高性能网站架构必不可少。
一、应用无状态一个系统的伸缩性的好坏取决于应用的状态如何管理。
试想一下，假如我们在session中保存了大量与客户端的状态信息的话，那么当保存状态信息的server 宕机的时候，我们怎么办?通常来说，我们都是通过集群来解决这个问题，而通常所说的集群，不仅有负载均衡，更重要的是要有失效恢复failover,比如tomcat 采用的集群节点广播复制，jboss采用的配对复制等session状态复制策略，但是集群中的状态恢复也有其缺点，那就是严重影响了系统的伸缩性，系统不能通过增加更多的机器来达到良好的水平伸缩，因为集群节点间session的通信会随着节点的增多而开销增大，因此要想做到应用本身的伸缩性，我们需要保证应用的无状态性，这样集群中的各个节点来说都是相同的，从而是的系统更好的水平伸缩。
上面说了无状态的重要性，那么具体如何实现无状态呢?此时一个session框架就会发挥作用了。
幸运的是公司已经具有了此类框架。
公司的session框架采用的是client cookie实现，主要将状态保存到了cookie里面，这样就使得应用节点本身不需要保存任何状态信息，这样在系统用户变多的时候，就可以通过增加更多的应用节点来达到水平扩展的目的.但是采用客户端cookie的方式来保存状态也会遇到限制，比如每个cookie一般不能超过4K的大小，同时很多浏览器都限制一个站点最多保存20个cookie.公司cookie框架采用的是"多值cookie"，就是一个组合键对应多个cookie的值，这样不仅可以防止cookie数量超过20，同时还节省了cookie存储有效信息的空间，因为默认每个cookie都会有大约50个字节的元信息来描述cookie。
除了公司目前的session框架的实现方式以外，其实集中式session管理来完成，说具体点就是多个无状态的应用节点连接一个session服务器，session服务器将session保存到缓存中，session服务器后端再配有底层持久性数据源，比如数据库，文件系统等等。
二、有效使用缓存做互联网应用的兄弟应该都清楚，缓存对于一个互联网应用是多么的重要，从浏览器缓存，反向代理缓存，页面缓存，局部页面缓存，对象缓存等等都是缓存应用的场景。
一般来说缓存根据与应用程序的远近程度不同可以分为:local cache和remote cache。
一般系统中要么采用local cache，要么采用remote cache,两者混合使用的话对于local cache和remote cache的数据一致性处理会变大比较麻烦.在大部分情况下,我们所说到的缓存都是读缓存,缓存还有另外一个类型:写缓存.对于一些读写比不高，同时对数据安全性需求不高的数据，我们可以将其缓存起来从而减少对底层数据库的访问,比如统计商品的访问次数,统计API的调用量等等,可以采用先写内存缓存然后延迟持久化到数据库，这样可以大大减少对数据库的写压力。
以店铺线的系统为例，在用户浏览店铺的时候，比如店铺介绍，店铺交流区页面，店铺服务条款页面，店铺试衣间页面，以及店铺内搜索界面这些界面更新不是非常频繁，因此适合放到缓存中，这样可以大大减低DB的负载。
另外宝贝详情页面相对也更新比较少，因此也适合放到缓存中来减低DB负载。
三、应用拆分首先，在说明应用拆分之前，我们先来回顾一下一个系统从小变大的过程中遇到的一些问题，通过这些问题我们会发现拆分对于构建一个大型系统是如何的重要。
系统刚上线初期，用户数并不多，所有的逻辑也许都是放在一个系统中的，所有逻辑跑到一个进程或者一个应用当中，这个时候因为比较用户少，系统访问量低，因此将全部的逻辑都放在一个应用未尝不可。
但是，兄弟们都清楚，好景不长，随着系统用户的不断增加，系统的访问压力越来越多，同时随着系统发展，为了满足用户的需求，原有的系统需要增加新的功能进来，系统变得越来越复杂的时候，我们会发现系统变得越来越难维护，难扩展，同时系统伸缩性和可用性也会受到影响。
那么这个时候我们如何解决这些问题呢?明智的办法就是拆分(这也算是一种解耦)，我们需要将原来的系统根据一定的标准，比如业务相关性等分为不同的子系统，不同的系统负责不同的功能，这样切分以后，我们可以对单独的子系统进行扩展和维护，从而提高系统的扩展性和可维护性，同时我们系统的水平伸缩性scale out大大的提升了，因为我们可以有针对性的对压力大的子系统进行水平扩展而不会影响到其它的子系统，而不会像拆分以前，每次系统压力变大的时候，我们都需要对整个大系统进行伸缩，而这样的成本是比较大的，另外经过切分，子系统与子系统之间的耦合减低了，当某个子系统暂时不可用的时候，整体系统还是可用的，从而整体系统的可用性也大大增强了。
因此一个大型的互联网应用，肯定是要经过拆分，因为只有拆分了，系统的扩展性，维护性,伸缩性，可用性才会变的更好。
但是拆分也给系统带来了问题，就是子系统之间如何通信的问题，而具体的通信方式有哪些呢?一般有同步通信和异步通信，这里我们首先来说下同步通信，下面的主题"消息系统"会说到异步通信。
既然需要通信，这个时候一个高性能的远程调用框架就显得非常总要啦，因此咱们公司也有了自己的HSF框架。
上面所说的都是拆分的好处，但是拆分以后必然的也会带来新的问题，除了刚才说的子系统通信问题外，最值得关注的问题就是系统之间的依赖关系，因为系统多了，系统的依赖关系就会变得复杂，此时就需要更好的去关注拆分标准，比如能否将一些有依赖的系统进行垂直化，使得这些系统的功能尽量的垂直，这也是目前公司正在做的系统垂直化，同时一定要注意系统之间的循环依赖，如果出现循环依赖一定要小心，因为这可能导致系统连锁启动失败。
既然明白了拆分的重要性，我们看看随着公司的发展，公司本身是如何拆分系统的。
在这个演变的过程中，我们所说的拆分就出现V2.2和V3.0之间。
在V2.2版本中，公司几乎所有的逻辑都放在一个系统中，这样导致的问题就是系统扩展和修改非常麻烦，并且更加致命的是随着公司业务量的增加，如果按照V2.2 的架构已经没有办法支撑以后公司的快速发展，因此大家决定对整个系统进行拆分，V3.0版本的系统对整个系统进行了水平和垂直两个方向的拆分，水平方向上，按照功能分为交易，评价，用户，商品等系统，同样垂直方向上，划分为业务系统，核心业务系统以及以及基础服务，这样以来，各个系统都可以独立维护和独立的进行水平伸缩，比如交易系统可以在不影响其它系统的情况下独立的进行水平伸缩以及功能扩展。
从上面可以看出，一个大型系统要想变得可维护，可扩展，可伸缩，我们必须的对它进行拆分，拆分必然也带来系统之间如何通信以及系统之间依赖管理等问题，关于通信方面，公司目前独立开发了自己的高性能服务框架HSF，此框架主要解决了公司目前所有子系统之间的同步和异步通信(目前HSF主要用于同步场合，FutureTask方式的调用场景还比较少)。
至于系统间的依赖管理，目前公司还做的不够好，这应该也是我们以后努力解决的问题。
四、数据库拆分在前面"应用拆分"主题中，我们提到了一个大型互联网应用需要进行良好的拆分，而那里我们仅仅说了"应用级别"的拆分，其实我们的互联网应用除了应用级别的拆分以外，还有另外一个很重要的层面就是存储如何拆分的。
因此这个主题主要涉及到如何对存储系统，通常就是所说的RDBMS进行拆分。
好了，确定了这个小节的主题之后，我们回顾一下，一个互联网应用从小变大的过程中遇到的一些问题，通过遇到的问题来引出我们拆分RDBMS的重要性。
系统刚开始的时候，因为系统刚上线，用户不多，那个时候，所有的数据都放在了同一个数据库中，这个时候因为用户少压力小，一个数据库完全可以应付的了，但是随着运营那些哥们辛苦的呐喊和拼命的推广以后，突然有一天发现，oh,god,用户数量突然变多了起来，随之而来的就是数据库这哥们受不了，它终于在某一天大家都和惬意的时候挂掉啦。
此时，咱们搞技术的哥们，就去看看究竟是啥原因，我们查了查以后，发现原来是数据库读取压力太大了，此时咱们都清楚是到了读写分离的时候，这个时候我们会配置一个server为master节点，然后配几个salve节点，这样以来通过读写分离，使得读取数据的压力分摊到了不同的salve节点上面，系统终于又恢复了正常，开始正常运行了。
但是好景还是不长，有一天我们发现master这哥们撑不住了，它负载老高了，汗流浃背，随时都有翘掉的风险，这个时候就需要咱们垂直分区啦(也就是所谓的分库)，比如将商品信息，用户信息，交易信息分别存储到不同的数据库中，同时还可以针对商品信息的库采用master，salve模式，OK，通过分库以后，各个按照功能拆分的数据库写压力被分担到了不同的server上面，这样数据库的压力终于有恢复到正常状态。
但是是不是这样，我们就可以高枕无忧了呢?NO,这个NO，不是我说的，是前辈们通过经验总结出来的，随着用户量的不断增加，你会发现系统中的某些表会变的异常庞大，比如好友关系表，店铺的参数配置表等，这个时候无论是写入还是读取这些表的数据，对数据库来说都是一个很耗费精力的事情，因此此时就需要我们进行"水平分区"了(这就是俗话说的分表，或者说sharding).上面说了一大堆，无非就是告诉大家一个事实"数据库是系统中最不容易scale out的一层"，一个大型的互联网应用必然会经过一个从单一DB server,到Master/salve,再到垂直分区(分库)，然后再到水平分区(分表，sharding)的过程，而在这个过程中，Master/salve以及垂直分区相对比较容易，对应用的影响也不是很大，但是分表会引起一些棘手的问题，比如不能跨越多个分区join查询数据，如何平衡各个shards的负载等等，这个时候就需要一个通用的DAL框架来屏蔽底层数据存储对应用逻辑的影响，使得底层数据的访问对应用透明化。
拿公司目前的情况来说，公司目前也正在从昂贵的高端存储(小型机+ORACLE)切换到MYSQL,切换到MYSQL以后，势必会遇到垂直分区(分库)以及水平分区(Sharding)的问题，因此目前公司根据自己的业务特点也开发了自己的TDDL框架，此框架主要解决了分库分表对应用的透明化以及异构数据库之间的数据复制。
淘宝技术架构简介
• 价值
– 用同步的语义来实现异步的调用
ngx_lua原理
• 每个Nginx工作进程使用一个Lua VM，工 作进程内所有协程共享VM • 每个外部请求都由一个Lua协程处理，协程 之间数据隔离 • Lua代码调用I/O操作接口时，若该操作无 法立刻完成，则打断相关协程的运行并保 护上下文数据 • I/O操作完成时还原相关协程上下文数据并 继续运行
系统过载保护
• 判断依据
– 系统的loadavg – 内存使用（swap的比率）
• sysgurad模块
sysguard on; sysguard_load load=4 action=/high_load.html; sysguard_mem swapratio=10% action=/mem_high.html
– 防hashdos攻击 – 防SQL注入 – 防XSS
• 标准Nginx无输入体过滤器机制的问题 • 例子（防hashdos攻击）
– 如果所有POST内容都在内存中，占用内存过大 – 否则性能不高，内容可能被buffer到磁盘 – /2012/01/amechanism-to-help-write-web-applicationfirewalls-for-nginx/
ngx_lua原理
代码示例
location /http_client { proxy_pass $arg_url; } location /web_iconv { content_by_lua ' local from, to, url = ngx.var.arg_f, ngx.var.arg_t, ngx.var.arg_u local iconv = require "iconv" local cd = iconv.new(to or "utf8", from or "gbk") local res = ngx.location.capture("/http_client?url=" .. url) if res.status == 200 then local ostr, err = cd:iconv(res.body) ngx.print(ostr) else ngx.say("error occured: rc=" .. res.status) end '; }
淘宝技术架构介绍了解淘宝了解淘宝的架构需求精品PPT课件
Apache
Function 2
Apache
Function 1
mod_php4
Apache
mod_php4
Apache
pear DB
mod_php4
pear DB
mod_php4
SQL Relay
pear DB
SQL Relay
pear DB
SQL Relay
SQL Relay
Oracle
V1 问题
Function 3
Weblogic
Function 2
Weblogic
Function 1
WebX
Weblogic
WebX
Weblogic
EJB
WebX
EJB
WebX
Ibatis
EJB
Ibatis
EJB
Ibatis
Ibatis
Read/Write
Oracle
dump
Search
Node 1
Node
TBStore
Read/Write
Oracle Oracle Oracle Oracle
dump
Search
Read/Write
Node Node
1
2 ……
Node n
V2.1逻辑结构
表示层
Service
业务请求转发
Framework
S
UC
UC 业务流程处理 UC
UC
P
R
AO
AO
AO
AO
I
业务逻辑层
car
pipeline 页面布局
Screen Layout Control
网上购物商城系统的毕业论文
网上购物商城系统的毕业论文目录一、内容描述 (2)1.1 研究背景与意义 (3)1.2 研究目的与内容 (4)1.3 论文结构安排 (5)二、相关理论与技术 (6)2.1 电子商务概述 (9)2.2 网上购物商城系统架构 (10)2.3 关键技术介绍 (12)三、网上购物商城系统需求分析 (14)3.1 用户需求调研 (15)3.2 功能需求分析 (17)3.3 性能需求分析 (19)四、网上购物商城系统设计 (20)4.1 系统总体设计 (22)4.2 数据库设计 (24)4.3 前端界面设计 (26)4.4 后台管理系统设计 (27)五、网上购物商城系统实现 (29)5.1 开发环境搭建 (30)5.2 核心功能模块实现 (32)5.3 系统测试与优化 (33)六、网上购物商城系统部署与维护 (35)6.1 系统部署方案 (37)6.2 系统日常维护与管理 (38)6.3 安全性与性能优化策略 (40)七、案例分析 (42)7.1 案例选择与介绍 (43)7.2 系统功能在案例中的应用 (44)7.3 案例总结与启示 (46)八、结论与展望 (47)8.1 研究成果总结 (48)8.2 存在问题与不足 (50)8.3 未来研究方向展望 (51)一、内容描述本章主要介绍研究背景、意义、研究目标和研究内容，明确毕业论文的研究目的、研究和解决问题的意义，同时提出论文撰写的基本框架和研究方法。
将对网上购物商城系统的特点、发展历程、现状及发展趋势进行详细的阐述，并分析行业内不同模式的运作机制，以及电子商务的发展对网上购物商城系统的影响。
本章节将详细介绍网上购物商城系统的设计理念、总体架构设计、模块划分、数据流图以及主要技术选型等内容。
将对系统的实现步骤、关键技术实现、数据库设计等关键环节进行探讨。
此章节将重点讨论网上购物商城的用户体验设计原则和交互设计方法，包括用户界面设计、信息架构、搜索引擎优化(SEO)等，以及如何提升用户在购物流程中的操作体验。
淘宝网的用户体验
淘宝网的用户设计的案例分析以用户为中心的设计即设计应以用户的需求和利益为基础，以产品的易用性和可理解性为侧重点，例如淘宝网的用户体验，它的可用性测试与评估都得到了大众的认可。
从用户的角度分析，将一个用户接触网站到用户购买到商品、拿到商品，完成一次购买周期流程。
1.淘宝网的信任体验万的固定访客，同时每天的在线商品数已经超过了8亿件，平均每分钟售出4.8万件商品。
商品：截止到2010年底，淘宝网官方公布在线宝贝数量已达到5亿件，从汽车、电脑到服饰、家居用品，分类齐全，更是设置网络游戏装备交易区。
物流：淘宝网实行的推荐物流，与物流企业合作，为广大的卖家和买家提供可选择的物流服务，物流企业直接在网站后台接受和处理客户的物流需求订单，为卖家和买家提供更好的服务。
支付：网购最重要的因素之一就是支付的安全性，淘宝网有专门的支付工具——支付宝，支付宝通过实名认证制、支付盾、信用评价体系、支付宝的付款发货方式等在一定程度上保证了用户的支付安全，形成了品牌优势。
2.淘宝网店宝贝销量因素之信任度“高可用性”(High Availability) 通常用来描述一个系统，经过特殊设计，减少停止服务的时间，从而使其服务保持高度的可使用性。
品牌增值模块(增加信任度和商品附加值)电视媒体的报道，可以体现品牌的实力代言人的背书，可以让品牌有更多亲和力和可信度。
网络购买评价，更让顾客解决后顾之忧，看到更客观的评价。
试用评测，可以让商品的试用过程更直观的展示给顾客。
试用前后对比，可以让顾客了解功效，通过数字和柱形图，让效果更有说服力。
商品的细节图，要注意配合说明文字，并在说明文字的设计上，参考品牌本身的定位设计，会更有品牌感，并注意适当留白，不给顾客太压抑的感觉。
另外，培养信任感的重要武器就是客服，买家在购买宝贝之前，会询问很多的细节问题，如果客服能够很快速的相应，语言准确，那么相信买家会毫不犹豫的下单的。
我以淘宝店铺线的系统为例，在用户浏览店铺的时候，比如店铺介绍，店铺交流区页面，店铺服务条款页面，店铺试衣间页面，以及店铺内搜索界面这些界面更新不是非常频繁，因此适合放到缓存中，这样可以大大减低DB的负载。
淘宝功能架构图ppt课件
SPU搜索
…搜索
1
介绍上图中提到的各个系统缩写意思
1.UIC: 用户中心(User Interface Center),提供所有用户信息相关的读写服务，如基本信息，扩展信息，社区信息，买卖家信用等级等等。 淘宝现在有两类卖家B 和C，这是通过在用户身上打不同的标签实现的，我们这次的无名良品卖家也是通过在用户身上打特殊的标签来区别于淘宝 已有的B 和C 类卖家。淘宝的TOP 平台已经开放了大部分的UIC 接口。 2.IC：商品中心(Item Center),提供所有商品信息的读写服务，比如新发商品，修改商品，删除商品，前后台读取商品相关信息等等，IC 是 淘宝比较核心的服务模块，有专门的产品线负责这块内容，IC 相关接口在TOP 中占的比重也比较大。 3.SC：店铺中心(Shop Center),类似中文站的旺铺，不过淘宝的SC 不提供页面级应用，提供的都是些远程的服务化的接口,提供店铺相关信 息的读写操作。 如：开通店铺，店铺首页，及detail 页面店铺相关信息获取，如店内类目，主营，店铺名称，店铺级别：如普通，旺铺，拓展版， 旗舰版等等。装修相关的业务是SC 中占比重较大的一块，现在慢慢的独立为一个新的服务化中心DC(design center),很多的前台应用已经通过直 接使用DC 提供的服务化接口直接去装修相关的信息。 4.TC：交易中心(Trade Center),提供从创建交易到确认收货的正 向交易流程服务，也提供从申请退款到退款完成的反向交易流程服务. 5.PC：促销中心(Promotion Center),提供促销产品的订购，续费，查询，使用相关的服务化接口，如：订购和使用旺铺，满就送，限时秒 杀，相册，店铺统计工具等等。 6.Forest：淘宝类目体系：提供淘宝前后台类目的读写操作，以及前后台类目的关联操作。 7.Tair：淘宝的分布式缓存方案，和中文站的Memcached 很像。其实也是对memcached 的二次封装加入了淘宝的一些个性化需求。 8.TFS：淘宝分布式文件存储方案(TB File System)，专门用户处理静态资源存储的方案，淘宝所有的静态资源，如图片，HTML 页面，文本 文件，页面大段的文本内容如：产品描述，都是通过TFS 存储的。 9.TDBM：淘宝DB 管理中心(TB DB Manager), 淘宝数据库管理中心，提供统一的数据读写操作。 10.RC：评价中心(Rate center),提供评价相关信息的读写服务，如评价详情，DSR 评分等信息的写度服务。 11.HSF：淘宝的远程服务调用框架和平台的Dubbo 功能类似，不过部署方式上有较大差异，所有的服务接口都通过对应的注册中心（config center）获取。
大数据技术研究综述
⼤数据技术研究综述⼤数据技术研究综述摘要：⼤数据是继云计算、物联⽹之后IT 产业⼜⼀次颠覆性的技术⾰命。
⽂中介绍了⼤数据的概念、典型的4“V”特征以及⼤数据的关键技术，归纳总结了⼤数据处理的⼀般流程，针对其中的关键技术，如MapReduce、GFS、Hadoop以及NoSQL等，介绍了基本的情况。
最后，本⽂对⼤数据时代做了总结与展望。
关键词：⼤数据；数据处理技术；云计算当⼈们还在津津乐道云计算、物联⽹等主题时，⼀个崭新的概念——⼤数据横空出世。
⼤数据是继云计算、物联⽹之后IT产业⼜⼀次颠覆性的技术⾰命，对国家治理模式、企业决策、组织和业务流程，以及个⼈⽣活⽅式等都将产⽣巨⼤的影响。
⼤数据的挖掘和应⽤可创造出超万亿美元的价值，将是未来IT 领域最⼤的市场机遇之⼀，其作⽤堪称⼜⼀次⼯业⾰命[1]。
我们⾝处数据的海洋，⼏乎所有事物都与数据有关，环境、⾦融、医疗……我们每天都在产⽣数据，打电话、发短信、进地铁站安检、进办公楼刷卡、在QQ 上聊天、上淘宝⽹购物……⼤量数据实时地影响我们的⼯作、⽣活乃⾄社会发展。
数据成为与⾃然资源、⼈⼒资源同样重要的战略资源，引起了科技界和企业界的⾼度重视。
1⼤数据的概念⼤数据本⾝就是⼀个很抽象的概念，提及⼤数据很多⼈也只能从数据量上去感知⼤数据的规模，如：百度每天⼤约要处理⼏⼗PB 的数据；Facebook 每天⽣成300 TB以上的⽇志数据；据著名咨询公司IDC 的统计，2011年全球被创建和复制的数据总量为1.8 ZB(1021) ，但仅仅是数据量并不能区分⼤数据与传统的海量数据的区别。
在2008年《Science》杂志出版的专刊中，⼤数据被定义为“代表着⼈类认知过程的进步，数据集的规模是⽆法在可容忍的时间内⽤⽬前的技术、⽅法和理论去获取、管理、处理的数据”[2]。
⼤数据不是⼀种新技术，也不是⼀种新产品，⽽是⼀种新现象，是近来研究的⼀个技术热点。
⼤数据具有以下4个特点，即4个“V”：(1) 数据体量(V olumes) 巨⼤。
淘宝top平台架构 介绍
TOP架构设计实例分享
•服务分流与隔离
•原因：服务简单负载均衡造成服务互相影响。（根本原因 是服务的质量直接影响TOP处理能力和资源分配） •处理模式进化：
二级域名
软负载
软负载&虚 拟服务组
13
TOP架构设计实例分享
•服务分流与隔离
二级域名
• 隔离效果明显 • 配制僵化 • 性能基本无损失
软负载
– 作用
• 数据操作可控，保护终端用户隐私（结合cookie和标签，控制ISV业务数据操 作尺度，提高数据安全性） • 提供标准业务流程标签，简化开发者对于业务流程理解过程。 • 标签化接口方式，完成数据获取和页面渲染，后台业务升级对ISV透明化。 • 标签获取客户端信息，将监控扩展到整个业务请求过程。 • 制定行业化标签库，形成统一开发标准
APP
TOP
Service Provider
APP
业务数据交换通道
Service Provider
8
TOP架构Leabharlann 计实例分享• 异步交互服务 & 通知服务
• 保持会话，支持异步响应。（短信服务） • 异步延时服务。（大数据量信息返回）
• 订阅关系维护，支持通知服务。（系统间数据同步）
TOP架构设计实例分享
•
•
TOP商业驱动模式介绍
End User
插件分成
AppStore订购
开发者按业务分类
淘宝插件
店铺插件 淘宝SNS插件
免费TOP外部插件
社区插件 外部SNS插件
收费应用
客户端 独立WEB应用 新平台应用
自用型应用
独立网店 社区站点 导购网站
插件分成
动态广告
缓存服务器梳理（一）
缓存服务器梳理（⼀）⼀、概述主要功能：应⽤解耦，异步消息，流量削锋等问题架构设计：实现⾼性能，⾼可⽤，可伸缩和最终⼀致性架构常⽤消息队列：ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ使⽤场景：1）RabbitMQ：对数据⼀致性、稳定性和可靠性要求很⾼的场景，对性能和吞吐量的要求还在其次（集群不能动态扩展）2）RocketMQ：具有⾼吞吐量、⾼可⽤性、适合⼤规模分布式系统应⽤的特点（⽀持的语⾔较少，语⾔⽀持的情况下优先选择）3）Kafka：基于Pull的模式来处理消息消费，追求⾼吞吐量，适合产⽣⼤量数据的互联⽹服务的数据收集业务（多数⽤于处理⽇志）⼆、核⼼功能理解解耦：⼀个事务，只关⼼核⼼的流程。
⽽需要依赖其他系统但不那么重要的事情，有通知即可，⽆需等待结果异步消息：⼀致性：保证消息的可靠性1）强⼀致性：2）最终⼀致性：主要是⽤“记录”和“补偿”的⽅式。
在做所有的不确定的事情之前，先把事情记录下来，然后去做不确定的事情，结果可能是：成功、失败或是不确定，“不确定”（例如超时等）可以等价为失败。
成功就可以把记录的东西清理掉了，对于失败和不确定，可以依靠定时任务等⽅式把所有失败的事情重新执⾏⼀遍，直到成功为⽌三、使⽤总结1.消息队列不是万能的，对于需要强事务保证⽽且延迟敏感的，RPC是优于消息队列的。
2.对于⼀些⽆关痛痒，或者对于别⼈⾮常重要但是对于⾃⼰不是那么关⼼的事情，可以利⽤消息队列去做。
3.⽀持最终⼀致性的消息队列，能够⽤来处理延迟不那么敏感的“分布式事务”场景，⽽且相对于笨重的分布式事务，可能是更优的处理⽅式。
4.当上下游系统处理能⼒存在差距的时候，利⽤消息队列做⼀个通⽤的“漏⽃”，在下游有能⼒处理的时候，再进⾏分发。
⼀、概述原理：1）将数据写⼊/读取速度更快的存储（设备）2）将数据缓存到离应⽤最近的位置3）将数据缓存到离⽤户最近的位置缓存分类1）CDN缓存2）反向代理缓存3）分布式Cache4）本地应⽤缓存缓存媒介1）常⽤中间件：Varnish，Ngnix，Squid，Memcache，Redis，Ehcache等2）缓存的内容：⽂件，数据，对象3）缓存的介质：CPU，内存（本地，分布式），磁盘（本地，分布式）缓存设计1）缓存的内容：1.热点数据；2.静态资源2）缓存的位置：CDN，反向代理，分布式缓存服务器，本机（内存，硬盘）缓存策略1）过期策略：（1）固定时间：⽐如指定缓存的时间是30分钟；（2）相对时间：⽐如最近10分钟内没有访问的数据；2）同步机制：（1）实时写⼊；（2）异步刷新缓存的⽬的：将热点数据放到离⽤户最近或访问速度更快的介质中，加快数据的访问，减⼩响应时间⼆、CDN缓存原理：CDN的基本原理是⼴泛采⽤各种缓存服务器，将缓存服务器分布到⽤户访问相对集中的地区或⽹络中，在⽤户访问⽹站时，利⽤全局负载技术将⽤户的访问指向距离最近的⼯作正常的缓存服务器上，由缓存服务器直接响应⽤户请求CDN主要解决将数据缓存到离⽤户最近的位置，⼀般缓存静态资源⽂件（页⾯，脚本，图⽚，视频，⽂件等）。
淘宝技术框架分析报告
淘宝技术框架分析报告淘宝作为国首屈一指的大型电子商务，每天承载近30亿PV的点击量，拥有近50PB的海量数据，那么淘宝是如确保其的高可用的呢？本文将对淘宝在构建大型过程中所使用到的技术框架做一个总结，并结合银行现有技术框架进展比照分析。
另外，本文还会针对金融互联网以及公司未来技术开展向给出个人看法。
淘宝技术分析CDN技术及多数据中心策略国的网络由于运营商不同〔分为电信、联通、移动〕，造成不同运营商网络之间的互访存在性能问题。
为了解决这个问题，淘宝在全国各地建立了上百个CDN节点，当用户访问淘宝时，浏览器首先会访问DNS效劳器，通过DNS解析域名，根据用户的IP将访问分配到不同的入口。
如果客户的IP属于电信运营商，那么就会被分配到同样是电信的CDN节点，并且保证访问的〔这里主要指JS、CSS、图片等静态资源〕CDN节点是离用户最近的。
这样就将巨大的访问量分散到全国各地。
另外，面对如此巨大的业务请求，任一个单独的数据中心都是无法承受的，所以淘宝在全国各主要城市都建立了数据中心，这些数据中心不但保证了容灾，而且各个数据中心都在提供效劳。
不管是CDN技术还是多个数据中心，都涉及到复杂的数据同步，淘宝很好的解决了这个问题。
银行现在正在筹建两地三中心，但主要目的是为了容灾，数据中心的利用率差，而淘宝的多个数据中心利用率为100%。
LVS技术淘宝的负载均衡系统采用了LVS技术，该技术目前由淘宝的章文嵩博士负责。
该技术可以提供良好的可伸缩性、可靠性以及可管理型。
只是这种负载均衡系统的构建是在Linux操作系统上，其他操作系统不行，并且需要重新编译Linux操作系统核，对系统核的了解要求很高，是一种软负载均衡技术。
而银行那么通过F5来实现负载均衡，这是一种硬负载均衡技术。
Session框架Session对于Web应用是至关重要的，主要是用来保存用户的状态信息。
但是在集群环境下需要解决Session共享的问题。
目前解决这个问题通常有三种式，第一个是通过负载均衡设备实现会话保持，第二个是采用Session复制，第三个那么是采用集中式缓存。
淘宝高并发解决方案
概述淘宝是中国最大的电商网站之一，每天有数以亿计的用户访问淘宝平台。
在高并发的访问环境下，如何保证淘宝的稳定性和可用性是一个重要的挑战。
本文将介绍淘宝高并发解决方案，包括架构设计、缓存优化、数据库优化以及负载均衡。
架构设计淘宝采用了分布式架构来应对高并发的访问压力。
整个系统被划分为多个服务模块，每个模块独立运行，并通过消息队列进行通信。
这种架构设计可以有效地提高系统的可伸缩性和可扩展性。
缓存优化为了减轻数据库的压力，淘宝采用了大量的缓存来加速数据访问。
其中，最核心的缓存技术是利用Redis来缓存热点数据。
通过将频繁访问的数据放入Redis缓存中，可以大大提高系统的响应速度和吞吐量。
淘宝还利用CDN（内容分发网络）来缓存静态资源，例如商品图片、CSS文件和JavaScript文件。
CDN可以将这些静态资源缓存在全球各地的节点上，用户可以就近访问这些缓存节点，从而提高访问速度。
数据库优化淘宝使用了分布式数据库来处理海量的数据。
数据库采用主从复制的方式，将读写操作分散到多个数据库节点上，从而提高数据库的并发处理能力。
为了减少数据库查询的负载，淘宝采用了数据库分库分表的技术。
将数据按照一定的规则分散到多个数据库和表中，从而均衡数据库的负载，并且降低了单个数据库的数据量和并发访问量。
此外，淘宝还采用了数据库的读写分离技术。
将读操作和写操作分别路由到不同的数据库节点上，从而提高数据库的读写性能。
负载均衡淘宝使用了负载均衡技术来分发用户的请求，以实现高并发的访问。
主要的负载均衡技术包括DNS负载均衡和反向代理负载均衡。
DNS负载均衡将用户的请求解析到多个服务器的IP地址上，从而使得用户的请求被均衡地分发到不同的服务器上。
反向代理负载均衡则是通过将用户的请求发送到多个反向代理服务器上，由反向代理服务器再将请求分发给后端的多个应用服务器。
这样可以均衡地分担用户的请求压力，提高系统的并发处理能力。
总结淘宝面临着海量用户的高并发访问压力，为了保证系统的稳定性和可用性，需要在架构设计、缓存优化、数据库优化和负载均衡等方面进行优化。