分布式缓存系统客户端关键技术研究

1概述随着互联网和云计算[1]的高速发展,数据量呈爆炸式增长,许多新型应用对海量数据的处理提出了更高更复杂的需求。

在移动互联网领域火爆的社交网站、购物网站、微博、12306[2]等应用都呈现了用户规模大、数据并发量大、用户对时延敏感的特点;物联网应用也是在向各个领域渗透,医疗卫生,交通轨道,智能家居等,成千上万的智能终端产生的数据量和并发量是惊人的。

传统的关系型数据库和存储系统已无法满足这些应用的规模和对数据处理的要求。

分布式缓存[3]和NoSQL[4]的产生为解决这个难题提供了高并发低时延、海量数据存储和处理的技术解决方案。

NoSQL(Non relational,或者Not Only SQL)是云计算的关键技术之一,它简化了数据库设计,弱化了传统RDBMS不常用的功能,如数据存储上通常是schema-free而不需要固定的表结构,架构上采用Mas⁃ter/Slave或share-nothing使之增强可扩展性,事务上采用最终一致性而非强一致性[5]等,这些简化弱化或丢弃了RDBMS的一些强大但非必须的功能,但在海量存储、扩展性和可用性等方面却具备关系型数据库无法比拟的优势。

它们作为替代传统关系型数据库的核心技术,具有广泛的应用场景。

分布式缓存基于键-值型(Key-Value)[6]数据模型,是应用最广泛的一种NoSQL,它最大的优势在于对高并发的支持和它的可扩展性(scalability),非常适合处理具有3V特性(Volume,Velocity,Variety)的数据。

顾名思义,分布式缓存的特点主要体现在“分布式”和“缓存”上面,其中分布式主要是指数据是分布式存储的,规模和容量可以做到很大,同时容量和性能是线性扩展的,应用不需要关心数据存储在那个节点上,对应用来说就是一个非常大的统一的存储池,在存储容量或性能不够时,只需要对分布式缓存系统本身进行节点的增加,对应用是透明的,不需要应用做任何修改;其次缓存特点是指分布式缓存的性能非常好,主要体现在并发可以做到很高,通常单节点的都可以达到几十万的并发,时延可以做到很低,通常是毫秒级别的延迟。

根据很多行业分析师的观点,如果没有分布式缓存这一关键技术的支撑,云计算的潜能,特别是数据密集型的应用,将会有很大局限性[7]。

分布式缓存的代表有开源的Redis[8]、memcached[9]、亚马逊的Dynamo、淘宝的tair等,其中应用热度较高的是Redis,它支持丰富的数据类型,性能优越,适用于数据变化快且数据规模适合内存容量的场景。

尽管在实际应用中已经部署了大量的NoSQL系统,但它们都是针对不同的应用场景和需求而提出的相应解决方案,各有明显的局限。

有关分布式缓存系统的研究大部分都集中在服务端,主要是数据模型及索引算法、数据管理、数据安全、可用性与可靠性、弹性资源供给、敏捷性与自适应等方面[10]。

针对客户端的研究比较少。

结合当前分布式缓存系统在实际应用中遇到的问题和困境,总结了客户端在设计上的经验教训和不足,结合最新技术发展进行作者简介：屠雪真(1998-),女,本科,CCF会员(98790G),研究方向:云计算和大数据。

收稿日期：2019-01-11分布式缓存系统客户端关键技术研究屠雪真（河南大学计算机与信息工程学院，河南开封475001）摘要:分布式缓存作为支撑海量数据处理的关键技术方案，近年来受到了广泛关注和应用。

从分布式缓存的工程实践出发，研究分布式缓存系统的客户端关键技术，提出了一种针对分布式缓存系统客户端的优化设计，通过异步多线程、双缓冲队列、连接池组和精准重试等设计，较好地解决了抗突发业务量冲击、重试雪崩效应等痛点，提高了客户端的适应能力和性能。

实验证明，相比原客户端，采用优化技术的客户端能更好地适应突发业务量的冲击。

关键词:分布式缓存；客户端；NoSQL技术；云计算；多线程了优化和改进,解决了业务瞬间冲击、CPU利用率过高、重试雪崩等影响客户端稳定的问题。

2相关研究分布式缓存通常使用通用X86服务器组成集群,通过多副本的方式保证数据的可靠性。

分布式缓存系统架构一般都是参考Dynamo论文[11],它由1个管理节点、若干个数据服务节点组成的集群、若干个客户端组成。

并通过分布式Hash和路由算法将应用程序提交的存取操作映射到一个确定的数据节点上。

管理节点负责整个集群系统的运维管理与监控。

通常提供基于命令行的客户端工具和基于Web页面的图形化界面两种操作方式,实现对集群状态的监控和管理。

数据服务节点是最核心的模块,在逻辑上由集群与数据分布层和数据存储层两个层面组成。

集群与数据分布层实现管理集群内部节点间通信、自动故障切换、副本复制与数据同步、智能数据再平衡与数据迁移等功能,它实现了线性扩展能力和许多ACID事务特性。

数据存储层实现数据在内存或磁盘中的可靠存储和快速检索。

客户端提供访问分布式缓存系统的API接口,是应用程序访问分布式缓存集群进行数据存取的主要方式,通常是以支持C、C#、Java等编程语言的动态链接库或驱动程序包的形式存在。

客户端能获取到服务节点列表并感知集群的变化,记录数据服务集群的连接关系和数据分布策略,实现数据读写请求的路由;它管理应用的访问请求并提供同步和异步机制,知道数据在集群中的具体存储位置,并将请求直接发送到正确节点上。

分布式缓存系统中客户端的设计优劣也会直接影响到系统的整体性能[12]。

因此,分布式缓存系统对客户端也有严苛的性能和稳定性要求[13]。

在数据管理方面,客户端聚合数据返回结果,客户端需要能够支持包括预留缓存、通读、通写和延迟写在内的各种数据访问模式,还要支持多种数据一致性水平。

在数据分区方面,客户端基于哈希算法将用户请求直接定位至目标服务器节点,客户端驱动的数据路由方法具有响应延迟低、网络开销小等优点,是目前主流的数据路由方式。

在实现上客户端需要有更好的算法实现数据均衡分布及应对非均匀访问。

负载均衡对消除系统性能短板和保障服务质量等具有重要作用,负载均衡的实现以客户端均衡为主,有利于扩展机制的实现。

在数据一致性方面,在同步复制中,客户端需要等待复制操作全部完成才能得到响应,性能开销大,但可以保障即时一致性;异步复制不必等待复制操作挖出即可返回结果,性能和扩展性较优,可以保障数据的最终一致性,但却牺牲了即时一致性,这意味着应用可能会在某一时刻读取到不一致数据。

客户端需要有一种较优的数据副本控制协议来灵活兼顾一致性和性能等多方面的需求。

在数据安全方面,客户端需要和缓存服务端实现身份认证、授权和加密等操作。

高并发是研究分布式缓存最关注的一点。

优化的客户端设计能够最大程度地利用服务端的性能,与传统的客户端不同的是高并发客户端采用了事件驱动的模型,显著提升了数据的访问性能[14]。

对于业务来说,除了通过高并发最大限度地提高性能以外,还需要客户端能够灵活应对突发的大业务量冲击[15]。

为此,分布式缓存系统客户端一般采用多线程、线程间异步通信、连接池等方案来优化业务处理和网络传输环节。

即便如此,现有的分布式系统客户端依然面临3个主要痛点。

(1)抗冲击能力差,无法有效应对突发的系统负荷[16]。

同一型号的成千上万智能终端为省电缺省设置在同一秒开机或关机,会导致业务量瞬间急剧飙升,会导致短时间内大量业务超时。

(2)CPU利用率过高。

多线程可以利用CPU多核,但是多个线程对连接等临界区数据的锁争用,在每秒几十万的并发场景下,不仅降低了客户端性能,而且高频的线程唤醒以及用户态和内核态的切换,还会导致CPU利用率过高。

(3)重试雪崩效应。

上层业务负责重试,但是客户端并不精确掌握后台服务端的具体状况,如果服务端负荷很重,简单重试会导致服务器越来越繁忙,重试越来越多,产生重试雪崩,最终整个系统崩溃。

3客户端优化设计及关键技术针对上述痛点,提出了一种优化的客户端架构设计。

为抗击业务瞬间冲击,增加消息缓存队列以平滑突发业务量的处理;为减少多个线程对消息缓存队列的锁争用,采用双缓存队列技术,同时引入客户端连接组,消除了多个线程对连接的锁争用;最后针对错误码进行分类和精准重试,仅对部分可重试成功的错误码进行重试,确保不影响性能的前提下达到最大的准确率。

这些优化系统地解决了业务高并发场景下业务瞬间冲击、CPU 利用率过高和重试雪崩效应等典型问题。

如图1所示,优化客户端在架构上由如下模块组成。

API 接口:对外提供同步接口和异步接口的调用。

同步接口采用阻塞方式获取数据,一般性能较差。

异步接口不阻塞应用,是在Socket 收到响应数据后,再执行回调操作异步获取数据。

如果应用是同步的,使用异步接口并不能提升性能,所有的业务线程还是会阻塞。

只有应用是纯异步的,异步接口才能发挥它的性能。

业务线程的主要工作是封装请求task,对象的序列化,封装发送的协议,并将task 路由到对应连接的队列上;在响应返回时,对收到的数据进行反序列化为对象。

路由是通过请求的key,选择对应的连接节点。

路由机制的设计要考虑平衡性和单调性。

平衡性是指key 尽可能均匀地分布到所有的节点上。

单调性是指当集群有变化时,哈希的结果应能够保证已分配的内容可以被映射到原有的或者新的缓存服务中。

选择器线程的主要工作是读取连接的队列,将队列上的task 的数据发送到服务端,读取服务端返回的数据并通知业务线程,对失败的节点进行自动重连。

网络框架采用基于HTTP/2的gRPC,应用只需关系自己的逻辑,不用关心如何处理网络,代码简单清晰,并可避免业务线程阻塞等等,提升系统吞吐能力。

网络层协议使用Protocol Buffers 来高效地处理消息的编解码操作,对数据进行序列化和反序列等。

消息队列采用双缓冲队列设计,分成全局队列和本地队列。

业务线程通过消息队列与选择器线程交互。

业务线程向全局队列发送消息,选择器线程先从全局队列批量获取消息到本地队列,然后无锁操作本地队列进行处理。

连接池组是在客户端建立的和每个服务节点对应的连接池,这样可以避免获取和释放连接时的锁争用。

本文为每个选择器线程针对每个服务端节点都对应一个连接池,即每个选择器线程对应一个连接池组。

选择器线程在业务量突增时补偿性建立部分连接,同时在业务闲时可以主动释放部分连接。

序列化主要是将对象转换为二进制,反序列化是将二进制转换为对象。

可以根据不同的数据类型,使用不同的序列化方式。

3.1线程设计为了充分利用多核处理器的并发处理能力,DCACHE客户端采用异步多线程的设计。

线程分成两类:业务线程和选择器线程,线程数量均可以配置。

业务线程负责组包、接受响应、业务逻辑处理。

选择器线程负责网络收发包,收到响应包后调Client 注册的回调函数进行处理以及在业务闲时主动释放部分链路,同时在业务量陡升时补偿性建立部分连接。