天翼云分布式缓存服务Memcache介绍
Memcache分布式内存缓存系统
Memcache是什么？memcached是高性能的，分布式的内存对象缓存系统，用于在动态应用中减少数据库教程负载，提升访问速度。
Memcache是的一个项目，目前全世界不少人使用这个缓存项目来构建自己大负载的网站，来分担数据库的压力。
它可以应对任意多个连接，使用非阻塞的网络IO。
由于它的工作机制是在内存中开辟一块空间，然后建立一个HashTable，Memcached自管理这些HashTable。
Memcache官方网站：/memcached，更多详细的信息可以来这里了解关于Memcache和memcached其实应该说这不是个问题，但网上有很多地方用着这两个不同的单词。
Memcache是这个项目的名称，Memcached是这个项目的主程序的文件名，就这么简单。
工作原理：首先 memcached 是以守护程序方式运行于一个或多个服务器中，随时接受客户端的连接操作，客户端可以由各种语言编写，目前已知的客户端 API 包括 Perl/PHP/Python/Ruby/Java/C#/C 等等。
客户端在与 memcached 服务建立连接之后，接下来的事情就是存取对象了，每个被存取的对象都有一个唯一的标识符 key，存取操作均通过这个 key 进行，保存到 memcached 中的对象实际上是放置内存中的，并不是保存在 cache 文件中的，这也是为什么 memcached 能够如此高效快速的原因。
注意，这些对象并不是持久的，服务停止之后，里边的数据就会丢失。
与许多 cache 工具类似，Memcached 的原理并不复杂。
它采用了C/S的模式，在 server 端启动服务进程，在启动时可以指定监听的 ip，自己的端口号，所使用的内存大小等几个关键参数。
一旦启动，服务就一直处于可用状态。
Memcached 的目前版本是通过C实现，采用了单进程，单线程，异步I/O，基于事件 (event_based) 的服务方式.使用 libevent 作为事件通知实现。
memcached原理
memcached原理Memcached是一种分布式内存对象缓存系统，常常被用于动态Web 应用中减轻数据库负载。
它将数据存储在内存中，并通过哈希算法对其进行管理，应用程序可以直接从内存中读取缓存数据，达到加速访问的目的。
Memcached的运行原理：它使用一个客户端-服务端的架构模型，其中客户端与服务器之间通过TCP/IP协议进行通信。
使用者需要将需要存储的key-value对发送到Memcached服务器，然后服务器将这些数据存储在内存中，当调用者需要获取相应的数据时，直接从内存中读取。
如果数据不存在，Memcached将返回一个空响应。
Memcached的特点：1.高速缓存：Memcached是内存中的缓存系统，访问速度非常快；2.内存管理：Memcached使用LRU算法释放内存中不在使用的数据；3.可扩展：Memcached可以非常容易的扩展。
为什么要使用Memcached?1.加速访问：Memcached非常适合访问频繁但数据变化不步的情况，通过加速访问可以提高网站的响应速度。
2.降低数据库压力：将一部分数据放入Memcached缓存中，当这些数据正在使用时，可以减轻数据库的负载，提高数据库的性能。
3.可扩展性：通过横向扩展，可以使Memcached轻松适应大量数据的存储要求，同时保持高速缓存的性能。
如何使用Memcached？1.安装配置：将Memcached服务器安装在适当的机器上，并根据需要进行相应的配置。
2.使用客户端：可以使用各种语言的客户端库来使用Memcached，包括PHP，Python，Java等。
3.使用API调用：通过API直接从客户端调用Memcached提供的方法来获取需要的数据。
总之，Memcached是一个非常实用的高速缓存系统，可以用于加速Web应用程序的访问，并降低数据库的负载。
它的运行原理简单易懂，安装和配置也非常容易，是一个非常值得使用的缓存系统。
memcached 手册
memcached 手册Memcached是一个高性能的开源内存对象缓存系统，被广泛地应用于提升网站和应用程序性能。
该手册将介绍Memcached的基本概念、安装配置、常用命令以及最佳实践等关键内容，旨在帮助读者快速了解和使用Memcached。
一、Memcached概述Memcached可以看作是一个分布式的缓存系统，它将数据缓存在内存中，并提供了简单的键值对存取接口。
相比于传统的关系型数据库，Memcached具有更快的读写速度和更高的并发能力，因为它直接操作内存而避免了磁盘I/O。
此外，Memcached采用了多台服务器的分布式架构，能够提供横向扩展的能力。
二、安装与配置1.下载和安装：Memcached可以从官方网站或其他镜像站点下载安装包，并根据相应平台的指引进行安装。
安装完成后，可以通过运行"memcached"命令来启动Memcached服务。
2.配置文件：Memcached的默认配置文件是"memcached.conf"，可以通过修改该文件中的参数来调整Memcached的行为。
主要的配置项包括监听端口、最大连接数、内存容量等。
三、常用命令1.存储数据：用"set"命令可以将键值对存入Memcached中，例如："set key 0 3600 5"表示存储一个key为"key"，值为"0"，并设置过期时间为3600秒。
如果要存储的值超出了内存容量限制，旧的数据将会被替换。
2.获取数据：用"get"命令可以从Memcached中获取指定键对应的值，例如："get key"可以获取到之前存储的值。
如果该键不存在，返回结果将是"END"。
3.删除数据：用"delete"命令可以从Memcached中删除指定键对应的值，例如："delete key"可以删除之前存储的值。
memcached参数
memcached参数Memcached是一种高性能的分布式内存对象缓存系统，常用于提高Web应用程序的性能和扩展性。
Memcached的设计目标是提供一个简单、快速、可扩展的缓存解决方案，而其参数配置则对其性能和稳定性至关重要。
以下是一些常见的Memcached参数及其作用：2. -U，--udp：启用UDP监听功能。
默认情况下，Memcached使用TCP进行通信，但也可以选择启用UDP。
使用UDP可以提高性能，但同时也可能会导致数据丢失。
3. -l，--listen：指定绑定的IP地址。
默认情况下，Memcached会绑定到所有可用的IP地址上，但可以通过此参数来指定要绑定的特定IP地址。
4. -u，--user：指定运行Memcached进程的用户。
可以使用此参数来提高服务器的安全性，限制只有指定用户才能运行Memcached。
5. -m，--memory：指定Memcached使用的内存大小（以MB为单位）。
这个参数非常重要，它决定了可以缓存的对象数量和大小。
应根据预期的负载和可用内存来调整此参数。
6. -c，--connections：指定Memcached服务器能够处理的最大并发连接数。
默认情况下，这个值是1024，但在高并发情况下，可能需要增加这个值来处理更多的连接。
7. -t，--threads：指定Memcached使用的线程数量。
默认情况下，Memcached会根据可用的处理器核心数量来自动配置线程数，但也可以通过此参数来手动设置线程数量。
9. -R，--max-reqs-per-event：指定每个事件处理器循环中处理的最大请求数。
默认情况下，Memcached每次处理一个请求，但这个参数可以用来限制每个事件处理器循环中处理的请求数，以提高其他连接的响应速度。
以上是一些常用的Memcached参数，通过对这些参数的配置，可以根据实际需求来优化Memcached的性能和稳定性。
Memcached分布式缓存简介
一.什么是MemcachedMemcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。
它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提供动态、数据库驱动网站的速度。
相信很多人都用过缓存，在.net 中也有内置的缓存机制，还有很多第三方工具如apache，nginx等可以做静态资源的缓存，同时我们也可以制定自己的缓存机制，缓存数据库查询的数据以减少对数据库的频繁操作。
但是很多时候我们总是感觉这些缓存总不尽人意，Memcached可以解决你不少的烦恼问题。
最少在我的学习中解决了我不少问题，所以决定记录下来分享。
Memcached基于一个存储键/值对的hashmap。
其守护进程是用C写的，但是客户端可以用任何语言来编写(本文使用C#作为例子)，并通过memcached协议与守护进程通信。
可能这些东西都太高深了，我们暂不做研究。
二.分布式缓存其实 Memcached作为一个分布式缓存数据服务，但是每个服务之间根本没有进行相互通信，这里可能与我理解的分布式有点区别，可能是我才疏学浅，也可能是每个人思考问题的角度不同。
Memcached 客户端就是通过一种分布式算法将数据保存到不同的Memcached服务器上，将数据进行缓存。
分布式缓存，可以而知memcached可以进行大数据量的缓存。
这点可以弥补我们之前很多人都遇到的将数据缓存到应用服务器上，而且只能缓存少量数据，否则对应用服务器的影响非常大。
Memcached应用机制图:这个图是有点简陋了，但是问题还是能够描述的清楚的，缓存机制的基本原理就是先查询数据保存到memcached中，地址在此请求就直接从Memcached缓存中取数据，这样就可以减少对服务器请求压力。
三.Memcached 特征(1)协议简单: 不使用复杂的xml格式，而是使用文本格式(2)基于libevent的事件处理机制 (不懂)(3)内置内存存储方式: 数据存在在内存中，所以重启机器会导致数据丢失（4）Memcached相互不通信的分布式: Memcached 服务器之间不会进行通信，数据都是通过客户端的分布式算法存储到各个服务器中四.Memcached的安装首先这里是在windows系统上做测试，Memcached在linux等非windows平台上性能会更高。
天翼云分布式缓存服务Memcache介绍
天翼云分布式缓存服务Memcache介绍MemCache是一套高性能分布式的高速缓存系统，用于动态Web应用以减轻数据库负载，由LiveJournal的Brad Fitzpatrick开发。
目前被许多网站使用以提升网站的访问速度，尤其对于一些大型的、需要频繁访问数据库的网站访问速度提升效果十分显著。
这是一套开放源代码软件，以BSD license授权发布。
MemCache通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高了网站访问的速度。
MemCache是一个存储键值对的HashMap，在内存中对任意的数据(比如字符串、对象等)所使用的key-value存储，数据可以来自数据库调用、API调用，或者页面渲染的结果。
MemCache设计理念就是小而强大，它简单的设计促进了快速部署、易于开发并解决面对大规模的数据缓存的许多难题，而所开放的API使得MemCache能用于Java、C/C++/C#、Perl、Python、PHP、Ruby等大部分流行的程序语言。
MemCache工作原理MemCache采用C/S架构，在服务器端启动后，以守护程序的方式，监听客户端的请求。
启动时可以指定监听的IP(服务器的内网ip/外网ip)、端口号(所以做分布式测试时，一台服务器上可以启动多个不同端口号的MemCached进程)、使用的内存大小等关键参数。
一旦启动，服务就会一直处于可用状态。
为了提高性能，MemCache缓存的数据全部存储在MemCache 管理的内存中，所以重启服务器之后缓存数据会清空，不支持持久化。
MemCache内存管理内存结构每个slab_class里面包含若干个slab。
每个slab里面包含若干个page，page的默认大小是1M。
每个page里面包含若干个chunk，chunk是数据的实际存放单位，每个slab 里面的chunk大小相同内存分配方式Memcached使用slab allocation机制来分配和管理内存。
memcached工作原理
memcached工作原理
memcached是一款高性能的分布式内存缓存系统，主要用于减轻数据库负载，提高应用程序的性能。
其工作原理如下：
1. 客户端向memcached服务器发送请求，请求可以是获取或设置缓存数据。
2. 如果请求是获取缓存数据，memcached服务器首先检查是否有该数据的缓存副本，如果有，则返回该数据给客户端。
3. 如果请求是设置缓存数据，memcached服务器将数据存储到其内存中，并设置相应的索引。
4. 当memcached服务器的内存空间不足时，会采用LRU（最近最少使用）算法将一些旧的缓存数据删除，以腾出更多的内存空间。
5. 当多个memcached服务器组成一个分布式缓存集群时，客户端需要通过一致性哈希算法来选择具体的服务器，以保证缓存数据的一致性。
6. 当客户端对缓存数据进行修改时，需要同时更新所有memcached服务器上的缓存数据，以保证数据一致性。
总之，memcached工作原理简单、高效，可以提高应用程序的响应速度和吞吐
量，同时减少数据库的负载。
详解MemCached原理
详解MemCached原理memcached是⼀个⾼性能的分布式内存缓存服务器，memcached在Linux上可以通过yum命令安装，这样⽅便很多，在⽣产环境下建议⽤Linux系统，memcached使⽤libevent这个库在Linux系统上才能发挥它的⾼性能。
它的分布式其实在服务端是不具有分布式的特征的，是依靠客户端的分布式算法进⾏了分布式，memcached是⼀个纯内存型的数据库，这样在读写速度上相对来说⽐较快。
memcached的内存分配是预先分配内存，常规的程序使⽤内存⽆⾮是两种，⼀种是预先分配，⼀种是动态分配。
动态分配从效率的⾓度来讲相对来说要慢点，因为它需要实时的去分配内存使⽤，但是这种⽅式的好处就是可以节约内存使⽤空间；memcached采⽤的是预先分配的原则，这种⽅式是拿空间换时间的⽅式来提⾼它的速度，这种⽅式会造成不能很⾼效的利⽤内存空间，但是memcached采⽤了Slab Allocation机制来解决内存碎⽚的问题，Slab Allocation的基本原理就是按照预先规定的⼤⼩，将分配的内存分割成特定长度的块，并把尺⼨相同的块分成组（chunk的集合），借⽤⼀下⽹上的图：memcached会针对客户端发送的数据选择slab并缓存到chunk中，这样就有⼀个弊端那就是⽐如要缓存的数据⼤⼩是50个字节，如果被分配到如上图88字节的chunk中的时候就造成了33个字节的浪费，虽然在内存中不会存在碎⽚，但是也造成了内存的浪费，这也是我上⾯说的拿空间换时间的原因，不过memcached对于分配到的内存不会释放，⽽是重复利⽤。
默认情况下如下图chunk是1.25倍的增加的，当然也可以⾃⼰通过-f设置，这种内部的分割算法可以参看源码下的slabs.c⽂件。
memcached本⾝内部不会监视记录是否过期，⽽是当get时依靠记录的过期时间检查是否过期，这也是memcached的⼀种惰性过期机制。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
MemCache是一套高性能分布式的高速缓存系统，用于动态Web应用以减轻数据库负载，由LiveJournal的Brad Fitzpatrick开发。
目前被许多网站使用以提升网站的访问速度，尤其对于一些大型的、需要频繁访问数据库的网站访问速度提升效果十分显著。
这是一套开放源代码软件，以BSD license授权发布。
MemCache通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高了网站访问的速度。
MemCache是一个存储键值对的HashMap，在内存中对任意的数据(比如字符串、对象等)所使用的key-value存储，数据可以来自数据库调用、API调用，或者页面渲染的结果。
MemCache设计理念就是小而强大，它简单的设计促进了快速部署、易于开发并解决面对大规模的数据缓存的许多难题，而所开放的API使得MemCache能用于Java、C/C++/C#、Perl、Python、PHP、Ruby等大部分流行的程序语言。
MemCache工作原理MemCache采用C/S架构，在服务器端启动后，以守护程序的方式，监听客户端的请求。
启动时可以指定监听的IP(服务器的内网ip/外网ip)、端口号(所以做分布式测试时，一台服务器上可以启动多个不同端口号的MemCached进程)、使用的内存大小等关键参数。
一旦启动，服务就会一直处于可用状态。
为了提高性能，MemCache缓存的数据全部存储在MemCache管理的内存中，所以重启服务器之后缓存数据会清空，不支持持久化。
MemCache内存管理内存结构每个slab_class里面包含若干个slab。
每个slab里面包含若干个page，page的默认大小是1M。
每个page里面包含若干个chunk，chunk是数据的实际存放单位，每个slab 里面的chunk大小相同内存分配方式Memcached使用slab allocation机制来分配和管理内存。
先将分配的内存按照预设好的大小分割成特定长度的内存块，再把尺寸相同的内存块分成组。
数据在存放时，根据键值大小去匹配slab大小，找就近的slab存放。
而传统的内存管理方式是，使用完通过malloc分配的内存后通过free来回收内存，这种方式容易产生内存碎片并降低操作系统对内存的管理效率。
存放数据时，首先slab要申请内存，申请内存以page为单位。
在放入第一个数据的时候，无论大小为多少，都会有1M大小的page被分配给该slab。
申请到page后，slab会将这个page的内存按chunk的大小进行切分，这样就变成了一个chunk数组，最后从这个chunk数组中选择一个用于存储数据。
示例：本例中，slab[1]的chunk大小为88字节、slab[2]的chunk大小为112字节、slab[3]的chunk大小为144字节...(默认相邻slab内的chunk基本以1.25为比例进行增长，MemCache启动时可以用-f指定这个比例)，那么一个100字节大小的value，将被放到slab[2]中。
这是由于在MemCache中，value的存放位置由其大小决定，value会被存放到与chunk大小最接近的一个slab中，即slab allocation机制。
内存回收方式由于slab allocator机制中，分配的chunk大小是固定的，因此可能会造成内存的浪费。
对于chunk空间的浪费问题,无法彻底解决,只能缓解该问题。
不同于FIFO(First In,First Out)删除机制，当数据容量用完MemCached分配的内存后，就会基于LRU(Least Recently Used)算法清理失效的缓存数据(放入数据时可设置失效时间)，或者清理最近最少使用的缓存数据，然后放入新的数据。
在LRU中，MemCached使用的是一种Lazy Expiration策略，不会监控存入的key/value对是否过期，而是在获取key值时查看记录的时间戳，检查key/value对空间是否过期，这样可减轻服务器的负载，即过期数据惰性删除，节省了cpu时间和检测成本。
如果MemCache启动没有追加-M，则表示禁止LRU，这种情况下内存不够时会报Out Of Memory错误。
MemCache分布式存储为了提升MemCache的存储容量和性能，可能会有多个MemCache服务器来对客户端提供服务，这就是MemCache的分布式。
分布式实现原理MemCache采用了单进程、单线程、异步I/O，基于事件(event_based)的服务方式，使用libevent作为事件通知实现分布式存储。
MemCache当中的Server可以协同工作，但他们之间保存的数据各不相同，而且并不通信，每个Server只管理自己的数据。
服务端并没有“分布式”功能。
Client端通过IP地址和端口号指定Server端，将需要缓存的数据以key-value的对应形式保存在Server端。
key值通过hash进行转换，根据hash值把value传递到对应的具体的某个Server上。
当需要获取对象数据时，也根据key进行获取。
首先对key进行hash转换，通过获得的值可以确定它被保存在了哪台Server上，然后再向该Server发出请求。
Client端只需要知道保存hash(key)的值在哪台服务器上即可。
向MemCache集群存入/取出key/value时，MemCache客户端程序根据一定的算法计算存入哪台服务器，然后再把key/value值存到此服务器中。
亦即是说，存取数据分为二步：1.选择服务器;2.存/取数据。
分布式算法解析余数算法：根据键的整数散列值(键string的HashCODE值)，除以服务器台数，根据余数确定存取服务器，这种方法计算简单，高效，但在MemCache服务器数量变化时，几乎所有的缓存都会失效。
散列算法：先算出MemCache服务器的散列值，并将其分布到0到2^32的圆上，然后用同样的方法算出存储数据的键的散列值并映射至圆上，最后从数据映射到的位置开始顺时针查找，将数据保存到查找到的第一个服务器上，如果超过2^32，依然找不到服务器，就将数据保存到第一台MemCache服务器上。
如果添加了一台MemCache服务器，只在圆上增加服务器的逆时针方向的第一台服务器上的键会受到影响。
MemCache线程管理MemCache网络模型是典型的单进程多线程模型。
采用libevent处理网络请求，主进程负责将新来的连接分配给work线程，work线程负责处理连接，有点类似于负载均衡，通过主进程分发到对应的工作线程。
MemCache默认有7个线程，4个主要的工作线程，3个辅助线程，线程可划分为以下4种：主线程：负责MemCache服务器初始化，监听TCP、Unix Domain连接请求;工作线程池：MemCache默认4个工作线程，可通过启动参数修改，负责处理TCP、UDP，Unix域套接口链路上的请求;assoc维护线程：MemCache内存中维护一张巨大的hash表，该线程负责hash 表动态增长;slab维护线程：即内存管理模块维护线程，负责class中slab的平衡，MemCache启动选项中可关闭该线程。
MemCache特性与限制MemCache中可以保存的item数据量是没有限制的，只要内存足够。
MemCache单进程在32位机中最大使用内存为2G，在64位机中则没有限制。
Key的最大长度为250个字节，超过该长度将无法存储，由常量KEY_MAX_LENGTH250控制。
单个item最大数据是1MB，超过1MB的数据不予存储，由常量POWER_BLOCK 1048576进行控制。
MemCache服务端是不安全的。
比如已知某个MemCache节点，可以直接telnet 过去，并通过flush_all让已经存在的键值对立即失效，所以MemCache服务器最好配置到内网环境，通过防火墙制定可访问客户端。
不能够遍历MemCache中所有的item。
因为这个操作的速度相对缓慢且会阻塞其他的操作。
MemCache的高性能源自于两阶段哈希结构：第一阶段在客户端，通过Hash算法根据Key值算出一个节点;第二阶段在服务端，通过一个内部的Hash算法，查找真正的item并返回给客户端。
从实现的角度看，MemCache是一个非阻塞的、基于事件的服务器程序。
MemCache设置添加某一个Key值的时候，虽然传入expiry为0表示这个Key值永久有效，但是这个Key值也会在30天之后失效。
由常量REALTIME_MAXDELTA60*60*24*30控制。
最大同时连接数是200，通过conn_init()中的freetotal进行控制，最大软连接数是1024，通过settings.maxconns=1024进行控制。
跟空间占用相关的参数：settings.factor=1.25,settings.chunk_size=48,影响slab的数据占用和步进方式。
MemCache是键值一一对应，key默认最大不能超过128个字节，value默认大小是1M，也就是一个slabs，如果要存2M的值(连续的)，不能用两个slabs，因为两个slabs不是连续的，无法在内存中存储，故需要修改slabs的大小，多个key和value进行存储时，即使这个slabs没有利用完，那么也不会存放别的数据。
MemCache已经可以支持C/C++、Perl、PHP、Python、Ruby、Java、C#、Postgres、Chicken Scheme、Lua、MySQL和Protocol等语言客户端。