Redis企业级大数据平台测试报告
Redis缓存在大规模数据处理中的性能测试

Redis缓存在大规模数据处理中的性能测试Redis缓存作为一种常用的内存数据库,被广泛应用于大规模数据处理中,以提高系统性能和响应速度。
本文将探讨Redis缓存在大规模数据处理中的性能测试,并分析其对系统性能的影响。
一、性能测试的背景随着互联网的发展和用户规模的急剧增长,各种类型的应用系统都面临着海量数据的处理挑战。
为了应对这一挑战,很多系统采用了分布式架构和缓存技术。
而Redis作为一种高性能的内存数据库,被越来越多的公司和个人所使用。
因此,对Redis缓存在大规模数据处理中的性能进行测试和评估,对于保证系统的稳定性和用户体验至关重要。
二、性能测试方法1. 测试环境的搭建为了模拟真实的大规模数据处理场景,需要搭建一个适合的测试环境。
可以选择一台或多台主机作为Redis服务器,根据实际情况进行配置和部署。
同时,需要模拟相应数量的应用服务器,以模拟用户请求和数据处理的压力。
2. 测试数据的准备测试数据的准备对性能测试的结果影响很大。
应该根据实际情况准备具有代表性的数据集,包括数据大小、数据类型、数据更新频率等方面的考虑。
3. 测试场景的设计针对大规模数据处理场景的特点,设计合理的测试场景是必要的。
可以模拟读取、写入、更新、删除等不同操作,以及多用户并发访问等情况,以全面评估Redis缓存在处理大规模数据时的性能表现。
4. 执行性能测试根据设计好的测试场景,执行性能测试并记录相关指标,如响应时间、吞吐量、并发性等。
可以使用专业的性能测试工具,如Apache JMeter等,对Redis的性能进行全面测试和评估。
三、性能测试结果的分析在完成性能测试后,对测试结果进行分析是必要的,可以得出以下结论:1. Redis缓存的命中率对性能有重要影响。
高命中率可以有效减少对后端数据库的访问次数,提高系统的响应速度和并发能力。
2. 数据量的大小和复杂度直接影响Redis的性能。
随着数据量的增加和数据结构的复杂化,Redis的性能会受到一定影响。
XXX大数据平台系统测试报告

XXX大数据平台系统测试报告目录1性能测试报告 (6)1.1测试目标 (6)1.2测试内容 (6)1.3测试环境 (6)1.4测试过程和结果 (8)2TPC-DS测试报告 (11)2.1测试目标 (11)2.2测试内容 (11)2.3测试环境 (13)2.4测试过程和结果 (13)3量收迁移验证性测试报告 (15)3.1测试目标 (15)3.2测试内容 (15)3.3测试环境 (15)3.4串行执行情况 (16)3.5并行执行情况 (17)3.6生产表数据规模 (18)3.7测试结果 (20)4某银行性能测试报告 (21)4.1测试目标 (21)4.2测试内容 (21)4.3测试环境 (21)4.4测试过程和结果 (22)1性能测试报告1.1测试目标运营商手机上网记录查询系统案例,以某运营商为例,日均上网记录数近10亿条,每月数据量近9TB,移动互联网用户快速增加,智能终端迅速普及、户均流量显著增长,上网记录数据将进一步猛增,每6个月,流量翻一番,如此大的数据量已经超越了传统关系型数据库可管理的容量上限,关系型数据库上对大规模数据进行操作会造成系统性能严重下降。
通过本测试,验证星环科技成熟稳定的商用Hadoop平台,是否可以有效解决数据采集、加载、存储、查询、分析等问题。
1.2测试内容1)存储节点数和存储量验证;2)并发加载数据的效率验证;3)分别选取简单查询(短信话单查询),单表统计(某天某客户通话次数),大表关联统计(统计指定用户的上网记录)三个应用场景验证产品性能。
1.3测试环境软硬件环境配置如下:表9-1 服务器配置部署环境如下:表9-2 集群配置网络拓扑情况如下:图9-1 拓扑结构图1.4测试过程和结果1)现有HDFS集群已被占用10.5PB,3个副本,压缩率在1/3左右,因此实际HBase 表数据也已经有3.5PB左右。
目前数据存放6个月,每天导入日志数据在21TB左右,每月导入新增日志数据量为630TB,近一个月为常用热数据,数据量增长较快。
Redis实验报告5(存储过程与函数)(1)(1)

Redis实验报告5(存储过程与函数)(1)(1)简介本报告旨在介绍Redis中存储过程与函数的使用方法和实验结果。
存储过程与函数1. 存储过程存储过程是一组预编译的SQL语句集合,通过存储在数据库服务器上执行,可以实现复杂的业务逻辑。
Redis提供了类似存储过程的功能,让用户能够在Redis中执行一系列的操作并返回结果。
2. 函数函数是一段可重复使用的代码块,可以接受输入参数并返回一个值。
在Redis中,我们可以定义和使用函数来处理数据和执行计算。
实验过程1. 创建存储过程- 使用Redis的脚本语言编写存储过程的代码。
- 将代码保存为一个脚本文件。
- 在Redis中执行脚本文件,创建存储过程。
2. 调用存储过程- 使用Redis的EVAL命令调用已创建的存储过程。
- 传递必要的参数给存储过程。
- 获取存储过程返回的结果。
3. 定义函数- 使用Redis的脚本语言编写函数的代码。
- 将代码保存为一个脚本文件。
- 在Redis中执行脚本文件,定义函数。
4. 调用函数- 使用Redis的EVAL命令调用已定义的函数。
- 传递必要的参数给函数。
- 获取函数返回的结果。
实验结果经过实验,我们成功创建了存储过程和定义了函数。
通过调用存储过程和函数,我们能够在Redis中执行自定义的操作,并获取相应的结果。
存储过程和函数的使用为我们提供了更大的灵活性和功能扩展性。
结论存储过程和函数是Redis中强大的功能,可以帮助我们实现复杂的业务逻辑和数据处理需求。
通过实验,我们进一步了解了存储过程和函数的使用方法,并验证了它们的有效性和可靠性。
以上是本次实验报告的内容,感谢您的阅读。
平台测试报告

平台测试报告一、引言在信息技术不断发展的今天,平台测试已经成为确保软件质量的重要环节。
本篇报告将对某平台进行全面的测试分析,并总结测试的过程和结果,以供参考。
二、测试目标与方法1. 测试目标本次平台测试的目标是评估平台的性能、稳定性和安全性,并发现潜在的缺陷和问题。
2. 测试方法采用黑盒测试方法,通过模拟用户的使用场景和操作行为来检查平台的功能是否完备、易用性是否良好等。
同时,采用白盒测试方法,对平台的代码进行检查,以发现潜在的缺陷和漏洞。
三、测试内容与过程1. 功能测试对平台的各项功能进行测试,包括注册、登录、发表文章、评论、搜索、上传文件等功能。
通过模拟不同的使用场景,测试这些功能是否正常、稳定,并且是否符合预期的要求。
2. 性能测试通过模拟高并发的操作,测试平台在压力下是否能够正常运行。
主要测试平台的响应速度、资源占用情况等指标。
同时,进行负载测试,以评估平台在不同负载下的表现。
3. 安全测试测试平台的安全性能,主要包括对平台的登录注册功能和用户隐私信息的保护措施进行检测。
通过模拟攻击和尝试不同的安全漏洞,评估平台的安全性能是否达到要求。
4. 兼容性测试测试平台在不同操作系统、浏览器以及终端设备上的兼容性。
通过模拟不同的环境,验证平台在各种环境下的可用性、显示效果等。
5. 数据一致性测试测试平台在多用户、多设备同时操作的情况下,数据是否能够保持一致。
通过模拟并发操作,验证平台的数据一致性。
四、测试结果与问题总结1. 功能测试结果平台的注册、登录、发表文章、评论、搜索、上传文件等功能均测试通过,功能正常且稳定。
未发现功能缺陷。
2. 性能测试结果平台在高负载下响应速度较慢,需要进一步优化。
资源占用情况正常,未出现异常。
3. 安全测试结果平台的登录注册功能安全性良好,用户隐私信息得到有效保护。
但仍存在一些安全漏洞,需要及时修复。
4. 兼容性测试结果平台在主流操作系统、浏览器和终端设备上的兼容性较好,显示效果正常。
Redis大数据平台测试方案

Redis大数据平台测试方案目录1.测试目的 (4)2.测试环境 (4)2.1.硬件环境 (4)2.2.软件环境 (5)3.测试内容 (5)3.1.基本功能 (5)3.1.1.String类型的输入输出测试 (5)3.1.2.Set类型的输入输出测试 (6)3.1.3.Hash类型的输入输出测试 (6)3.1.4.List类型的输入输出测试 (7)3.1.5.SortedSet类型的输入输出测试 (8)3.1.6.java客户端测试 (8)3.1.7.扩容测试 (9)3.1.8.移除节点测试 (10)3.1.9.主从同时停止测试 (10)3.1.10.数据导入导出测试 (11)3.1.11.Redis疲劳测试 (11)3.1.12.主从复制测试 (12)3.2.性能 (12)3.2.1.加载性能 (12)3.2.2.并发性能 (13)3.3.高可用 (13)3.3.1.Master进程高可用测试 (13)3.3.2.Slaver进程高可用测试 (14)3.3.3.Master节点高可用测试 (14)3.3.4.Slaver节点高可用测试 (15)1.测试目的通过功能、性能、高可用测试,验证Redis是否满足在大数据基础架构平台对精细化营销和客流分析应用的需求。
2.测试环境2.1.硬件环境硬件位置信息:硬件配置清单:硬件配置表:2.2.软件环境3.测试内容3.1.基本功能3.1.1.S tring类型的输入输出测试3.1.2.S et类型的输入输出测试3.1.3.H ash类型的输入输出测试3.1.4.L ist类型的输入输出测试3.1.5.S ortedSet类型的输入输出测试3.1.6.j ava客户端测试3.1.7.扩容测试3.1.8.移除节点测试3.1.9.主从同时停止测试3.1.10.数据导入导出测试3.1.11.Redis疲劳测试3.1.12.主从复制测试3.2.性能3.2.1.加载性能3.2.2.并发性能3.3.高可用3.3.1.M aster进程高可用测试3.3.2.S laver进程高可用测试3.3.3.M aster节点高可用测试3.3.4.S laver节点高可用测试。
GBASE企业级大数据平台-功能测试报告

GBASE企业级大数据平台功能测试报告目录1.基础功能 (4)1.1.基础SQL功能测试 (4)1.1.1.建立数据库 (4)1.1.2.建表 (4)1.1.3.建立,修改,删除视图 (4)1.1.4.INSERT语句 (5)1.1.5.SELECT 语句 (5)1.1.6.DELETE (6)1.1.7.UPDA TE (6)1.1.8.join 关联查询 (6)1.1.9.函数建立,修改,运行,删除 (7)1.1.10.存储过程建立,修改,运行,删除 (8)1.1.11.建用户,设置密码,删除用户,赋权限 (8)1.2.数据加载 (9)1.2.1.工具简介 (9)1.2.2.启动dispatch服务 (10)1.2.3.准备测试数据文件 (10)1.2.4.建立ctl加载任务文件 (10)1.2.5.导入命令 (11)1.2.6.数据导出 (11)1.3.数据库备份与恢复 (12)1.3.1.简介 (12)1.3.2.建立备份测试表 (12)1.3.3.建立备份目录 (13)1.3.4.登陆gcrcman工具,查看备份内容 (13)1.3.5.第一次全备 (14)1.3.6.第二次备份 (15)1.3.7.第三次备份 (17)1.3.8.备份注意事项 (19)1.3.9.使用备份命令注意事项 (20)1.3.10.清除数据,整理备份数据 (21)1.3.11.第一次恢复到第三次备份状态 (21)1.3.12.第二次恢复到第二次全备状态 (23)1.3.13.使用恢复命令注意事项 (25)1.3.14.删除备份点 (25)1.3.15.使用删除命令注意事项 (26)1.3.16.集群相关操作 (27)1.4.jdbc连接8a集群未测试,没有直连的myeclips (27)1.4.1.环境准备 (27)1.4.2.测试JA V A程序 (27)1.5.odbc连接8a集群 (29)1.5.1.安装Gbase 8a -ODBC驱动(64位) (29)1.5.2.新建Gbase 8a –ODBC数据源 (30)2.产品特性 (31)2.1.监控工具使用未测试,还未部署监控工具 (31)2.1.1.系统登录 (31)2.1.2.集群监控配置 (32)2.1.3.监控日志 (37)2.1.4.节点报警 (38)2.2.企业管理器使用未测试,没有直连windows机器 (49)2.2.1.简介 (49)2.2.2.GCluster集群管理 (50)2.2.3.GCluster服务管理 (52)2.2.4.连接到对象资源管理器 (55)2.2.5.通过企业管理器加载本机数据文件 (56)2.2.6.通过企业管理器启动服务器上的加载任务 (58)2.3.行列混合存储 (59)2.4.表压缩测试 (61)2.4.1.建立测试表,压缩比(1,3) (62)2.4.2.测试压缩比(5,5)效果 (62)2.4.3.测试结果 (63)2.5.gcdump导出工具 (64)2.5.1.简介 (64)2.5.2.安装文件 (64)2.5.3.语法格式 (64)2.5.4.参数说明 (64)2.5.5.使用案例 (66)1.基础功能1.1. 基础SQL功能测试1.1.1.建立数据库create database Mydb;1.1.2.建表分布表create table user_info(cust_name varchar(20),sex varchar(10),country varchar(10)) distributed by ('cust_name');create table user_acct_info (cust_name varchar(20),charge decimal(14,2)) distributed by ('cust_name');复制表create table sex_info (sex varchar(10),comm varchar(20)) replicated; create table country_info (country varchar(10),comm varchar(20)) replicated;1.1.3.建立,修改,删除视图CREATE OR REPLACE VIEW Mydb.VIEW_1 AS (SELECT * FROM ER_ACCT_INFO WHERE CUST_NAME='Bruce Willis');DROP VIEW Mydb.VIEW_11.1.4.INSERT语句insert into user_info values('Jason Statham','male','USA'); insert into user_info values('Sylvister Stallone','male','USA'); insert into user_info values('Bruce Willis','male','USA');insert into user_info values('Harrison Ford','male','CHN'); insert into user_info values('Nicole Kidman','female','USA'); insert into user_info values('Kelly Hu','female','CHN');insert into sex_info values('male','男');insert into sex_info values('female','女');insert into country_info values('USA','美国');insert into country_info values('CHN','中国');insert into user_acct_info values('Jason Statham',2500000); insert into user_acct_info values('Bruce Willis',400000);insert into user_acct_info values('Harrison Ford',200000);insert into user_acct_info values('Kelly Hu',150000);1.1.5.SELECT 语句select * from user_info;1.1.6.DELETEdelete from user_info where cust_name='Bruce Willis';1.1.7.UPDATEupdate user_info set cust_name='Sysvister Stallone' where cust_name='Jason Statham';1.1.8.join 关联查询selecta.cust_name,b.charge,m,mfromuser_info aleft outer joinuser_acct_info bon a.cust_name = b.cust_nameleft outer joincountry_info con a.country=c.countryleft outer joinsex_info don a.sex=d.sex1.1.9.函数建立,修改,运行,删除------建立函数DROP FUNCTION if exists `myfunction`;DELIMITER //CREATE FUNCTION myfunction (param varchar(10)) RETURNS INTBEGINSELECT count(1) INTO @count FROM er_info WHERE country= param;RETURN @count;END//---执行函数SET @result = myfunction('USA');SELECT @result;1.1.10.存储过程建立,修改,运行,删除------建立存储过程DROP Procedure if exists `myproc`;DELIMITER //CREATE DEFINER="root"@"%" PROCEDURE "myproc"(num1 int , num2 int) BEGINdeclare v_sum int;declare v_num1 int;declare v_num2 int;set v_num1=num1;set v_num2=num2;set v_sum=v_num1+v_num2;select v_sum;END---运行存储过程call myproc(10,28);1.1.11.建用户,设置密码,删除用户,赋权限---建立user1,但没有任何权限CREATE USER user1 IDENTIFIED BY 'user123';---gccli登陆,给用户user1赋予Mydb库所有的表的insert 和 update权限grant insert,update,select on Mydb.* to user1;查看权限是否赋予成功show grants for user1;用user1 登陆Mydb库,对表user_info进行增删改查insert into user_info values('Vin Disel','male','USA');insert into user_info values('Paul Walker','');update user_info set country='USA' where cust_name='Bruce Willis';----修改密码用user1登陆,set password=password('user1234');----删除用户 drop user user11.2. 数据加载1.2.1.工具简介数据加载从部署的角度来讲分为三部分:数据分发服务端程序(dispserver)数据客户端(gbloader)数据分发客户端程序(dispcli)其中数据分发服务端程序器采用类似FTP服务器的方式来工作,但是不同之处在于,其为客户端提供的是虚拟文件服务。
企业应用平台实验报告总结

企业应用平台实验报告总结1. 引言企业应用平台是一种用于帮助企业集成和管理各种业务应用的软件平台。
通过企业应用平台,企业能够快速搭建和部署各种应用,并实现应用之间的无缝集成与协同。
本实验旨在通过搭建一个简单的企业应用平台,来了解其基本原理和功能。
2. 实验过程2.1 环境搭建首先,我们基于虚拟机搭建了一个运行企业应用平台的环境。
在虚拟机中安装了操作系统、数据库、中间件等必要的软件,并进行了必要的配置。
2.2 平台搭建接下来,我们开始搭建企业应用平台。
通过使用开源的企业应用平台搭建工具,我们可以快速搭建一个基本的平台。
在搭建过程中,我们需要指定一些基本信息,如平台名称、管理员账号等。
2.3 应用管理平台搭建完成后,我们可以开始添加和管理各类应用。
通过应用管理界面,我们可以添加应用的基本信息,并指定它们之间的关系。
例如,我们可以添加一个CRM系统,并将其与ERP系统进行关联。
2.4 运行应用在应用添加和关联完成后,我们可以开始运行应用。
通过平台的运行界面,我们可以选择要运行的应用,并对其进行配置。
然后,我们可以通过浏览器访问这些应用,并进行操作。
3. 实验结果通过本次实验,我们成功搭建了一个简单的企业应用平台,并成功添加和运行了两个基本应用。
我们发现,企业应用平台可以帮助企业更好地管理和集成各类应用,提高效率和协同能力。
4. 实验总结企业应用平台是当前企业数字化转型的重要组成部分。
通过本次实验,我们对企业应用平台的基本原理和功能有了更深入的了解。
企业应用平台可以帮助企业快速构建和部署各类应用,实现应用之间的集成和协同。
它可以提高企业的信息化管理水平,推动企业的数字化转型。
然而,企业应用平台的搭建和管理也面临一些挑战。
首先,企业应用平台需要具备一定的技术能力和资源投入。
其次,平台的安全性和稳定性也是需要重视的问题。
此外,企业应用平台的适应性和可扩展性也是需要考虑的因素。
总之,企业应用平台是现代企业管理的重要工具,对于提高企业的协同能力和竞争力具有重要作用。
Redis主从热备性能测试报告_v1.0_20130130_廖诚

一、测试目的测试Redis主从热备,在key随机大小的情况下性能如何,其中主机不带持久化,从机带持久化,且写、改在主机上操作,读则在从机上操作。
二、测试环境1、网络环境如图1所示,42、45、43均连接至千兆交换机,其中42为服务端master,45为服务端slave,43为客户端:图12、硬件环境3、软件环境三、测试结果在2到100字节范围内生成随机大小的key,加上10字节的value组成每条数据记录内容;每次操作线程数为50个,每线程10万条记录,在老数据基础上进行测试;老数据基础分别为7000万、7500万、8000万条……,依次类推每次测试增长500万条,分别测试ins ert、select、update情况;Redis主从热备过程如下:1)Slave与Master建立连接,然后发送SYNC命令;2)Slave无论是第一次或者重新连接,Master都会启动一子进程,将数据库快照保存到.rdb文件中,同时Master主进程收集新的写命令并缓存;3)子进程完成写文件后退出,Master再把文件发送给Slave,Slave将文件保存到磁盘上,完了之后再加载到内存中;4)接着Master再把缓存的命令转发给Slave,后续Master将收到的写命令都同步发送给Slave;5)如果Master同时收到多个Slave发来的同步连接命令,Master只会启动一个子进程来写数据库镜像,然后再发送给所有的Slave;注:Slave第一次或者重新连接到Master,都会进行全量同步数据,之后如果Master 有新数据,才进行增量同步,且Slave在同步数据过程中不接受任何操作请求。
1、insert操作性能情况1)在老数据基础上,进行50个客户端并发,每客户端操作100,000次写,平均用时如图2-1、图2-2示:图2-2说明:纵轴为平均用时(单位:次/秒),横轴为老数据基础(单位:千万);图3-2说明:纵轴为平均占用单个CPU百分比,横轴为老数据基础(单位:千万);图4-2说明:纵轴为占用内存平均百分比,横轴为老数据基础(单位:千万);图5-1图5-2说明:纵轴为每秒产生的页面错误数,横轴为老数据基础(单位:千万);图6-2说明:纵轴为磁盘IO读的数量(单位:kB/s),横轴为老数据基础(单位:千万);图7-1图7-2 说明:纵轴为磁盘IO 写的数量(单位:kB/s ),横轴为老数据基础(单位:千万);2、select 操作性能情况1) 在老数据基础上,进行50个客户端并发,每客户端操作100,000次读,平均用时如图8-1、图8-2示: 图8-1图8-2 说明:纵轴为平均用时(单位:次/秒),横轴为老数据基础(单位:千万); 图9-1图9-2说明:纵轴为平均占用单个CPU百分比,横轴为老数据基础(单位:千万);图10-1图10-2说明:纵轴为占用内存平均百分比,横轴为老数据基础(单位:千万);图11-2说明:纵轴为每秒产生的页面错误数,横轴为老数据基础(单位:千万);图12-1图12-2说明:纵轴为磁盘IO读的数量(单位:kB/s),横轴为老数据基础(单位:千万);图13-2说明:纵轴为磁盘IO写的数量(单位:kB/s),横轴为老数据基础(单位:千万);3、update操作性能情况1)在老数据基础上,进行50个客户端并发,每客户端操作100,000次改,平均用时如图14-1、图14-2示:图14-1图14-2说明:纵轴为平均用时(单位:次/秒),横轴为老数据基础(单位:千万);图15-1图15-2说明:纵轴为平均占用单个CPU百分比,横轴为老数据基础(单位:千万);图16-1图16-2说明:纵轴为占用内存平均百分比,横轴为老数据基础(单位:千万);图17-2说明:纵轴为每秒产生的页面错误数,横轴为老数据基础(单位:千万);图18-1图18-2说明:纵轴为磁盘IO读的数量(单位:kB/s),横轴为老数据基础(单位:千万);图19-2说明:纵轴为磁盘IO写的数量(单位:kB/s),横轴为老数据基础(单位:千万);四、分析及结论1、insert操作性能情况1)相同的数据模型,相同的服务器环境,在达到内存上限前,Redis不带持久化,能保存的热数据要比带持久化时多些,前者能保存约9千万条,后者能保约8千万条;2)在达到内存上限前,Redis带主从热备写性能要比不带时低些,前者约7万4千条每秒,后者约7万8千条每秒;3)Redis主机在达到内存上限后,写性能会急剧下降;4)Redis主机平均占用单个CPU百分比,在达到内存上限前一直稳定在90%左右,而从机一直稳定在29%左右;达到内存上限后,二者均受内存swap每秒产生大量页面错误影响,CPU使用率会急剧下降;5)Redis主从机内存占用均随着写入数据的逐渐增多而增大,但达到内存上限后,二者均受内存swap每秒产生大量页面错误影响而持续下降,从机还受子进程dump数据竞争内存而下降更明显;6)Redis主从机在达到内存上限后,由于需要把部分数据转到交换分区,均会每秒产生大量的页面错误;7)Redis主从机在达到内存上限前,均没有磁盘IO读操作,之后就有明显的磁盘IO读操作,尤其主机最明显;8)在整个插入数据过程中,Redis主机磁盘IO写操作不是很明显,而从机磁盘IO写操作很明显且不规则;2、select操作性能情况1)Redis主从热备情况,数据可以从Slave读出,从而分担Master压力,性能约9万4千条每秒,而单机情况下读性能约8万5千条每秒;2)Redis主机在达到内存上限后,读性能会急剧下降;3)Redis从机平均占用单个CPU百分比,在达到内存上限前,一直稳定在90%左右,之后受内存swap每秒产生大量页面错误影响而持续下降;4)Redis主从机内存占用均随着写入数据的逐渐增多而增大,但达到内存上限后,二者均受内存swap每秒产生大量页面错误影响而持续下降;5)Redis从机在达到内存上限后,由于需要把部分数据转到交换分区,会每秒产生大量的页面错误;6)Redis从机在达到内存上限前,没有磁盘IO读操作,之后就有明显的磁盘IO读操作;7)在整个查询数据过程中,Redis从机磁盘IO写操作不是很明显且不规则;3、update操作性能情况1)在达到内存上限前,Redis带与不带主从热备,改性能都差不多,约6万5千条每秒;2)Redis从机在达到内存上限后,改性能会急剧下降3)Redis主机平均占用单个CPU百分比,在达到内存上限前一直稳定在90%左右,而从机一直稳定在29%左右;达到内存上限后,二者均受内存swap每秒产生大量页面错误影响,CPU使用率会急剧下降;4)Redis主从机内存占用均随着写入数据的逐渐增多而增大,但达到内存上限后,二者均受内存swap每秒产生大量页面错误影响而持续下降;5)Redis主从机在达到内存上限后,由于需要把部分数据转到交换分区,均会每秒产生大量的页面错误;6)Redis主从机在达到内存上限前,均没有磁盘IO读操作,之后就有明显的磁盘IO读操作;7)在整个修改数据过程中,Redis主机磁盘IO写操作不是很明显,而从机磁盘IO写操作很明显且不规则;五、后续测试及开发建议1、测试建议1)是否可以加入删除情况测试;2、开发建议1)在达到内存上限后,主从机性能都会急剧下降;2)如果需要持久化,最好把持久化设置在Slave上,且Master与Slave最好在同一局域网内;3)Slave第一次或重新连接Master,如果Master原库数据量大,主从数据同步时,会严重影响Master性能;。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
Redis企业级大数据平台
测试报告
目录
1.测试目的 (3)
2.测试环境 (3)
2.1.硬件环境 (3)
2.2.软件环境 (4)
3.测试内容 (4)
3.1.基本功能 (4)
3.1.1.HDFS功能验证 (4)
3.1.2.YARN功能验证 (5)
3.1.3.扩容测试 (6)
3.2.性能 (7)
3.2.1.HDFS性能测试 (7)
3.2.2.YARN性能测试 (8)
3.3.高可用 (8)
3.3.1.HDFS高可用测试 (8)
3.3.2.YARN高可用测试 (9)
3.3.3.Kerberos高可用测试 (9)
1.测试目的
通过功能、性能、高可用测试,验证Redis是否满足在大数据基础架构平台对精细化营销和客流分析应用的需求。
2.测试环境
2.1.硬件环境
硬件位置信息:
硬件配置清单:
硬件配置表:
2.2.软件环境
3.测试内容
3.1.基本功能
3.1.1.H DFS功能验证
3.1.2.Y ARN功能验证
3.1.3.扩容测试
3.2.性能
3.2.1.H DFS性能测试
3.2.2.Y ARN性能测试
3.3.高可用
3.3.1.H DFS高可用测试
3.3.2.Y ARN高可用测试
3.3.3.K erberos高可用测试。