linux性能优化之磁盘IO
Linux高级存储性能调优使用SSD和NVMe
Linux高级存储性能调优使用SSD和NVMe 随着科技的不断进步，存储技术也在不断地发展和创新。
固态硬盘（Solid State Drive，简称SSD）和非易失性内存（Non-Volatile Memory Express，简称NVMe）作为高效的存储解决方案，已经逐渐被广泛应用于各种领域。
在Linux系统中，使用SSD和NVMe进行高级存储性能调优可以显著提升系统的响应速度和效率。
本文将介绍Linux下如何利用SSD和NVMe进行高级存储性能调优的方法和技巧。
一、使用I/O调度程序在Linux中，可以通过选择合适的I/O调度程序来优化存储性能。
传统的I/O调度程序如CFQ、Deadline和Noop已经无法适应SSD和NVMe的高性能需求。
为此，Linux内核引入了新的I/O调度程序BFQ （Budget Fair Queueing）和KYBER，这两者对于SSD和NVMe的性能优化效果更好。
BFQ是一种基于权重的I/O调度程序，它可以根据应用程序的优先级和权重来调度磁盘访问，以最大化整体系统性能。
KYBER则是一种基于队列的I/O调度程序，通过减小队列深度和引入最小延迟来减少I/O的等待时间。
二、启用TRIM和DiscardTRIM和Discard是SSD和NVMe存储中的常用技术，用于优化垃圾回收和擦除操作。
TRIM命令可以通知SSD和NVMe存储设备哪些数据已经被删除，从而加速垃圾回收和写入操作。
为了启用TRIM功能，我们需要在Linux系统中开启相关的支持。
首先，我们需要确认文件系统支持TRIM功能。
常见的文件系统如ext4、XFS和Btrfs都支持TRIM。
然后，使用以下命令查看SSD和NVMe设备是否支持TRIM：$ sudo hdparm -I /dev/sda如果输出中包含“TRIM supported”字样，则表示该设备支持TRIM 功能。
接下来，在/etc/fstab文件中添加以下行以启用TRIM：/dev/sda / ext4 discard,noatime 0 1最后，使用以下命令重新挂载文件系统：$ sudo mount -o remount /三、开启存储多队列和中断分配SSD和NVMe技术的出现，使得存储设备具备了更高的I/O处理能力。
数据库性能优化中的磁盘IO调优策略(八)
数据库性能优化中的磁盘IO调优策略引言数据库作为现代信息系统的重要组成部分，承载着日益增长的数据量和复杂的业务需求。
而磁盘IO作为数据库运行的基础，其性能直接影响着数据库的整体运行效率。
因此，在数据库性能优化过程中，磁盘IO的调优策略显得尤为重要。
磁盘IO性能的影响因素磁盘IO性能的优化，首要是要了解其影响因素。
磁盘IO性能主要受以下几个因素影响：1. 硬盘的类型和配置：不同类型的硬盘（如机械硬盘、固态硬盘）具有不同的特性，而硬盘的配置方式（如RAID等）也会对性能产生影响。
2. 磁盘容量和使用率：磁盘的容量和使用率会对磁盘IO的效率产生一定的影响。
较大的磁盘容量和低使用率能够提供更大的空间以免受限制。
3. 硬盘的读写速度：硬盘的读写速度是磁盘IO性能的关键因素之一。
读取和写入数据的速度决定了数据库的响应速度和处理能力。
4. 缓存机制：数据库缓存机制如Buffer Cache、File Cache等，可以通过减少对磁盘的直接访问，提高IO性能。
5. 磁盘读写队列：磁盘的读写队列长度和调度算法，会直接影响到磁盘的IO响应时间。
磁盘IO调优策略基于上述影响因素，我们可以采取以下策略进行磁盘IO的调优：1. 合理选择硬盘类型和配置：根据数据库的实际需求，合理选择硬盘类型（如机械硬盘、固态硬盘）和配置方式（如RAID级别），以满足业务需求并提高性能。
同时，可以考虑使用多块磁盘并行操作，分散IO负载，提高并发能力。
2. 定期进行磁盘容量规划和优化：及时进行磁盘容量规划，避免磁盘空间不足导致性能下降。
合理分配磁盘空间，避免磁盘的使用率过高。
3. 优化磁盘读写速度：通过硬件升级或者技术手段来提高磁盘的读写速度。
例如，使用固态硬盘可以大幅度提升IO性能；使用磁盘缓存技术可以减少对磁盘的直接访问。
4. 合理配置数据库缓存：合理配置数据库缓存，如Buffer Cache、File Cache等，可以减少对磁盘的IO请求，提高性能。
数据库性能优化中的磁盘IO调优策略(一)
数据库性能优化中的磁盘IO调优策略在数据库系统中，磁盘I/O是一个关键的性能瓶颈，对于提高数据库的响应速度和吞吐量具有重要意义。
为了克服磁盘I/O的瓶颈，需要采取一些有效的调优策略。
本文将从磁盘性能的重要性、磁盘I/O 调优的原则和技术以及常用的磁盘I/O调优策略三个方面进行探讨。
1. 磁盘性能的重要性磁盘是数据库系统的主要存储介质，直接影响着数据库的运行速度。
磁盘的性能包括传输速率和访问时间两个方面。
传输速率主要指数据在磁盘和内存之间的传输速度，而访问时间则是指数据从磁盘上读取到内存中的时间。
传输速率和访问时间都是影响磁盘I/O性能的重要指标，磁盘I/O性能的提升可以大大改善数据库的响应速度和吞吐量。
2. 磁盘I/O调优的原则和技术在进行磁盘I/O调优时，可以遵循以下原则和采取相应的技术手段：（1）合理规划磁盘系统的结构：可以采用RAID技术，通过硬件或软件实现磁盘的冗余和并行访问，提高磁盘系统的可靠性和性能。
（2）优化磁盘的使用方式：可以采用分区、格式化、文件组织等方式，将数据和索引等逻辑相关的文件放置在相邻的物理位置上，减少寻道时间，提高数据访问效率。
（3）合理设置操作系统和文件系统的参数：操作系统和文件系统的参数设置会影响到磁盘I/O的性能，如可以调整磁盘缓存、读写缓冲区等参数，提高数据的读写速度。
（4）合理分布数据和索引：可以根据数据的访问模式和读写比例，将数据和索引分布在多个磁盘上，通过并行访问提高磁盘I/O的吞吐量。
（5）优化SQL查询语句和连接方式：可以通过优化SQL查询语句，减少不必要的数据访问和磁盘I/O操作，同时选择合适的连接方式，如内连接、外连接等，减少数据的传输和排序操作，提高查询性能。
3. 常用的磁盘I/O调优策略为了进一步优化磁盘I/O性能，以下是一些常用的磁盘I/O调优策略：（1）使用异步IO：数据库可以采用异步IO的方式进行磁盘读写操作，通过并发的方式提高数据的读写速度，减少磁盘I/O的等待时间。
linux系统磁盘io极限值
linux系统磁盘io极限值Linux系统的磁盘IO性能是系统性能的重要组成部分，磁盘IO 性能的优化可以提高系统的整体性能。
本文将介绍Linux系统磁盘IO的基本知识和如何确定磁盘IO的极限值。
一、磁盘IO基本知识磁盘IO是指计算机向磁盘读取数据或写入数据的过程。
在Linux 系统中，磁盘IO分为同步IO和异步IO两种方式。
同步IO是指读写操作需要等待数据传输完成才能返回，异步IO则是读写操作可以立即返回，数据传输过程在后台进行。
磁盘IO的性能参数有多个，包括吞吐量、响应时间、IOPS等。
其中，吞吐量是指单位时间内传输的数据量，响应时间是指IO操作的延迟时间，IOPS（每秒IO操作数）是指在一秒钟内可以完成的随机IO操作数量。
二、确定磁盘IO极限值确定磁盘IO极限值可以通过两个指标：吞吐量和IOPS。
一方面，吞吐量可以反映磁盘IO的总体性能，另一方面，IOPS可以反映磁盘IO的响应速度。
1. 磁盘吞吐量的测量方法磁盘吞吐量可以通过dd命令测量。
dd命令可以读写指定大小的数据块，可以用于测试磁盘的读写速度。
例如，使用以下命令可以测试磁盘的写入速度：dd if=/dev/zero of=test bs=1M count=1000其中，if参数指定输入文件为/dev/zero，of参数指定输出文件为test，bs参数指定每次读写的块大小，count参数指定读写的块数。
完成写入后，可以使用以下命令测试磁盘的读取速度：dd if=test of=/dev/null bs=1M count=1000其中，if参数指定输入文件为test，of参数指定输出文件为/dev/null，bs参数和count参数的含义与上述相同。
2. 磁盘IOPS的测量方法磁盘IOPS可以通过fio命令测量。
fio是一个灵活的IO测试工具，可以模拟不同的IO场景，并提供多种测试参数，包括随机读写、顺序读写、混合读写等。
例如，使用以下命令可以测试磁盘的随机读写IOPS：fio --name=randwrite --ioengine=sync --rw=randwrite--bs=4k --numjobs=32 --size=100M --runtime=60 --time_based 其中，name参数指定测试任务名称，ioengine参数指定IO引擎，rw参数指定读写模式，bs参数指定每次读写的块大小，numjobs参数指定并发读写任务数，size参数指定测试数据大小，runtime参数指定测试的运行时间，time_based参数指定测试按时间计算。
linux 磁盘io 百分比 计算公式
linux 磁盘io 百分比计算公式
磁盘I/O百分比是在Linux操作系统中用于衡量磁盘性能与负载的重要指标之一。
通过计算磁盘I/O百分比，可以了解磁盘系统的负载程度，从而评估系统的健康状况和效率。
在Linux中，可以使用以下公式来计算磁盘I/O百分比：磁盘I/O百分比=（磁盘I/O时间/（磁盘I/O时间+磁盘空闲时间））* 100%其中，磁盘I/O时间是指磁盘进行I/O操作的时间，包括读取和写入操作；磁盘空闲时间是指磁盘未进行I/O操作的时间。
这个公式可以通过查看系统性能监控工具（如sar、iostat等）提供的信息来计算。
具体步骤如下：
1. 打开终端，使用以下命令安装sar工具（如果尚未安装）：
```
sudo apt-get install sysstat
```
2. 使用以下命令运行sar工具，并将输出重定向到文件中：
```
sar -d > disk_io.txt
```
3. 打开生成的文件disk_io.txt，查找磁盘的I/O时间和空闲时间。
可以通过查找I/O字段下方的Avgqu-sz（平均队列长度）和await（平均等待时间）来获取相关信息。
4. 将磁盘的I/O时间和空闲时间代入上述公式，计算磁盘的I/O百分比。
通过以上步骤，您可以得到磁盘的I/O百分比，从而评估系统的磁盘性能和负载情况。
请注意，磁盘I/O百分比越高，表示磁盘系统的负载越重，需要进一步考虑优化措施，如增加磁盘数量、使用RAID等。
磁盘IO优化
磁盘IO优化IO设备：除CPU和内存以外的计算机系统其他部件。
需要一些策略才能使程序访问这些设备，linux把设备当作一个特殊文件整合到文件系统中。
每个IO设备都被分配一条路径，通常/dev 目录下。
/dev/lp打印机的路径访问这些特殊文件与访问普通文件的方式相同，常用open,read,write,close系统系统调用。
Linux中I/O设备分两类（按传输特性）：字符设备：可接收或发送一个字符流（按字符/字节来读取），无法编址，因而也不存在任何寻址操作（无缓冲只能顺序存取）键盘、打印机、网卡、调制解调器等块设备：将信息存储在可寻址的固定大小数据块中，能够独立的读写单个数据块。
（有缓冲且随机存取）硬盘、光盘、闪存每个字符设备和块设备都必须有主、次设备号，主设备号相同的设备是同类设备（使用同一个驱动程序）。
物理设备，虚拟设备cat /proc/devicesLinux下设备的标识：IDE：hdx~SCSI: sdx~scd0:第1个scsi cd-romdm-0 如果分区利用lvm，则会生成dm-N逻辑卷，虚拟出来的分区dm-1x：为盘号（a基本盘，b为基本从属盘，c为辅助从盘，d为辅助从属盘）~：1-4表示主分区或扩展分区，从5开始就是逻辑分区磁盘：是计算机最慢的子系统，也是最容易出现瓶颈的地方，CPU 磁盘要涉及到机械操作，比如：转轴，寻轨等。
硬盘硬件指标：转速、单碟容量，平均寻道时间，缓存，内部数据传输率fdisk -l 查看系统的磁盘情况Linux是如何处理硬盘和内存之间的IO：缺页中断主缺页中断：要从磁盘读取数据而产生的中断次缺页中断：数据已被读入内存并被缓存起来，从内存缓存区中而不是直接从硬盘中读取数据而产生的中断内存缓存区起到了预读硬盘的作用读写IO：磁盘是用来给存取数据用的，即两种相对应的操作，存数据时对应的是写IO操作，取数据时对应的是读IO操作。
单个IO操作：完成一个读IO操作或写IO操作。
数据库性能优化中的磁盘IO调优策略(十)
数据库性能优化中的磁盘IO调优策略在数据库系统中，磁盘IO（Input/Output）是一个关键的性能瓶颈。
因此，磁盘IO调优是提高数据库性能的重要策略之一。
本文将介绍一些常见的磁盘IO调优策略，帮助读者更好地理解和应用于实际数据库系统中。
1. 数据库设计首先，在数据库设计阶段就需要考虑磁盘IO调优的问题。
良好的数据库设计可以减少不必要的IO操作。
例如，合理划分数据表和索引，避免数据冗余和不必要的关联查询。
同时，优化表结构，减少数据行的冗余字段和重复值，可以减小磁盘IO压力。
2. 数据库缓存数据库缓存是一种常见的磁盘IO调优策略。
缓存机制可以将频繁访问的数据和查询结果保存在内存中，减少对磁盘的IO操作。
数据库系统通常会使用LRU（Least Recently Used）算法来管理缓存。
通过调整缓存大小和缓存策略，可以提高访问频率较高的数据的读写性能。
3. 索引优化索引是数据库中常用的优化策略之一。
适当地创建索引可以加速数据库的查询操作，并减少对磁盘的IO操作。
但过多的索引会增加写操作的成本，因此需要权衡索引的数量和查询的频率。
此外，可以使用复合索引和覆盖索引来进一步优化查询性能。
4. 查询优化查询优化也是磁盘IO调优的重要一环。
数据库系统通常会使用查询优化器来选择最优的执行计划。
通过对查询语句的优化，如合并多个查询、减少关联查询和子查询的使用等，可以减小磁盘IO的开销，提高查询性能。
5. 数据归档与分区对于历史数据或者长期未使用的数据，可以将其进行归档或者分区存储。
这样可以将经常使用的热数据和不常使用的冷数据分开存储，从而减少对磁盘的IO访问。
同时，合理使用分区表可以加速数据的查询，并降低数据库的维护成本。
6. 硬件设备优化除了优化软件层面的调优策略外，硬件设备的优化也是提高磁盘IO性能的重要一环。
例如，使用更快速的固态硬盘（SSD）替代传统的机械硬盘（HDD），可以显著提高磁盘IO的速度。
此外，调整磁盘阵列的RAID级别和缓存策略，可以进一步提高磁盘IO性能。
linuxIO优化磁盘读写参数设置
linuxIO优化磁盘读写参数设置linux I/O优化磁盘读写参数设置关于页面缓存的信息，可以用cat /proc/meminfo看到。
其中的Cached 指用于pagecache的内存大小（diskcache-SwapCache）。
随着写入缓存页，Dirty 的值会增加。
一旦开始把缓存页写入硬盘,Writeback的值会增加直到写入结束。
Linux 用pdflush进程把数据从缓存页写入硬盘，查看有多少个pdflush进程cat /proc/sys/vm/nr_pdflush_threadspdflush的行为受/proc/sys/vm中的参数的控制/proc/sys/vm/dirty_writeback_centisecs (default 500):1/100秒, 多长时间唤醒pdflush将缓存页数据写入硬盘。
默认5秒唤醒2个（更多个）线程。
如果wrteback的时间长于dirty_writeback_centisecs的时间，可能会出问题。
pdflush的第一件事是读取/proc/sys/vm/dirty_expire_centiseconds (default 3000)1/100秒。
缓存页里数据的过期时间(旧数据)，在下一个周期内被写入硬盘。
默认30秒是一个很长的时间。
第二件事是判断内存是否到了要写入硬盘的限额，由参数决定：/proc/sys/vm/dirty_background_ratio (default 10)百分值，保留过期页缓存（脏页缓存）的最大值。
是以MmeFree+Cached-Mapped的值为基准的pdflush写入硬盘看两个参数：1 数据在页缓存中是否超出30秒，如果是，标记为脏页缓存;2 脏页缓存是否达到工作内存的10%;以下参数也会影响到pdflush/proc/sys/vm/dirty_ratio (default 40)总内存的最大百分比，系统所能拥有的最大脏页缓存的总量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
磁盘结构
硬盘的逻辑结构
盘片（Platter） 盘面（Side）
磁道（Track）
柱面 （Cylinder） 数据的读/写按柱面进行 扇区（Sector ）（512Byte）
扇区头标和数据区 交叉因子 &磁头扭斜
硬盘容量：盘面数×柱面数×扇 区数×512字节
TDB | 后台开发中心
Linux性能优化
磁盘IO
TDB | 后台开发中心
磁盘IO系统性能
磁盘结构
性能指标
监测工具
优化措施
TDB | 后台开发中心
磁盘结构
硬件指标
转速 （5400-15000） 单碟容量 （80G-640G） 平均寻道时间 （3-6ms） 缓存 （8M-64M） 内部数据传输率 （60M-90M）
温彻斯特式硬盘
TDB | 后台开发中心
磁盘 I/O 性能指标
传输速度(Transfer Rate): IOPS * IO Chunk Size 4K: 140 * 4K = 560K / 40M = 1.36%
16K: 135 * 16K = 2160K / 40M = 5.27%
32K: 116 * 32K = 3712K / 40M = 9.06% IO响应时间(IO Response Time)
Linux下的标识
IDE： hdx~；SCSI：sdx~
“x”为盘号（a为基本盘，b为基本从属盘，c为辅助主盘，d为
辅助从属盘）,“~”代表分区，1到4表示主分区或扩展分区，
从5开始就是逻辑分区
TDB | 后台开发中心
Linux磁盘系统
我们可以通过“fdisk -l”命令来查看系统的磁盘情况：
TDB | 后台开发中心
Redundancy
No Yes Yes Yes
Disks required
N N*2 N+1 N*2
Faster reads
Yes Yes Yes Yes
Faster writes
Yes No No Yes
对性能的影响
IO响应时间(IO Response Time) :保持不变，控制在10ms
IOPS ：Read提升N倍，Write（Raid0:N，Raid1:N/2,
TDB | 后台开发中心
磁盘 I/O 性能指标：IOPS
IOPS(IO per Second)
寻址时间(Seek Time) 旋转延时(Rotational Delay) 传送时间(Transfer Time)
IO Time = Seek Time + 60 sec/Rotational Speed/2 + IO ChunkSize/Transfer Rate IOPS = 1/IO Time 常用磁盘的IOPS，转速15K RPM，平均寻道时间为5ms，最大传输速率为40MB/s ，不 同IO大小下的IOPS：
服务时间+等待时间
队列大小<最大IOPS的70%
TDB | 后台开发中心
磁盘I监测工具
优化措施
TDB | 后台开发中心
IO性能监控：iostat
rrqm/s、wrqm/s：每秒进行merge的读、写操作数目。 r/s、w/s：每秒读、写操作数。(IOPS) rsec/s 、wsec/s：每秒向设备读取、写入的扇区数量。 rkB/s、wkB/s：每秒读、写KB字节数。(吞吐率） avgrq-sz I/O 请求的平均扇区数。（平均单次IO大小） avgqu-sz I/O 请求的平均队列长度。 await I/O 请求的平均等待时间，单位为毫秒。 (平均IO响应时间 ) svctm I/O 请求的平均服务时间，单位为毫秒。 %util 处理 I/O 请求所占用的时间的百分比，即设备利用率。
高速缓存(Cache)
缓存数据 预读 回写
使用RAID
Raid0：无差错控制的带区组 Raid1：镜象结构 Raid5：分布式奇偶校验的独立磁盘结构 Raid10：高可靠性与高效磁盘结构
减少应用存取磁盘的次数
TDB | 后台开发中心
磁盘 I/O 性能提升
使用RAID
Level
RAID 0 RAID 1 RAID 5 RAID 10
TDB | 后台开发中心
IO性能监控：iostat
TDB | 后台开发中心
IO性能监控
vmstat top
sar
...
TDB | 后台开发中心
磁盘IO系统性能
磁盘结构
性能指标
监测工具
优化措施
TDB | 后台开发中心
提升磁盘 I/O 性能
硬件保障
IDE、SCSI=> SATA、SAS
使用多个控制器
磁盘IO系统性能
磁盘结构
性能指标
监测工具
优化措施
TDB | 后台开发中心
磁盘 I/O 性能指标
每秒 I/O 数（IOPS ）——传输小块不连续数据时 吞吐量（Throughput）——传输大块不连续数据的数据
平均 I/O 数据尺寸——32K
磁盘活动时间百分比（Utilization）——70% 服务时间（Service Time） I/O 等待队列长度（Queue Length）——磁盘数* 2 等待时间（Wait Time） ——持续超过 10ms
如何保存到数据库
块状设备：写一个字节和写一个block是
一样快的
线性设备：线性写远比随机写快
TDB | 后台开发中心
磁盘 I/O 性能提升—应用层优化
减少磁盘IO的次数
应用层增加Cache，减少读的次数
延迟写、批量写，减少写的次数 利用产品特性，提高有效读写率
数据统计：公共字段每条的数值基本一样，如何提 高储存效率？ 统计的对象往往是多个字段中的一两个字段，如何 提高读取效率 InfoBright：列式存储、知识网络、高效压缩
TDB | 后台开发中心
总结
磁盘IO系统性能
磁盘结构
性能指标
监测工具
优化措施
TDB | 后台开发中心
Any Question?
TDB | 后台开发中心
谢 谢！
TDB | 后台开发中心
Raid5:N/4, Raid10:N/2
传输速度(Transfer Rate)
random_throughtput = random_IOPS * IO_chunk_size
TDB | 后台开发中心
磁盘 I/O 性能提升—应用层优化
充分利用磁盘的特性
管家数据上报
120字节/record 300亿每天，峰值50w/s
磁盘结构
硬盘的接口类型
IDE（制造简单、成本低、兼容性好，20M~130MBPS） SCSI（速度快、可靠性高、热拔插、高成本，40M~320MBPS） SATA （串口硬盘、结构简单、自动纠错，150M~600MBPS) SAS (串口硬盘、兼容SATA，300M~1300M) 光钎通信（热插拔性、高速带宽、远程连接、连接设备数量大 ）
4K： (1/7.1 ms = 140 IOPS) 5ms + (60sec/15000RPM/2) + 4K/40MB = 5 + 2 + 0.1 = 7.1 16K ：(1/7.4 ms = 135 IOPS) 5ms + (60sec/15000RPM/2) + 16K/40MB = 5 + 2 + 0.4 = 7.4 64K: (1/8.6 ms = 116 IOPS) 5ms + (60sec/15000RPM/2) + 64K/40MB = 5 + 2 + 1.6 = 8.6