GaussDB 200 数据库性能监控
数据库性能监控与调优方法
数据库性能监控与调优方法数据库作为企业信息系统的重要组成部分，承担着数据存储与管理的任务，因此数据库的性能对于企业的正常运行至关重要。
本文将介绍数据库性能监控与调优的方法，旨在帮助企业保障数据库的稳定高效运行。
首先，数据库性能监控是保障数据库正常运行的基础。
具体而言，数据库管理员需要对数据库进行持续监控，并及时发现和解决可能存在的性能问题。
以下是一些常用的数据库性能监控方法：1. 监控关键指标：数据库管理员可以通过监控关键指标来评估和监测数据库的性能。
这些指标包括数据库连接数、查询响应时间、磁盘使用率、CPU利用率等。
通过实时监控这些指标，可以及时发现性能问题，并采取相应措施进行调优。
2. 使用性能监控工具：市场上有许多性能监控工具可供选择，如Oracle的Enterprise Manager、MySQL的Percona Monitoring and Management等。
这些工具能够提供可视化的监控界面，帮助管理员实时了解数据库的运行状态，并提供详细的性能分析和建议。
3. 设置告警机制：在性能监控过程中，管理员可以设置告警机制，当数据库出现性能问题时，及时发送警报，以便能够尽早发现和解决问题。
告警机制可以通过邮件、短信等方式进行通知，确保管理员能够第一时间采取措施。
其次，数据库调优是提升数据库性能的有效方法。
通过对数据库的调优，可以优化查询性能、提高数据库的并发处理能力、减少资源消耗等。
以下是一些常用的数据库调优方法：1. 设计优化的数据库结构：合理的数据库结构设计是数据库性能调优的基础。
数据库管理员需要根据应用需求和数据特点，考虑表的索引、关系模式设计、数据类型等因素，以降低查询复杂度，提高查询效率。
2. 优化查询语句：查询语句的优化对于提升数据库性能非常重要。
管理员可以通过修改查询语句、优化查询条件、使用合适的索引等方式，减少查询的时间和资源消耗。
此外，也可以考虑使用数据库的查询优化器，对查询语句进行自动优化。
GaussDB 200 存储方式和空间管理
Page Header Item Item Item Item
插入
Tuple
Tuple
Tuple
Special
Tuple
Tuple
Tuple
Tuple
Special
删除
更新
Page Header Item Item Item
Page Header Item Item Item
在Tuple头部打 上删除标记
Tuple
Tuple
Tuple
在Tuple头部打 上删除标记
Tuple
Tuple
Tuple
Tuple
Page 10
TOAST机制介绍
TOAST技术将大的字段值压缩和/或打碎成多个物理行进行存储的技术。 该项技术支持符合以下条件的数据类型：
• 变长 (varlena)表现形式的数据类型。 • 只有向表中存储超过2KB（1/4页）的字段时才会触发。 • 最大存储1GB（ 230 - 1字节）的数据类型。
滚机制，保证扩容能回退到数据一致性状态。 ● 扩容完成后，数据重分布过程采用一致性Hash技术使得需要迁移的数据量最小。 ● 数据重分布完成后，会删除Node Group1。扩容过程中查询访问Node Group 1，扩容结束后查询访问Node
Group 2，保证扩容重分布过程中的业务持续性。
扩容完成前
GaussDB 200 存储方式和空间管理
课程概述
本课程主要介绍
行列式存储文件结构、TOAST、自由空间映射、可见性映射、数据库分 页、文件读写机制、数据库日志介绍
面向对象：
华为IT大数据产品相关渠道合作伙伴售前、实施人员及客户
ቤተ መጻሕፍቲ ባይዱ完本课程后，您将能够：
oracle数据库监控指标
oracle数据库监控指标Oracle数据库监控是确保数据库正常运行和性能优化的重要任务之一。
下面是一些常见的Oracle数据库监控指标：1. CPU利用率，监控数据库服务器的CPU利用率，以确保系统资源足够支持数据库的正常运行。
高CPU利用率可能表示系统负载过重或者存在性能问题。
2. 内存利用率，监控数据库服务器的内存利用率，包括SGA （System Global Area）和PGA（Program Global Area）的利用情况。
内存不足可能导致数据库性能下降或者出现内存溢出错误。
3. 磁盘空间利用率，监控数据库服务器上的磁盘空间利用率，包括数据文件、日志文件和临时文件等。
磁盘空间不足可能导致数据库无法正常写入数据或者执行其他操作。
4. 数据库连接数，监控数据库的并发连接数，以确保数据库能够处理足够的请求。
高连接数可能导致性能下降或者资源竞争。
5. 数据库会话，监控活动会话和等待事件的情况，以及锁定和死锁等问题。
会话的长时间等待可能表示性能问题或者资源争用。
6. 数据库响应时间，监控数据库的响应时间，包括查询响应时间、事务处理时间等。
高响应时间可能表示数据库性能问题或者缓慢的查询语句。
7. 数据库日志，监控数据库的日志文件，包括错误日志、警告日志和审计日志等。
日志中的错误和警告信息可以帮助识别和解决潜在的问题。
8. 数据库备份和恢复，监控数据库的备份和恢复情况，包括备份的完成时间、备份文件的完整性等。
及时的备份和恢复可以保护数据库的数据安全。
9. 数据库性能指标，监控数据库的性能指标，如平均响应时间、平均等待时间、IO吞吐量等。
这些指标可以帮助评估数据库的性能，并进行性能调优。
10. 数据库版本和补丁，监控数据库的版本和已安装的补丁情况，以确保数据库的安全性和稳定性。
及时应用数据库的补丁可以修复已知的安全漏洞和错误。
以上是一些常见的Oracle数据库监控指标，通过监控这些指标可以及时发现和解决数据库的性能问题，确保数据库的正常运行和高效性能。
高斯数据库表空间利用率
高斯数据库表空间利用率随着互联网的快速发展，数据量的增长呈现出爆发式的趋势，各种数据管理系统也应运而生。
数据库作为一种重要的数据管理方式，被广泛应用于各个领域。
在数据库中，表空间是一个重要的概念，它是用来存储表和索引的逻辑容器。
而表空间的利用率则是衡量数据库性能和效率的重要指标之一。
高斯数据库是一种高效、稳定的分布式数据库管理系统，被广泛应用于各个行业。
在高斯数据库中，表空间的利用率对于数据库的性能和稳定性有着重要的影响。
在本文中，我们将围绕高斯数据库表空间利用率展开讨论。
表空间的利用率是指表空间中已使用空间与总空间的比值，通常以百分比表示。
当表空间利用率达到100%时，表空间将无法再存储新的数据。
因此，合理管理表空间的利用率对于保障数据库的正常运行至关重要。
在高斯数据库中，可以通过监控表空间的利用率来及时发现并解决潜在的问题。
管理员可以通过查看数据库的系统视图或使用数据库管理工具来获取表空间利用率的信息。
对于利用率过高的表空间，可以采取如下措施进行优化：1. 数据库分区：将表空间按照一定的规则进行分区，可以提高数据库的并发性能和查询效率。
通过合理划分表空间，可以使数据均匀分布在多个物理存储设备上，减少磁盘I/O的压力，提高数据库的整体性能。
2. 数据压缩：对于一些历史数据或者冷数据，可以采用数据压缩的方式来减少存储空间的占用。
高斯数据库提供了数据压缩功能，可以将数据在存储时进行压缩，减少存储空间的占用，并且在查询时进行解压缩，保证数据的正确性。
3. 索引优化：在数据库中，索引是提高查询效率的重要手段。
当表空间利用率过高时，可以考虑对索引进行优化。
通过删除冗余索引或者重新设计索引的方式，可以减少索引占用的空间，提高查询性能。
在实际应用中，还可以通过定期清理无效数据、定期收缩表空间等方式来优化表空间的利用率。
同时，高斯数据库还提供了自动管理表空间的功能，可以根据实际情况自动调整表空间的大小，保证数据库的正常运行。
GaussDB200 并发控制
D – Durability 持久性 事务的结果是持久的
示例: 从A账户转账50元到B账户 begin 1.read(A) 2. A := A – 50 3.write(A) 4.read(B) 5.B := B + 50 6.wri能优化
特性设计：
1. 事务同步等待的目的是防止查询的tuple正在进行第二阶段提交导致不可见，如果新的事务和 本地正在进行第二阶段事务无关的话其实没有必要等待，基于这个思想，那么可以把事务等待 机制挪到判断tuple可见性的地方，这样可以减少大部分的冲突，不阻塞集群后续业务。
2. 两阶段提交时，在two-phase文件持久化过程中，目前是将two-phase文件内容写入到xlog 日志中，并在磁盘上创建two-phase文件并用write方式写入，在checkpoint过程中对twophase文件做fsync。
两阶段事务性能优化
技术对比：
读外部一致性：不会读到一个两阶段事务的中间状态。即系统写 入什么，读出来就是什么，真正保证事务的原子性。
产品 中间件 GoldenDB OceanBase GTS Oracle Spanner GaussDB
对比 不保证外部一致性 不保证delete操作和聚焦查询的读外部一致性 正在构筑读外部一致性 2PC，不保证读外部一致性 已经提供了读外部一致性 已经提供了读外部一致性 提供读外部一致性
节点涉及残留事务（DDL），若不降低隔离级别，现在系统可能会阻塞操作避免出现数据不一 致现象。此时若想使用，可以考虑降低隔离级别为Read Uncommitted。 语句：SET TRANSACTION ISOLATION LEVEL READ COMMITTED | READ UNCOMMITTED. 注意：
GaussDB200 SQL 介绍
网络传输
Broadcast Flow (source)
Seq Scan (on persons)
Data Node1
Seq Scan (on scores)
Hash
Broadcast Flow(collector)
Crew3 Worker2
Broadcast Flow (source)
Seq Scan (on persons)
表连接算子比较
Nestloop
HashJoin
MergeJoin
优势
当内表使用索引时，可 以快速定位连接元组。
通过哈希散列，一次性定位 连接元组。
通过归并连接，一次性定位 连接元组。
劣势 适合场景
每个外表元组均需要重 新执行内结点操作。
内表在work_mem放不下可 内外表需要有序，因此必须 能导致使用多轮hash，列重 承受内外表Indexscan或Sort 复值太多可能导致分桶。 的代价。
Hash Join
(source.id =
persons.id)
Crew2 Worker2
Gather Flow (source)
Hash Join
(source.id =
persons.id)
生产者
Seq Scan (on scores)
Hash
Broadcast Flow(collector)
Crew3 Worker1
Cost: 1000
RunTime:10s
× A B C D
SQL引擎：优化器（2/2）
价值：
优化器的好坏在很大程度上决定了数据库性能的优劣
关注点：
Parse tree
结果集行数估算
GaussDB 200 性能调优
性能调优培训2020年目录1优化基础概念 (3)1.1query执行流程 (3)优化手段之统计信息 (4)优化手段之底层存储 (4)优化手段之guc参数 (5)优化手段之SQL重写 (5)1.2执行计划解读 (5)执行计划概述 (5)执行计划解读 (6)执行信息解读 (8)2.1SQL调优基本原则 (11)2.2调优流程 (11)2.3资源监控 (12)top命令 (12)iostat命令 (16)3.1集群配置 (17)安装配置 (17)参数配置 (18)3.2表定义 (18)表定义流程 (18)2020-4-30 第1页, 共42页行/列存表 (19)复制/哈希表 (20)分布列 (20)局部聚簇 (21)分区表 (22)数据类型 (22)4执行态调优 (23)4.1执行态调优流程 (23)4.2性能瓶颈分析 (24)统计信息分析 (24)Performance分析 (24)4.3常见性能瓶颈 (28)SQL语句不能下推 (28)计算偏斜 (32)Scan性能 (32)HashAgg性能 (34)4.4Query Rewrite (37)消除subquery和 sublink* (37)排除pruning干扰* (38)消除in-clause (40)2020-4-30 第2页, 共42页文档名称文档密级1 说明带*号内容为高阶内容，需要有深厚的SQL基础，供学有余力的同学深入了解，其余内容所有学员必须掌握。
2 优化基础概念2.1 query执行流程SQL引擎从接受SQL语句到执行SQL语句需要经历以下几个步骤：1)词法&语法解析按照约定的SQL语句规则，把输入的SQL语句从字符串转化为格式化结构(Stmt)2)语义解析把第二步输出的格式化结构转化为数据库可以识别的对象3)查询重写根据规则把第二步的输出等价转化为执行上更为优化的结构4)生成执行计划根据第三部的输出和数据库内部的统计信息规划SQL语句具体的执行方式5)查询执行根据上一步规划的执行路径执行SQL查询语句2020-4-30 第3页, 共42页优化手段之统计信息GaussDB 200优化器是典型的基于代价的优化 (Cost-Based Optimization，简称CBO)。
GaussDB 200数据库集群规划和部署
生成配置文件（1/3）
利用《配置规划工具》生成各项安装配置文件，并上传到相应节点的指定路径，生成的 配置文件在安装Manager和自动化安装集群时会被使用。
生成配置文件（2/3）
利用《配置规划工具》生成各项安装配置文件如下：
配置文件类 配置文件名 用途 型
配置规划工具生 服务器安装目录 成目录（举例）
“*.conf”文件被 “hostN.ini”文 件引用，记录各 分区的配置信息
D:\Test\preinstall\pa rtition\iniplugin\conf
通常，“*.conf”文件放置于管理节点（如果有 主备管理节点，放置于主管理节点）。例如安装 目录为： /opt/FusionInsight/software/preinstall/parti tion/ini-plugin/conf
Node组成。 OMS节点：操作维护系统的管理节点，一般有两个，互为主备。 Agent Node：操作维护系统中的被管理节点，一般有多个，负责接收并执行OMS节
点的管理命令，比如启动一个DataNode实例。
基本概念（2/2）
对象
描述
举例
服务 服务实例 服务角色 角色实例 主机 机架
可以完成具体业务的一类功能集合。
校验软件包
生成配置文件 LLD工具生成 手动生成
配置操作系统
检查节点环境
安装Manager
安装集群 模板自动化安装 手动安装
安装后检查
检查服务状态 检查主机状态
系统配置
监控告警配置 用户配置
目录
1. 基本概念 2. 安装总体流程 3. 安装前准备 4. 软件安装与部署 5. 安装后检查 6. 系统配置 7. 常见问题处理 8. 2+3集群配置示意图
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
系统资源监控-网络资源（1/2）
在所有存储节点，逐一执行sar和ifconfig命令，查看网络情况。 Sar命令， sar -n DEV 1，1为间隔时间，单位s。
“rxkB/s”为每秒接收的kB数，“txkB/s”为每秒发送的kB数。 分析时，请主要关注每个网卡的传输量和是否达到传输上限。
名称 nodename
类型 text
memorytype
text
memorymbytes integer
描述
节点名称
内存类型，包括以下几种： • total_vmem（虚拟内存） • res_mem（物理内存） • shared_mem（共享内存） • prog_mem（程序text段占用内存） • mctx_peak_mem（除postmaster主线程外通过
“rMB/s”为每秒读取的MB数，“wMB/s”为每秒写入的MB数，“%util”为硬盘使用率， await表示读写请求在队列中的等待时间(ms)。分析时，请主要关注单个硬盘的I/O使用率和 每秒读取、写入的数量。
系统资源监控-IO资源（2/2）
pidstat命令， pidstat -d 1 10，1为间隔时间，单位s，10表示查看占用I/O最多 的Top10进程。
date echo "free memory "$free sync sysctl -w vm.drop_caches=3 fi sleep 10 date done
系统资源监控-IO资源（1/2）
在所有存储节点，逐一执行iostat和pidstat命令，查看I/O情况。 Iostat命令， iostat -xm 1，1为间隔时间，单位s。
内存）
内存类型分配内存的大小
性能相关视图
内存视图pv_total_memory_detail
性能相关视图（1/3）
内存视图pv_session_memory_detail
名称
类型
sessid
text
sesstype
text
contextname level parent totalsize freesize usedsize
系统资源监控-定期drop cache
由于linux系统会将一部分文件的信息缓存在内存中，这样可以减少频繁使用的文
件的磁盘IO时间占用，在free –m显示为cached，在混合高并发场景下需要及时
清理，如下为drop cache脚本：
while [ 1 ] do
free=`free -m |grep Mem |awk '{print$4}'` ; if [ $free -lt 30000 ] then
执行top命令后，按“1”键，可查看每个CPU核的使用率。
系统资源监控-CPU资源（3/3）
● 分析时，请主要关注进程占用的CPU利用率、CPU使用百分比。 ● 其中， “us”表示用户空间占用CPU百分比，“sy”表示内核空间占用CPU
百分比，“id”表示空闲CPU百分比。如果“id”低于10%，表明CPU负载较 高，可尝试通过降低任务量等手段降低CPU负载。
memoryContext分配的内存峰值） • mctx_used_mem（除postmaster主线程外通过
memoryContext分配的内存） • cstore_used_memory（列缓存使用的内存） • sctpcomm_used_mem（sctp通信库使用的内存） • others_mem（postmaster主线程及通过其他方式分配的
GaussDB 200 数据库性能监控
目录
1. 系统资源监控方式 2. 性能相关视图 3. 使用命令行监控集群性能 4. 使用DM工具监控集群性能
系统资源监控-CPU资源（1/3）
在所有存储节点，逐一执行top命令，查看CPU占用情况。按“c”键可以显示出 完整的进程信息。
系统资源监控-CPU资源（2/3）
系统资源监控-网络资源（2/2）
ifconfig命令
“errors”表示收包错误的总数量。 “dropped”表示数据包已经进入了Ring Buffer，但是由于内存不够等系统原因，导
致在拷贝到内存的过程中被丢弃的总数量。 “overruns”表示Ring Buffer队列中被丢弃的报文数目，由于Ring Buffer(aka
系统资源监控-内存资源（1/2）
在所有存储节点，逐一执行top命令，查看内存占用情况。执行该命令后，按 “Shift+m”键，可按照内存大小排序。
系统资源监控-内存资源（2/2）
分析时，请主要关注每个进程占用的内存百分比（%MEM）、整系统的剩余内存。 显示信息中的主要属性解释如下： total：物理内存总量。 used：已使用的物理内存总量。 free：空闲内存总量。 buffers：进程使用的虚拟内存总量。 %MEM：进程占用的内存百分比。 VIRT：进程使用的虚拟内存总量，VIRT=SWAP+RES。 SWAP：进程使用的虚拟内存中已被换出到交换分区的量。 RES：进程使用的虚拟内存中未被换出的量。 SHR：共享内存大小。
text smallint text bigint bigint bigint
描述ห้องสมุดไป่ตู้
线程标识+线程启动时间 线程名称 内存上下文名称 内存上下文的重要级别 父内存上下文名称 当前内存上下文的内存总数 当前内存上下文中已释放的内存总数 当前内存上下文中已使用的内存总数
性能相关视图（2/3）
内存视图pv_session_memory_detail select * from pv_session_memory_detail order by usedsize desc limit 10;
Driver Queue)传输的IO大于kernel能够处理的IO导致。 分析时，如果发现上述三个值持续增长，表示网络负载过大或者存在网卡、内存等问题。
目录
1. 系统资源监控方式 2. 性能相关视图 3. 使用命令行监控集群性能 4. 使用DM工具监控集群性能
性能相关视图
内存视图pv_total_memory_detail