HPUX系统优化

系统优化的原则：

对系统进行性能调试必须遵循一定的原则，这些原则都经验丰富的工作师经过多年的实践总结出来的。

性能调试是一件严肃的事情，不要对系统的各种参数进行随意的改动；

2. 一次只对某个领域进行性能调试，例如对CPU的使用情况进行分析；

3. 每次只改动一个设置；

4. 每次对系统性能进行分析时，至少使用两种性能分析和调试工具；

5. 经验是最好的分析和调试工具；

6. 知道什么情况下该停止操作；

一般地，我们有以下四条性能调试的规则：

1) 当你回答一个关于计算机系统性能的问题时，最初的回答总是―可能吧，视具体情况而定‖。当然这个回答不会让用户满意的，因此，我们必须进一步可能对系统性能产生影响的各种因素进行分析，它们所有作用是什么，起多大的作用。

2) 性能分析和调试总是存在着折衷。当系统管理员试图对计算机系统的性能进行调整时，他们可能需要修改系统参数，或修改应用。但是，性能调试不存在唯一回答或最优答案。

3) 在分析系统性能的同时，系统性能将会受到影响。由于在进行系统性能分析时，性能分析工具本身将会占用一定的系统资源，如CPU资源、内存资源等等。我们必须注意到这点，即分析工具本身运行可能会导致系统某方面的资源瓶颈情况更加严重。

4) 任何情况下只用一种工具是无法全面、正确地分析出系统的资源瓶颈所在的。

同样，由于系统性能分析的工具程序对系统本身的性能存在一定的影响，工具本身也只能提供客观的性能情况分析，甚至会出现两种不同的工具分析的结果差异很大的情况。例如使用top、sar、vmstart查看CP U利用率的结果可能都与真实情况有一定出入。

对系统进行性能调试的工具有很多，这些可以两大类：

一类是标准的分析工具，即所有的UNIX都会带的分析工具；

一类是不同厂商的UNIX所特有的性能分析工具，比如HP-UX的增值性能分析工具glance plus、PRM/WLM。

按性能分析工具的用途来说，它可以分为：

CPU的使用情况：

sar,time,top,ps,puma,xps

内存的使用情况：

vmstat,ipcs

文件系统状态：

bdf,iostat,sar,swapinfo,nfsstat

I/O子系统状态：

iostat

网络性能：

netstat

SAR

SAR(System Activity Reporter) 系统活动情况报告

顾名思义，SAR工具将对系统的当前状态进行取样，然后通过计算数据和比例来表达系统的当前运行状态。它的特点是：

System V-based，在很多的UNIX版本中都存在；

可以连续对系统取样，获得大量的取样数据；

取样数据和分析的结果都可以入文件；

自己所需的负载很小

SAR也有一个致命的不足，这就是：SAR不能对某个进程进行深入分析，它仅是一对系统的整体情况进行分析。

在HPUX中SAR的语法如下

sar [-ubdycwaqvmAMS] [-p psetid] [-o file] t [n]

参数说明：

-A：所有报告的总和。

-u：CPU利用率

-v：进程、I节点、文件和锁表状态。

-d：硬盘使用报告。

-r：没有使用的内存页面和硬盘块。

-g：串口I/O的情况。

-b：缓冲区使用情况。

-a：文件读写情况。

-c：系统调用情况。

-R：进程的活动情况。

-y：终端设备活动情况。

-w：系统交换活动。

一：HPUX系统优化--内存管理

UNIX系统的内存管理的主要工作包括：跟踪内存的使用和可用内存的情况、为进程分配内存、管理磁盘与物理内存之间的换页(paging)。

虚拟内存(virtual memory)

virtual memory uses a disk as an extension of RAM so that the effective size of usable memory grows correspondingly. The kernel will write the contents of a currently unused block of memory to the hard disk so that the memory can be used for another purpose. When the original contents are needed again, they are read back into memory. This is all made completely transparent to the user; programs only see the larger amount of memory available and don't notice that parts of them reside on the disk from time to time. Of course, reading and writing the hard disk is slower (on the order of a thousand times slower) than using real memory, so the programs don't run as fast. The part of the hard disk that is used as virtual memory is called the swap space.

物理内存(physical memory)

这个不用说了吧？

交换区swap space

并不是所有从物理内存中交换出来的数据都会被放到Swap中（如果这样的话，Swap会不堪重负），有相当一部分的数据直接交换到文件系统。例如，有的程序会打开一些文件，对文件进行读写(其实每个程序都至少打开一个文件，那就是运行程序本身)，当这些程序的内存空间需要交换出去时，文件部分的数据就没有必要放到Swap空间中了，如果是读文件操作，那么内存数据直接就释放了，不需要交换出来，因为下次需要时，直接从文件系统就能恢复;如果是写文件，只需要将变化的数据保存到文件中，以便恢复。但是那些用malloc(3C)和new函数生成的对象的数据则不同，需要Swap空间，因为它们在文件系统中没有相应的―储备‖文件，因此被称为―匿名‖(Anonymous)的内存数据，这类数据还包括堆栈中的一些状态和变量数据等，所以说，Swap空间是―匿名‖数据的交换空间。

最初，交换空间是配置磁盘时分配的。有三种类型的交换空间：

设备交换—此类交换空间占用一个逻辑卷（卷组片），它是专为分页和交换保留的。

文件系统交换—可将文件系统中可用的空间用于交换空间。安装此类文件系统交换空间允许当偶尔需要超过已分配的设备交换空间时，提供额外的交换空间。仅当设备交换空间不足时，才用此类交换空间。伪交换—可将系统内存用作第三类交换空间。在HP-UX 中，交换空间最多可包括7/8（八分之七，87.5%）的系统内存容量。

缺省情况下，伪交换空间已配置成可用的。如果您不想使用它，则应重新设置可调的系统参数，将swapmem_on 设置成0（或―off‖）。

交换优先级

当添加交换区时，可以指定每个交换区的优先级。优先级范围从0 到10：

0 （最高优先级）

……

1 （缺省）

10 （最低优先级）

系统首先使用较高优先级的交换区。当每个交换区具有相同的优先级时，系统会将设备交换优先级给予文

件系统交换。

请遵循下列指导：

如果您在不同的物理硬盘上具有多个交换设备，并且这些交换设备具有类似的性能，则应给它们指定相同的优先级。这样，系统就可以在交错的基础上使用每一个交换设备以增强性能。

给性能较快的交换区指定较高的优先级，而给性能较慢的交换区指定较低的优先级。

文件系统交换应仅用于当设备交换溢出时。

换页/分页paging

A technique by which the contents of a virtual memory address(called pages) are moved from virtual memory(the disk)into and out of the main memory where it is accessed by the CPU.

在HPUX中换页这个机制是由一个叫vhand的进程来完成的，可以通过命令ps –ef |grep vhand来看到，有时我们会发现这个进程占用较多的CPU资源，这说明系统在频繁换页，也直接表示系统物理内存严重不足。

当可用内存的数量小于LOTSFREE时，例程pageout将被调用来选择什么内存可以释放。它采用two-handed clock algorithm,the reference hand turn off the reference bit of each memory page it references.If the refernce bit is still zero when the second hand gets to it,the page is freed.If the page is clean(unmodified),it is added to the freelist.If the page is dirty,it must be posted to the swap device before being put on the freelist.

lotsfree: based on physical memory (64 MB -> 863) upper bound where paging starts/stops

desfree: based on physical memory (64 MB -> 215)lower bound where paging starts/stops

minfree: based on physical memory (64 MB -> 53) threshold where deactivation starts

换页失败Page fault

An invalid address error(trap)that occurs when the CPU requests a page from memory that has not been paged in from the disk(virtual memory)to the main memory. The page may also have been paged out from the main memory prior the request.

非活动进程Process Deactivaton

Deactivating a process so its memory pages will be flagged free or paged out rapidly by vhand.

Thrashing

A situation in which a process is spending more time paging than processing;a high number of page faults is occuring.

Buffer Cache

它是内存的一部分，用于加快文件存取时间；

缓存的大小可以随可用内存动态变化，但也可以通过修改内核参数而改成固定的大小；

缓存可以提高磁盘的读/写性能；在缓存的内容可以通过sync进程来强制写入磁盘；

从缓存的读和写又称为逻辑读和逻辑写；

buffer cache的好坏看读写命中率，读90，写70以上都算好。我们可以通过sar –b命令查看。

系统的buffercache是由内核参数dbc_min_pct和dbc_max_pct决定的，他决定了文件读写I/O的速度，

一般非文件服务器的系统建议开到200到300M左右。不建议开得过大。因为过大的会造成偶尔的系统不响应，因为此时系统正在把内存中的数据存盘。

内存泄漏

这个副标题抬头太大，似乎也不是我能从本文能够做出解释的，但事实上，在我们的日常应用中，内存泄漏而引起的问题可以说非常常见，它包括了：UNIX系统本身、系统软件缺陷或补丁本身引起的、数据库系统的问题、应用程序漏洞、不适当的系统运行方式等各种原因引起。

对于不同的原因，也只有通过系统管理员使用不同的工具对系统进行检测，逐步分离判断产生问题的可能性，最终寻找到真正引起内存泄漏的原因。

内存的用途

按用途来分，内存可以分成两部分：预留内存和动态内存。预留内存主要用于存放：system table、data structures、buffer cache。

其中系统表和数据结构占用的数量一般很小，但缓存则可能占到很大一部分。

动态内存主要用于存放：process text、data stack、share memory segments。其中各进程锁定的内存会影响动态内存的大小。

衡量内存闲忙程度的指标

1) 整体内存忙闲指标：

buffer cache size: 缓存区在内存开销中占很大比例；page in/out rates; swap in/out rates; 可用内存的大小，或用得到内存的大小(available memory size): 自由内存的大小(free memory size): what is currently available,it should not be confuzed with available memory,which does not change during normal sytem operation; swap queue length;

2) 单个进程的内存衡量指标：

一个进程占用物理内存的大小(resident set size) 一个进程占用虚拟内存的大小(virtual set size) VM reads and writes: it can show how many physical memory management reads and writes were made to and from the disk during the chosen interval.

内存资源成为系统性能的瓶颈的征兆

当内存资源成为系统性能的瓶颈时，它有一些典型的症状：

很高的换页率(high pageout rate):

HP-UX是一个按需调页的操作系统，通常情况下，它只执行调入页面进入内存的操作，以让进程能够运行。只有操作系统觉得系统需要释放一些内存空间时，才会执行从内存调出页面的操作，而过高的调出页面操作说明内存缺乏；

进程进入不活动状态(process deactivation activity):

当自由的内存页面数量小于MINFREE时，很多进程将强制进入不活动状态，因为，any deactivation activity represents a condition in which normal paging is inadequate to handle the memory demands.

自由内存的数量很小，但活动的虚拟内存却很大(very small free memory and large active virtual memory)

交换区所有磁盘的活动次数可高(high disk activity on swap devices)

可高的全局系统CPU利用率(high global system CPU utilization):

很长的运行进程队列，但CPU的空闲时间却很多(large run queue with idle CPU)

内存不够出错(out of memory errors)

CPU用于vhand和swapper两中守护进程的时间(CPU time to vhand and swapper)

必须注意的是，有时候我们发现CPU很忙，这似乎是CPU资源成为系统性能的瓶颈，但如果进一步分析，发现vhand和swapper守护进程占用了大量的系统CPU时间，很显然，这时系统性能瓶颈真正所在可能是内存。

哪些进程是占用内存资源的大户?

下面是一些典型的占用内存资源的大户：

buffer cache

plocked process：plocked processes are those that are locked in memory and are not elogible to be paged.通常，这些进程都是一些比较重要的进程，不便调出内存。

档案库(archive libraries)：把库放入内存可以加快程序的执行，但它们将占用大量的内存；

共享内存(shared memory)

关系型数据库(relational databases)

X-终端和X-服务器进程(X-terminals and X-servers)：通常，一个X-终端需要额外的2-4兆内存；一个X-服务器需要400KB以上的内存；

交换区设多大最佳?

对于不同的应用，没有绝对的交换区最佳设置。

一般常规的UNIX系统都说要求交换区须是内存的1倍至2倍，但事实上这是在十多年前的事了，那时的UNIX物理内存不多，64M、256M都很常见，交换区设置成内存2倍到3倍都是有可能必须的。随着硬件的发展，现在的UNIX主机内存都在数G以上，12G，24G内存的系统也很常见，在这种类型的系统上如果也按1倍或2倍的交换区要求来划分，硬盘资源极度浪费，事实上系统永远也用不到交换区中的大部分硬盘空间。

为此建议按以下原则来配置交换区：

1. 在内存大于4G以上的系统，建议交换区设为内存的0.75倍，如果内存更多，建议可以设到更低。

2. 在程序中使用crashconf -v看系统DUMP时要记录多少数据，就能了解到要花多少交换区。

3. 在HPUX系统内核有一个参数，默认为swapmem on，请保证这个参数是打开的。这个专用于伪交换，伪交换能极大的提高大内存主机的效率。

4. 交换区建议分在不同硬盘上。

内存优化的方法

1) 基于硬件的方法：

增加物理内存

使用无盘工作站替代X-terminal

2) 基于软件的方法：

减小内核参数maxdsiz的值；

减少内存锁定的使用；

杀死不必要的进程；

识别出需要大量内存的进程；

重新设计应用；

减小内核的大小；

减小系统表的大小；

减小缓存区的大小；

3) 利用serialize命令来调度大进程的系统资源需求

serialize - force target process to run serially with other processes

/usr/bin/serialize applicaiton

/usr/bin/serialize -p pid

二：IO性能优化

HP-UX 文件系统类型

JFS（Journaled File System，定期文件系统）

缺省情况下安装在HP-UX 11.0及以上版本中，通常建议使用此类型。具有文件系统快速恢复功能和执行多种联机管理任务的能力。

HFS（High Performance File System，高性能文件系统）

需要与早期HP-UX 发行版兼容时。代表UFS（UNIX File System，UNIX 文件系统）的HP-UX 标准实现。

NFS（Network File System，网络文件系统）

当使用NFS 从远程系统挂接目录时。NFS 允许多个系统采用客户端/服务器方式共享相同的文件。由于访问技术是透明的，远程文件访问类似于本地文件访问。

CDFS（CD-ROM File System，CD-ROM 文件系统）

当使用CDFS 挂接包含文件系统的CD-ROM 时。CDFS 是只读文件系统；无法在CDFS 中写入信息。

LOFS（Loopback File System，回送文件系统）

使用LOFS 将现有目录挂接到其他目录中时。允许同一个文件层次结构出现在多个位置，此功能在创建生成环境和开发环境的副本时非常有用。

JFS 是VERITAS 定期文件系统(VxFS) 的HP-UX 实现，高度可靠性和快速恢复功能是其主要特征。自10.30 版本起，JFS 便是缺省的HP-UX 文件系统。HP-UX 11i 操作环境中包含VxFS。

HP-UX 操作系统软件中附带有基本JFS 功能(目前版本为BASE JFS3.5)。除了安装称为HP OnlineJFS （独立另购的产品，目前版本为OnlineJFS3.3/OnlineJFS3.5）的独立订货产品之外，JFS 还提供了联机管理功能，包括备份、调整大小和碎片整理。

HFS相对于vxfs来说优点是系统开销小，因为iNODE等关系，劣势是出了问题不容易恢复，一般常用在操作系统分区,而VXFS对大文件支持要比HFS好很多。

在实际应用上，我们建议系统分区使用HFS系统，数据、应用分区使用VxFS，并建议另行采购OnlineJFS 软件。在需要高性能的系统上，建议关闭NFS。

衡量I/O闲忙程度的指标

下面是一些衡量I/O闲忙程度的经用指标：

磁盘利用率(disk utilization)

磁盘队列长度(disk queue length)

磁头/逻辑卷的读/写速率(read/write rates per spindle/logical volume)

原始I/O(raw I/O)：主要用于数据库应用

交换队列的长度(swap queue length)

缓存命中率(buffer cache hit ratio)

网络文件系统和无盘工作站速率(NFS and diskless rates(server))

I/O资源成为系统性能的瓶颈的征兆

当I/O成为瓶颈时，会出现下面这些典型的症状：

过高的磁盘利用率(high disk utilization)

太长的磁盘等待队列(large disk queue length)

等待磁盘I/O的时间所占的百分率太高(large percentage of time waiting for disk I/O)

太高的物理I/O速率:large physical I/O rate(not sufficient in itself)

过低的缓存命中率(low buffer cache hit ratio(not sufficient in itself))

太长的运行进程队列，但CPU却空闲(large run queue with idle CPU)

哪些活动是占用I/O资源的大户?

下面是一些占用大量I/O资源的活动：

换页(paging):paging不仅会引起内存问题，还可能引起磁盘问题；

open,creat,and stat system calls：系统调用会引起大量的磁盘I/O；

multiuser I/O and random I/O

relational database

core dumps

I/O优化解决方案

1. 如果一个DISK上的多个逻辑卷很忙，那么把一个卷移走，可以用pvmove命令。

2. 访问同一文件系统多个文件时，可以用ln -s把一个文件系统中的文件移到另一个文件系统中，或用把数据库中的数据移走，来提高效率。

3. 在glance中可用S来选择看单独磁盘的读写状态好坏。

三：CPU性能优化：

我们所说的CPU一般是指微处理器，即Microprocessor，一般地，一个CPU的主要组成部分为：

cache

cache就是高速内存，它的存取时间一般是10-20纳秒(ns)，这样，CPU可以在一个时钟周期内访问一次cache；而一般的内存的存取时间为80-90纳秒(ns)，它的大小对CPU的性能有很大的影响。

TLB(translation lookaside boffer)

TLB是高速cache，它用于存放最近访问的虚拟地址和与其对应的物理地址对，这样TLB将可以把虚拟地

址转换为物理地址。TLB是内存中系统转换表的一个子集；TLB通常是指向一个内存页面，而不是一个内存地址；它的大小对CPU的性能有很大的影响。

coprocessor

不同的CPU，一般有不同的时钟频率和高速缓存容量。

CPU在一次时钟周期内一般可以从高速缓存内取到一个指令并执行它。因此，从理论上说，只要CPU的主频越快，单位时间内所能执行的指令则越多。目前，有些CPU可以在一个时钟周期内执行多条指令，如PA8500可以执行4条指令。

高速缓存的大小会制约CPU的执行效率，虽然CPU主频很快，但它取不到数据，则只有空运行。因此，高速缓存的大小很重要；高速缓存又分数据高速缓存和指令高速缓存，分别存放从内存预先取来的即将执行的数据和指令单元。

虚拟寻址

一般，系统中的虚拟地址空间要比物理地址空间大得多，例如，如果系统是64位的，则理论上，它的寻址空间可以达到2的64次幂(2**64=18,447PB)，但由于受费用的因素的影响，实际上的物理内存最大只有十几GB的内存。

每个进程都有自己的唯一虚拟地址空间，然而，进程的运行必须把虚拟地址映射到物理地址，这需要TLB、高速缓存和内存三者的配合。如果需要的信息不在内存，则导致一个页面错。

流水线(Pipelining)

TLB和高速缓存试图在一个时钟周期内给CPU提供它所需的信息，然而，这个过程是100%的利用率，对CPU来说，它必须先用一个时钟周期去取下一个指令，再一个时钟周期去执行这条指令，这样，CPU的利用率也只有50%。为了让CPU更忙，通常的做法是，采用流水线的方法。如PA8500是采用7个步骤的流水线。

操作系统和进程

HP-UX是一个多用户、多任务的UNIX操作系统。它的性能依赖于用户数的多少、用户任务的类型、硬/软件件的配置。

HP－UX有两种运行级别：

1. 用户级：系统用户可以与操作系统进行交互操作，如运行应用和系统命令。用户级通过系统调用接口访问内核级。

2. 内核级：操作系统自动运行一些功能，它们主要对硬件进行操作。

在操作系统中，用户程序是以进程方式运行。进程的状态有以下几种：

SRUN运行状态

SSLEEP睡眠状态

SZOMB僵尸进程

SIDL空闲

SSTOP停止状态

CPU的调度

一旦进程所需的数据调入内存后，它将等待CPU调度者来分配CPU时间。一般，在HP-UX中，每个进程都可以得一个固定的时间片来运行，这个时间片的长度为十分之一秒(1/10秒)。

由于HP-UX是一个多任务的操作系统，它需要一种手段来进程的执行次序，这就是中断。在系统中，时钟中断处理器是用来处理时钟中断的系统软件。具体地说，它将收集系统和accounting statistics and doe s context switching.系统性能也与这种中断发生的频率有关。

进程优先级

每个进程都有自己的优先级；

实时优先级：-32~127，一个进程如果想以实时优先级运行，则必须用命令#rtprio来设置；

分时系统优先级：128～177；

分时用户优先级：178～251；

优先级：252～255 are used by the system as virtual memory management priorities for process d eactivation.

分时进程在初始优先级是由系统分配的，为一个定值。用户可以通过改变进程的nice值来改变分时进程的优先级。因为进程会随着它的执行，将以nice值来降低它的优先级，当它在等待执行时，又将以nice值来增加其优先级。nice值的系统缺值为20。后台运行的程序缺省值nice'd为24，前台一般为20，前台的

优先级比后台高一点。

在系统性能分析过程中，不仅仅要关心在完成一个进程耗时多少，还包括时间花在哪以及它的时间多少。ps –l命令可以看到优先级（PRI是优先级，越小越高）

使用renice可以提高降低进程优先级，或在glance中使用y键(renice -n 10 进程号）(10为调低，-10为调高优先级）

衡量CPU闲忙程度的指标

要分析系统的CPU资源是否够的前提谁占用了CPU资源，占用了多少，时间多长。下面是一些衡量CP U闲忙程度的经用指标：

1) 用户使用CPU的情况CPU运行常规用户进程CPU运行niced process CPU运行实时进程

2) 系统使用CPU的情况用于系统调用用于I/O管理：中断和驱动用于内存管理：paging and swappi ng 用于进程管理：context switch and process start

3) WIO：由于进程等待I/O而使CPU处于空闲状态的比率，这些I/O主要指block I/O,raw I/O,VM pagi ng/swapins；

4) CPU的空闲率，即除了上面的WIO以外的空闲情况；

5) CPU用于上下文交换的比率(Context Switch CPU utilization)

6) nice

7) real-time

8) 运行进程队列的长度，即处于可运行状态的进程个数的大小，不过我们关心的是这些在等待CPU调度执行时所花的时间；

9) 平均负载(load average)

CPU资源成为系统性能的瓶颈的征兆

CPU就像人的大脑，完成各种交给它的任务。如果任务太多，CPU就要忙不过来，它的运行效率就要下降。就像人生病会有一典型症状一样，当CPU资源成为系统性能的瓶颈时，它也有一些典型的症状：很慢的响应时间(slow response time)

CPU空闲时间为零(zero percent idle CPU)

过高的用户占用CPU时间(high percent user CPU)

过高的系统占用CPU时间(high percent system CPU)

长时间的有很长的运行进程队列(large run queue size sustained over time)

processes blocked on prority

必须注意的是，如果系统出现上面的这些症状并不能说一定是由于CPU资源不够，事实，有些症状的出现很可能是由于其他资源的不足而引起，如内存不够时，CPU会忙内存管理的事，这时从表面上，CPU的利用是100%，甚至显得不够，如果据此就简单地认为增加CPU就可以解决问题是大错特错了。

因此，还是那句话，必须用不同的工具、从不同的方面对系统进行分析后，才能做出结论。即使这样，经验仍将起到不可替代的作用。

哪些进程是占用CPU资源的大户?

在操作系统中，并不是所有的进程都以同样的方式使用CPU资源。通常情况下，有些进程需要比其他进程更多的CPU时间片才能顺利地完成任务。下面是一些典型的占用CPU资源的大户：

进程创建(process creation)

终端字符进程(teminal character processes(MUX- and LAN-based)

计算密集型进程和实时进程

X-终端和X-服务器进程(X-terminals and X-servers)

CPU优化的方法

1) 基于硬件的方法：

1. 升级到更快的CPU；

2. 升级到更大的高速缓存；

3. 增加CPU个数；

4. 把应用分布到多个系统中；

5. 使用无盘结点；

6. 增加浮点处理器；

2) 基于软件的方法：

1. 在不是高峰时间运行批处理；

2. Nice umimportant application;

3. 使用rtpio命令来帮助重要的应用；

4. 使用plock命令来帮助重要的应用；

5. Turn off system accounting;

6. Consider using Taskbroker or DCE;

7. 优化应用，使用HP-UX平台专用的进程资源管理器(Process Resource Manager)。