0728监控多台服务器上程序进程状态(带答案)

监控多台服务器上程序进程状态
现有服务器若干台，每台服务器上都有不同的若干个应用，如apache,mysql,tomcat,oracle等，现要求通过脚本去实时统一监控多台服务器上进程的运行状态，根据进程类别不同分为每两分和每5分钟监控一次，例如apache和mysql需要每2分钟监控一次，而mail只需5分钟监控一次。

如果监控到进程DOWN掉了，需发邮件给管理员，如果连续监控5次进程均是Down 掉的状态，则不再继续发邮件。

因为每周都需要对进程的运行状态进行统计，所以，每次监控进程的状态记录均需要保留下来以便于统计使用。

注意：
1、服务器是多台，不是一台
2、每台服务器上的进程均不相同
3、需通过一台服务器对多台服务器上的进程进行集中监控，而不是在每台服务器上都配置
一个监控脚本
4、不同进程的监控频率不同
5、每次监控的结果需要保存，因为以后要统计进程的每天的可用率、每周的可用率、每月
的可用率
6、需考虑监控程序自身的可用性问题
参考答案：
进程列表（手动创建）
[malex@localhost ~]$ more monitor.list
192.168.1.178 Mysql.sh Apache.sh Smb.sh
192.168.1.110 Mysql.sh Apache.sh
192.168.1.177 Apache.sh Smb.sh
执行列表（自动产生）
[malex@localhost ~]$ more run.list
ssh 192.168.1.178 'sh MonitorScripts/Mysql.sh'
ssh 192.168.1.178 'sh MonitorScripts/Apache.sh'
ssh 192.168.1.178 'sh MonitorScripts/Smb.sh'
ssh 192.168.1.110 'sh MonitorScripts/Mysql.sh'
ssh 192.168.1.110 'sh MonitorScripts/Apache.sh'
ssh 192.168.1.177 'sh MonitorScripts/Apache.sh'
ssh 192.168.1.177 'sh MonitorScripts/Smb.sh'
主脚本：
#!/BIN/BAsh
rm run.list
cat monitor.list|while read line
do
IP=`echo $line |awk '{print $1}'`
ProcessList=`echo $line|awk '{print $2,$3,$4,$5,$6,$7,$8,$9}'`
for i in $ProcessList
do
echo "ssh $IP 'sh MonitorScripts/$i'" >>run.list
done
done
sh run.list 1> status.log 2>/dev/null
sh calculator.sh
计数器脚本
#!/bin/bash
LOG=status.log
CountLog=calculator.log
cat status.log|while read line
do
IP=`echo $line|awk '{print $1}'`
Process=`echo $line|awk '{print $2}'`
Status=`echo $line|awk '{print $3}'`
OldLine=`sed -n "/$IP $Process/p" $CountLog`
if [ $Status -gt 0 ];then #The process is UP.
Reset="$IP $Process 0"
sed -i "s/$OldLine/$Reset/" $CountLog #set the count number to 0.
else #The process is down.
AddOne=`echo $OldLine|awk '{print $1,$2,$3 + 1}'`
sed -i "s/$OldLine/$AddOne/" $CountLog
CountNumber=`echo $OldLine|awk '{print $3}'`
if [ $CountNumber -lt 5 ];then
echo "$Process :The Process is down ,please take a look!!!"
else
echo "$Process :5 mails have sent out ,no more mail will be sending till the process is
recoved!!!"
fi
fi
done
单个进程的监控脚本（每台被监控的服务器上都需要有这些脚本）
[malex@localhost ~]$ more MonitorScripts/* ::::::::::::::
MonitorScripts/Apache.sh
::::::::::::::
#!/bin/bash
ProcessName=apache
IP=`/sbin/ifconfig|grep 'inet addr'|grep -v 127|awk -F: '{print $2}'|awk '{print $1}'` Status=`ps -ef |grep $ProcessName|grep -v grep |awk '{print $2}'|wc -l`
echo "$IP $ProcessName $Status"
::::::::::::::
MonitorScripts/Mysql.sh
::::::::::::::
#!/bin/bash
ProcessName=mysql
IP=`/sbin/ifconfig|grep 'inet addr'|grep -v 127|awk -F: '{print $2}'|awk '{print $1}'` Status=`ps -ef |grep $ProcessName|grep -v grep |awk '{print $2}'|wc -l`
echo "$IP $ProcessName $Status"
::::::::::::::
MonitorScripts/Smb.sh
::::::::::::::
#!/bin/bash
ProcessName=smb
IP=`/sbin/ifconfig|grep 'inet addr'|grep -v 127|awk -F: '{print $2}'|awk '{print $1}'` Status=`ps -ef |grep $ProcessName|grep -v grep |awk '{print $2}'|wc -l`
echo "$IP $ProcessName $Status"。