目录
一.Nagios报警简介... 3
二.nagios-master安装... 3
1.用户,目录权限设置... 3
2.安装 nagios-3.0.5.tar.gz. 3
3.Nagios-plugins-1.4.13.tar.gz. 4
4. 修改apache配置... 4
5.主配置文件nagios.cfg. 6
6.权限控制文件cgi.cfg的配置... 7
7.主机定义文件hosts.cfg. 8
8.主机组定义文件hostgroups.cfg. 9
9.监控时间段定义文件timeperiods.cfg. 9
11.联系人配置文件contacts.cfg. 10
12.联系组配置文件contactgroups.cfg. 10
13.服务定义文件services.cfg. 11
14.检测配置,启动web监控... 11
15.一些Nagios插件介绍... 13
二、 监控远程主机... 15
1.首先需要添加nagios用户... 16
2. xinetd服务安装... 16
3.安装nagios-plugins. 16
4.安装nrpe. 17
5.nrpe被监控端配置... 18
6.nagios-master主监控机nrpe设置... 19
三.nagios插件扩展... 19
1.自定义插件check_log_error(shell). 20
2.自定义插件check_hdfs_folder_age(shell). 22
3.自定义插件check_crawler_spider(shell). 23
4.自定义插件check_server_app(python). 24
四.与ganglia集成... 26
1. check_ganglia.py插件扩展... 26
2.nagios-master的service配置... 27
一.Nagios报警简介
nagios的功能是监控服务和主机，但是他自身并不包括这部分功能的代码，所有的监控、检测功能都是有插件来完成的。
再说报警功能，如果监控系统发现问题不能报警那就没有意义了，所以报警也是nagios很重要的功能之一。但是，同样的，nagios自身也没有报警部分的代码，甚至没有插件，而是交给用户或者其他相关开源项目组去完成。
nagios安装，是指基本平台，也就是nagios软件包的安装。它是监控体系的框架，也是所有监控的基础。
打开nagios官方的文档，会发现nagios基本上没有什么依赖包，只要求系统是linux或者其他nagios支持的系统。不过如果你没有安装apache（httpd服务），那么你就没有那么直观的界面来查看监控信息了，所以apache姑且算是一个前提条件。关于apache的安装，网上有很多，照着安装就是了。安装之后要检查一下是否可以正常工作。
nagios定义了4种监控状态,代表不同的严重级别,除了OK代表正常不用关心外,其余3种都要引起重视.如下表：
|
状态 |
代码 |
颜色 |
|
正常 |
OK |
绿色, |
|
警告 |
WARNING |
黄色, |
|
严重 |
CRITICAL |
红色, |
|
未知错误 |
UNKOWN |
深黄色 |
二.nagios-master安装
1.用户,目录权限设置
先增加用户 useradd nagios
mkdir /usr/local/nagios
chown -R nagios /usr/local/nagios
chgrp -R nagios /usr/local/nagios
2.安装 nagios-3.0.5.tar.gz
cd /usr/local/src
wget http://nchc.dl.sourceforge.net/project/nagios/nagios-3.x/nagios-3.0.5/nagios-3.0.5.tar.gz
tar –zxvf nagios-3.0.5.tar.gz
cd usr/local/src/nagios-3.0.5
./configure --prefix=/usr/local/nagios
make all
make install
make install-init
make install-commandmode
make install-config
make install-webconf
验证程序是否被正确安装。切换目录到安装路径（这里是/usr/local/nagios）,看是否存在etc、bin、 sbin、 share、 var这五个目录，如果存在则可以表明程序被正确的安装到系统了。后表是五个目录功能的简要说明：
|
bin |
Nagios执行程序所在目录，nagios文件即为主程序 |
|
etc |
Nagios配置文件位置，初始安装完后，只有几个*.cfg-sample文件 |
|
sbin |
Nagios Cgi文件所在目录，也就是执行外部命令所需文件所在的目录 |
|
Share |
Nagios网页文件所在的目录 |
|
Var |
Nagios日志文件、spid 等文件所在的目录 |
3.Nagios-plugins-1.4.13.tar.gz
wget http://syslab.comsenz.com/downloads/linux/nagios-plugins-1.4.13.tar.gz
tar -zxvf nagios-plugins-1.4.13.tar.gz
cd /usr/local/src/nagios-plugins-1.4.13
编译,指定路径为之前nagios的安装路径
./configure --prefix=/usr/local/nagios/
make
安装
make install
ls /usr/local/nagios/libexec/
会显示安装的插件文件,即所有的插件都安装在libexec这个目录下
4. 修改apache配置
修改apache的配置文件,增加nagios的目录,并且访问此目录需要进行身份验证
vi /usr/local/apache2/conf/httpd.conf,在最后增加如下内容
|
#setting for nagios 20070707 ScriptAlias /nagios/cgi-bin /usr/local/nagios/sbin <Directory "/usr/local/nagios/sbin"> Options ExecCGI AllowOverride None Order allow,deny Allow from all AuthName "Nagios Access" AuthType Basic AuthUserFile /usr/local/nagios/etc/htpasswd //用于此目录访问身份验证的文件 Require valid-user </Directory>
Alias /nagios /usr/local/nagios/share <Directory "/usr/local/nagios/share"> Options None AllowOverride None Order allow,deny Allow from all AuthName "Nagios Access" AuthType Basic AuthUserFile /usr/local/nagios/etc/htpasswd //用于此目录访问身份验证的文件 Require valid-user </Directory> |
增加验证用户
也就是通过web访问nagios的时候,必须要用这个用户登陆.在这里我们增加用户guest:密码为guest
/usr/local/apache2/bin/htpasswd -c /usr/local/nagios/etc/htpasswd guest
New password: (输入guest)
Re-type new password: (再输入一次密码)
Adding password for user guest
到这里nagios的安装也就基本完成了,你可以通过web来访问了.
[url]http://192.169.32.73/nagios[/url] 会弹出对话框要求输入用户名密码
输入guest,密码guest,就可以进入nagios的主页面了
查看认证文件的内容
less /usr/local/nagios/etc/htpasswd
guest:yrxWWTzuHrX5A 前半部分是用户名guest,后面是加密后的密码
---有时候登陆不进去检查/usr/local/nagios/etc/htpasswd.users
cp /usr/local/nagios/etc/htpasswd.user /usr/local/nagios/etc/htpasswd.users
5.主配置文件nagios.cfg
Nagios自己定义了一套规则用于配置文件,其中最重要的概念就是”对象”----object.通俗的理解:假定我们首先定义了”性别”这个对象,它的值只可能是男,女,人妖等等,然后定义某人为一个对象,例如张三,定义张三的时候有”性别”这个属性,它的值就必须来源了之前定义的性别这个对象,要么是男,要么是女
在Nagios里面定义了一些基本的对象,一般用到的有:
|
联系人 |
contact |
出了问题像谁报告?一般当然是系统管理员了 |
|
监控时间段 |
timeperiod |
7X24小时不间断还是周一至周五,或是自定义的其他时间段 |
|
被监控主机 |
host |
所需要监控的服务器,当然可以是监控机自己 |
|
监控命令 |
command |
nagios发出的哪个指令来执行某个监控,这也是自己定义的 |
|
被监控的服务 |
service |
例如主机是否存活,80端口是否开,磁盘使用情况或者自定义的服务等 |
另外,多个被监控主机可以定义为一个主机组,多个联系人可以被定义为一 个联系人组,多个服务还能定义成一个服务组
回到上面的例子,定义张三需要之前定义的性别,我们定义一个被监控的服务,当然就要指定被监控的主机,需要监控的时间段,要用哪个命令来完成这个监控操作,出了问题向哪个联系人报告
所有这些对象绝对多数都是需要我们手动定义的,这就是nagios的安装显得复杂的地方.下面我们来配置nagios主配置文件。
修改nagios的主配置文件nagios.cfg
vi /usr/local/nagios/etc/nagios.cfg
注释行 #cfg_file=/usr/local/nagios/etc/localhost.cfg[2],然后把下面几行的注释去掉：
cfg_file=/usr/local/nagios/etc/contactgroups.cfg //联系组配置文件路径
cfg_file=/usr/local/nagios/etc/contacts.cfg //联系人配置文件路径
cfg_file=/usr/local/nagios/etc/hostgroups.cfg //主机组配置文件路径
cfg_file=/usr/local/nagios/etc/hosts.cfg //主机配置文件路径
cfg_file=/usr/local/nagios/etc/services.cfg //服务配置文件路径
cfg_file=/usr/local/nagios/etc/servicegroups.cfg //服务组配置文件路径
cfg_file=/usr/local/nagios/etc/timeperiods.cfg //监视时段配置文件路径
cfg_file=/usr/local/nagios/etc/commands.cfg //命令配置
cfg_file=/usr/local/nagios/etc/templates.cfg //模板定义
6.权限控制文件cgi.cfg的配置
[root@nagios etc]# vim cgi.cfg
Cgi.cfg的作用是控制相关cgi脚本，先确保use_authentication=1，
default_user_name=***这句可以不用定义，默认是注释掉的，看命令解释说地定义有风险。
authorized_for_system_information=nagiosadmin,guest
authorized_for_configuration_information=nagiosadmin, guest
authorized_for_system_commands=nagiosadmin, guest //多个用户之间用逗号隔开
authorized_for_all_services=nagiosadmin, guest
authorized_for_all_hosts=nagiosadmin, guest
authorized_for_all_service_commands=nagiosadmin, guest
authorized_for_all_host_commands=nagiosadmin, guest
上述的用户名就是之前使用htpasswd -c /usr/local/nagios/etc/htpasswd.users guest生成的guest用户。在此就不做过多说明了。不过这个要注意，请不要随便添加不存在的验证用户，并且为了安全起见，不要添加过多的验证用户。
7.主机定义文件hosts.cfg
cd /usr/local/nagios/etc/
vim hosts.cfg 此处没有hosts.cfg文件，直接vim编辑创建即可
define host{
host_name 192.169.32.67
//被监控主机的名称,最好别带空格 用tab键来分隔
alias mechine67
//别名
address 192.169.32.67
//被监控主机的IP地址
check_command check-host-alive
//监控的命令check-host-alive,这个命令来自commands.cfg,用来监控主机是否存活
max_check_attempts 5
//检查失败后重试的次数
check_period 24x7
//检查的时间段24x7,见下面timeperiods.cfg中定义
contacts xubl
//联系人
notification_interval 1000
//提醒的间隔,每隔1000秒提醒一次
notification_period 24x7
//提醒的周期, 24x7,见下面timeperiods.cfg中定义
notification_options d,u,r
//指定什么情况下提醒,具体含义见下面contacts.cfg部分的介绍
}
8.主机组定义文件hostgroups.cfg
cat /usr/local/nagios/etc/hostgroups.cfg
此处添加之前已定义好的主机名就行了，不同主机名之间用逗号隔开。
9.监控时间段定义文件timeperiods.cfg
cat /usr/local/nagios/etc/timeperiods.cfg
其他时间段一般不需要。
11.联系人配置文件contacts.cfg
cat /usr/local/nagios/etc/contacts.cfg
此处定义的就是出了问题应该通知谁，通常就是系统管理员，上图定义的就是当监控服务出现w(warn) , u（unknow）、c（critical）、r（从异常状态下恢复）或者主机出现d（down机）、u（unreachable）、r（从异常状态下恢复）的时候就会以notify-service-by-email和notify-host-by-email命令定义的方式（此命令是在commands.cfg中定义的）向系统管理员发送报警通知。注意，contacts.cfg最下面也有关于contactgroup的模版，这里我们另外创建一个contactgroup.cfg联系组的文件，就不在联系人文件中定义联系组了,contacts.cfg中关于contactgroup的配置直接删除即可。
12.联系组配置文件contactgroups.cfg
cat /usr/local/nagios/etc/contactgroups.cfg
定义联系组的组名为datagroup，组的成员来自于上面定义的contacts.cfg，如果有多个联系人则以逗号相隔。下面是最关键的了,用nagios主要是监控一台主机的各种信息,包括本机资源,对外的服务等等.这些在nagios里面都是被称之为service,而实现对一个service的监控,则需要通过commands.cfg文件中定义的命令
例如我们现在有一个需要监控的service,是监控一台机器的web服务是否正常, 我们需要哪些元素呢?最重要的有下面三点:首先是监控哪台机,然后是这个监控要用什么命令实现,最后就是出了问题的时候要通知哪个联系人？接下来,看第13部分。
13.服务定义文件services.cfg
cat /usr/local/nagios/etc/services.cfg
以监控http服务为例，监控的主机为67这台主机，监控的时间段为24x7这个时间段名命定的定义
引用的检查服务命令是commands.cfg里定义的check_tcp!80这个命令，就是去ping主机的80端口来检查http是否正常，发现ping不通后最大尝试次数为3次，包括重新检查间隔这些参数都是在timeperiods.cfg里定义的，自己可以修改。
还有就是报警参数的设置也是自己按需求定义(参数在命令后面用！分割)。
报警通知联系人也可以根据需要自定义。
14.检测配置,启动web监控
当所有的文件都配置好以后,可以用命令检查配置得是否正确。
/usr/local/nagios/bin/nagios -v /usr/local/nagios/etc/nagios.cfg 检测配置文件是否正确
如果Error是0说明配置没有问题，如果有错误的话会有提示哪里出错，检查出错的配置文件。
/etc/init.d/httpd restart
/etc/init.d/nagios restart
在浏览器输入主监控机IP地址测试：http：//192.169.32.73/nagios/
要求用户名验证，就是之前httpasswd创建的web验证用户guest，第一部分的功能已经实现了，就是简单的监控主机是否存活当然，对于系统监控来说，这是远远不够的，对于来说，他的真正功能功能还没有发挥出来，在下面部分会详细的叙述。
15.一些Nagios插件介绍
nagios本身并没有监控的功能,所有的监控是由插件完成的,插件将监控的结果返回给nagios,nagios分析这些结果,以web的方式展现给我们,同时提供相应的报警功能(这个报警的功能也是由插件完成的)
所有的这些插件是一些实现特定功能的可执行程序,默认安装的路径是/usr/local/nagios/libexec
我们在定义某个监控service时,所用的监控命令都是来自commands.cfg的,commands.cfg中定义的监控命令就是使用的这些插件.举个例子,之前我们已经不止一次用到了check-host-alive这个命令,打开commands.cfg就可以看到这个命令的定义,如下:
command_name check-host-alive
这句话的意思是定义的命令名是check-host-alive,也就是我们在services.cfg中使用的名称
执行的操作是
$USER1$/check_ping -H $HOSTADDRESS$ -w 3000.0,80% -c 5000.0,100% -p 5
其中$USER1$是在resource.cfg文件中定义的,代表插件的安装路径.就如我们上面看到的那样$USER1$=/usr/local/nagios/libexec,至于$HOSTADDRESS$,则默认被定义为监控主机的地址.
简单的说,我们在services.cfg中定义了对192.169.32.67执行check-host-alive命令,实际上就是执行了
/usr/local/nagios/libexec/ check_ping -H 192.169.32.67 -w 3000.0,80% -c 5000.0,100% -p 1
实际上check-host-alive只是这一长串命令的简称而已,而在services.cfg中都是使用简称的.
在commands.cfg中定义了很多这样的命令简称.基本上我们常用的监控项目都包含了,例如ftp,http,本地的磁盘,负载等等.
我们再看一个命令,check_local_disk定义如下
check_local_disk实际上是执行的check_disk插件.这里的$ARG1$, $ARG2$, $ARG3$是什么意思呢?在之前我们已经提到了这个check_disk这个插件的用法,-w的参数指定磁盘剩了多少是警告状态,-c的参数指定剩多少是严重状态,-p用来指定路径
在使用check-host-alive的时候,只需要在services.cfg中直接写上这个命令名check-host-alive.后面没任何的参数.而使用check_local_disk则不同,在services.cfg中这要这么写
check_local_disk!10%!5%!/
在命令名后面用!分隔出了3个参数,10%是$ARG1$的值,5%是$ARG2$的值,/ 是$ARG3$的值
简单的一句话就是
|
services.cfg定义监控项目用某个命令 ↓ 这个命令必须在commands.cfg中定义 ↓ 定义这个命令时使用了libexec下的插件 |
如果命令不带$ARG1$就可以在services.cfg中直接使用,如果带了使用时就带上参数,以!相隔
继续编辑services.cfg服务配置文件，添加需要监控的服务，基本上就是copy上节我们定义监控主机存活的配置，略作修改就行：
监控192.169.32.67的FTP服务
|
define service{ host_name 192.169.32.67 要监控的机器,给出机器名,注意必须是hosts.cfg中定义的 service_description check ftp 给这个监控项目起个名字吧,任意起,你自己懂就行 check_command check_ftp 所用的命令,当然必须是commands.cfg中定义了的 max_check_attempts 5 normal_check_interval 3 retry_check_interval 2 check_period 24x7 notification_interval 10 notification_period 24x7 notification_options u,c,r contacts xubl } |
监控192.169.32.67的根分区使用情况
|
define service{ host_name 192.169.32.67 service_description check disk check_command check_local_disk!10%!5%!/ max_check_attempts 5 normal_check_interval 3 retry_check_interval 2 check_period 24x7 notification_interval 10 notification_period 24x7 notification_options w,u,c,r contacts xubl } |
其他的监控服务类似于这样，需要监控的服务在commands.cfg里都可以一一找到模版，需要监控不同主机只要修改hostname这一栏就行了。
二、监控远程主机
对于像磁盘容量,cpu负载这样的”本地信息”,nagios只能监测自己所在的主机,而对其他的机器则显得有点无能为力.毕竟没得到被控主机的适当权限是不可能得到这些信息的.为了解决这个问题,nagios有这样一个附加组件----NRPE.用它就可以完成对linux类型主机”本地信息”的监控.
NRPE原理图如下：
NRPE总共由两部分组成:
– check_nrpe 插件,位于在监控主机(nagios-master)上
– NRPE daemon,运行在远程的linux主机上(通常就是被监控机)
按照上图,整个的监控过程如下:
当nagios需要监控某个远程linux主机的服务或者资源情况时
1.nagios会运行check_nrpe这个插件,告诉它要检查什么.
2.check_nrpe插件会连接到远程的NRPE daemon,所用的方式是SSL
3.NRPE daemon会运行相应的nagios插件来执行检查
4.NRPE daemon将检查的结果返回给check_nrpe插件,插件将其递交给nagios做处理.
注意:NRPE daemon需要nagios插件安装在远程的linux主机上,否则,daemon不能做任何的监控.下面讲述如何配置远程监控,首先需要在被监控主机上安装nrpe插件:
1.首先需要添加nagios用户
[root@127.43~]#useradd nagios
[root@127.43~]#passwd nagios
2. xinetd服务安装
service xinetd 命令先查看有没有xinetd,没有的话,进行安装 yum install xinetd
3.安装nagios-plugins
cd /usr/local/src
wget http://syslab.comsenz.com/downloads/linux/nagios-plugins-1.4.13.tar.gz
tar -zxvf nagios-plugins-1.4.13.tar.gz
cd /usr/local/src/nagios-plugins-1.4.13
./configure（如果报错：no acceptable C compiler found in $PATH 则先安装 yum install gcc）
make
make install
这一步完成后会在/usr/local/nagios/下生成两个目录libexec和share
修改目录权限
chown -R nagios /usr/local/nagios
chgrp -R nagios /usr/local/nagios
4.安装nrpe
cd /usr/local/src
wget http://prdownloads.sourceforge.net/sourceforge/nagios/nrpe-2.12.tar.gz
tar -zxvf nrpe-2.12.tar.gz
cd /usr/local/src/nrpe-2.12
./configure --enable-command-args
(如果提示ssl 找不到,则先运行 yum install openssl-devel,再运行./configure)
make all
make install-plugin
make install-daemon
make install-daemon-config
现在再查看/usr/local/nagios/目录就会发现有4个目录了
bin etc libexec share
安装到xinetd下
make install-xinetd
vi /etc/xinetd.d/nrpe
设置only_from=nagios master的ip
only_from = 192.167.33.73 192.169.32.73 127.0.0.1
保存退出
增加nrpe服务
vim /etc/services
在最后一行添加上 nrpe 5666/tcp #nrpe
最后重启xinetd服务
service xinetd restart
---------------------------------------------------------------------
可以查看到5666端口已经在监听了，然后使用check_nrpe这个插件功能测试nrpe时候正常工作
可以看到返回当前NRPE的版本，说明本地用check_nrpe连接nrpe daemon是正常的。要注意的是为了让主监控机能监控到被监控机信息，被监控机也要保证防火墙打开5666端口
5.nrpe被监控端配置
进入到/usr/local/nagios/etc目录，可以看到目录下有一个nrpe.cfg文件，这就是nrpe的主配置文件，编辑他，找到下面这段话：
|
# The following examples use hardcoded command arguments... command[check_users]=/usr/local/nagios/libexec/check_users -w 5 -c 10 command[check_load]=/usr/local/nagios/libexec/check_load -w 15,10,5 -c 30,25,20 command[check_hda1]=/usr/local/nagios/libexec/check_disk -w 20 -c 10 -p /dev/hda1 command[check_zombie_procs]=/usr/local/nagios/libexec/check_procs -w 5 -c 10 -s Z command[check_total_procs]=/usr/local/nagios/libexec/check_procs -w 150 -c 200 |
红色部分是命令名,也就是check_nrpe 的-c参数可以接的内容,等号=后面是实际执行的插件程序(这与commands.cfg中定义命令的形式十分相似,只不过是写在了一行).也就是说check_users就是等号后面/usr/local/nagios/libexec/check_users -w 5 -c 10的简称
我们可以很容易知道上面这5行定义的命令分别是检测登陆用户数,cpu负载,hda1的容量,僵尸进程,总进程数.各条命令具体的含义见插件用法(执行”插件程序名 –h”)
|
/usr/local/nagios/libexec/check_nrpe -H localhost -c check_users |
|
/usr/local/nagios/libexec/check_nrpe -H localhost -c check_load |
|
/usr/local/nagios/libexec/check_nrpe -H localhost -c check_hda1 |
|
/usr/local/nagios/libexec/check_nrpe -H localhost -c check_zombie_procs |
|
/usr/local/nagios/libexec/check_nrpe -H localhost -c check_total_procs |
到此被监控机上的配置就完成了，下面是在nagios-master上的nrpe设置：
6.nagios-master主监控机nrpe设置
在主监控机上其实要做的就是安装check_nrpe插件，然后在commands.cfg里创建check_nrpe的命令定义，daemon不需要安装上去，但是为了保险起见还是同客户端上一样都安装上去。
安装过程参照(2. xinetd服务安装,4.安装nrpe)
7.在commands.cfg增加check_nrpe定义
只需要在最后增加下面内容：
-c后面带的$ARG1$参数是传给nrpe daemon执行的检测命令,之前说过了它必须是nrpe.cfg中所定义的那5条命令中的其中一条.在services.cfg中使用check_nrpe的时候要用!带上这个参数
下面就可以在services.cfg中定义对192.169.32.67主机cpu负载等等的监控
define service {
host_name 192.169.32.67
被监控的主机名,这里注意必须是linux且运行着nrpe,而且必须是hosts.cfg中定义的
service_description check-users
监控项目的名称
check_period 24x7
max_check_attempts 4
normal_check_interval 3
retry_check_interval 2
contacts xubl
notification_interval 10
notification_period 24x7
notification_options w,u,c,r
check_command check_nrpe!check_load
监控命令check_nrpe,是在commands.cfg中定义的,带的参数是check_load,是在nrpe.cfg中定义的
}
接下来重启nagios就行了，到此服务器端和客户端的配置全部完成。
三.nagios插件扩展
前面我们知道,监控的功能完全是否插件来实现的,很多时候我们需要扩展自己的插件来监控特定的service,插件扩展的基本步骤:
1.插件检测的service状态是否正常,在插件的脚本程序退出码来体现。
(如发现service正常,则 exit 0)
2.程序在退出之前,打印一段描述文字,可以显示在nagios界面上
(如echo “service OK!”)
附service状态和脚本程序退出码对应关系:
|
状态 |
代码 |
脚本程序退出码 |
|
正常 |
OK |
0 |
|
警告 |
WARNING |
1 |
|
严重 |
CRITICAL |
2 |
|
未知错误 |
UNKOWN |
--一般不用 |
1.自定义插件check_log_error(shell)
>>>1.1主要功能:
(1) 根据关键字查找进程(通常是一个进程的运行入口主类)
监控这个进程是否存在,如果不存在,则报警。
(2) 检测log,看是否有新的error log出现,如果有,则报警。
>>>1.2参数
(1) 要检测的进程关键字(通常是一个进程的运行入口主类)
(2) log4j打印的日志的文件夹(该文件夹下必须有error.log文件,专门打印error级别的log)
>>>1.3代码(shell)
位于68机器/usr/local/nagios/libexec/
|
#!/bin/sh folder=$2 cd $folder #====1检测进程存活============================================ process_count=`ps -ef | grep $1 |cut -c 9-15 | wc -l` let process_count=process_count-3 if [ $process_count -lt 1 ] then echo "ERROR process not exist ["$1"]" exit 2 fi
#=====2.检测error信息============================================ #检查error.log，取得文件的最新更新时间,然后与当前目录下recent_solve_time.txt中的时#间，作对比 #如果error.log修改时间大于recent_solve_time时间，则报警 #如果recent_solve_time.txt文件不存在,则与当前时间作比较 #============================================================== recent_error_time="1970-01-01 00:00:00" #如果有error信息,则得到error.log的最后修改时间 if [ -f error.log ] then error_count=`tail -200 error.log | grep ERROR |wc -l` if [ $error_count -gt 0 ] then recent_error_last_modify_timestamp=`stat -c %Y error.log` recent_error_time=`date –d @$recent_error_last_modify_timestamp "+%Y-%m-%d %H:%M:%S"` fi fi recent_solve_time="1970-01-01 00:00:00" #查看有没有解决问题记录 if [ -f recent_solve_time.txt ] then recent_solve_time=`cat recent_solve_time.txt` fi msg="recent_solve_time="$recent_solve_time";recent_error_time="$recent_error_time #比较两个时间(先转化为时间戳，然后比较大小) recent_solve_timestamp=`date -d "$recent_solve_time" +%s` recent_error_timestamp=`date -d "$recent_error_time" +%s` if [ $recent_error_timestamp -gt $recent_solve_timestamp ] then echo "ERROR "$msg exit 2 else echo " OK "$msg exit 0 fi |
>>>1.4被监控端配置
(1).脚本拷贝到/usr/local/nagios/libexec/
(2).编辑 /usr/local/nagios/etc/nrpe.cfg , 增加以下内容：
(3).重启:service xinetd restart
>>>1.5 nagios-master配置
(1).编辑services.cfg ，配置你想要监控的进程,如：
(2).重启 service nagios restart
2.自定义插件check_hdfs_folder_age(shell)
>>>2.1主要功能:
check一个hdfs目录的最近更新时间,如果时间过久,则报警
(如监控源码下载包的上传目录,如果很长时间没有源码包,说明下载有问题)
>>>2.2参数
(1)hdfs目录
(2)目录更新时间间隔的报警阀值(如超过两个小时没更新,就报警) 单位为秒
>>>2.3代码(shell)
位于49机器/usr/local/nagios/libexec/
|
#!/bin/sh current_year=`date +%Y` last_modify_time=${current_year}`/home/parallel/hadoop-1.0.1/bin/hadoop dfs -ls $1 | tail -1 | awk -F $1 '{print $1}'| awk -F ${current_year} '{print $2}'` last_modify_timestamp=`date -d "${last_modify_time}" +%s` current_timestamp=`date +%s` #比较源码最修上传时间--与当前时间---相差特定时间以上,则报警 current_timestamp_diff=`expr $current_timestamp - $2` if [ $current_timestamp_diff -gt $last_modify_timestamp ] then echo "ERROR! $1 is too old!" exit 2 else echo "OK $1 modified at "${last_modify_time} exit 0 fi |
>>>2.4被监控端配置
(1).脚本拷贝到/usr/local/nagios/libexec/
(2).编辑 /usr/local/nagios/etc/nrpe.cfg , 增加以下内容：
(3).重启:service xinetd restart
>>>2.5 nagios-master配置
(1).编辑services.cfg ，配置你想要监控的进程,如：
(2).重启 service nagios restart
3.自定义插件check_crawler_spider(shell)
>>>3.1主要功能:
(1) 检查crawler进程是否存在,不存在则报警
(2) 检查cralwer 最近半小时内下载成功的url数量，如果==0，则报警
>>>3.2参数
(1)crawler进程运行入口主类(一般是tsinghua.crawlers.spider.Spider)
(2)log4j打印的日志目录(里面有info.log)
因为nagios需要读取文件,必须保证nagois对这个文件的读权限
（把/home/crawler改为nagios可读 setfacl -R -m u:nagios:rx /home/crawler）
>>>3.3代码(shell)
位于68机器/usr/local/nagios/libexec/
|
#!/bin/sh #===1.检测进程存活=================================================== process_count=`ps -ef | grep $1 |cut -c 9-15 | wc -l` let process_count=process_count-3 if [ $process_count -lt 1 ] then echo "ERROR process not exist ["$1"]" exit 2 fi
#=====================2.检测info.log中最近半小时出现finish关键字的次数 total_count="0" export total_count cd $2 interval=3 current_time=`date +%s` last_ten_minute=`expr $current_time - 600` last_twenty_minute=`expr $current_time - 1200` last_thirty_minute=`expr $current_time - 1800` #当前十分钟段 current_time_interval=`date -d @$current_time "+%Y-%m-%d %H:%M:%S" | cut -c 1-15` #十分钟之前段 last_ten_minute_interval=`date -d @$last_ten_minute "+%Y-%m-%d %H:%M:%S" | cut -c 1-15` #二十分钟之前段 last_twenty_minute_interval=`date -d @$last_twenty_minute "+%Y-%m-%d %H:%M:%S" | cut -c 1-15` #三十分钟之前段 last_thirty_minute_interval=`date -d @$last_thirty_minute "+%Y-%m-%d %H:%M:%S" | cut -c 1-15` function getFinishCount() { #第一个参数为文件名字，第二个参数为时间正则，第三个参数为关键字 count=`cat $1 | grep "$2" | grep "$3" | wc -l` total_count=`expr $total_count + $count` } getFinishCount info.log "${current_time_interval}" "finish" getFinishCount info.log "${last_ten_minute_interval}" "finish" getFinishCount info.log "${last_thirty_minute_interval}" "finish" getFinishCount info.log "${last_twenty_minute_interval}" "finish" if [ $total_count -lt 1 ] then echo "ERROR! the count of urls in recent thirty minutes is 0!!" exit 2 else echo "OK! the count of urls in recent thirty minutes is "$total_count exit 0 fi |
>>>3.4被监控端配置
(1).脚本拷贝到/usr/local/nagios/libexec/
(2).编辑 /usr/local/nagios/etc/nrpe.cfg , 增加以下内容：
(3).重启:service xinetd restart
>>>3.5 nagios-master配置
(1).编辑services.cfg ，配置你想要监控的进程,如：
(2).重启 service nagios restart
4.自定义插件check_server_app(python)
>>>4.1主要功能:
检查server调度中raw_page_hbase,raw_page_extract,dr_hbase失败或等待的数据包个数，超过阀值则报警。(通过查询mysql统计的任务包个数)
>>>4.2参数
针对特定程序的脚本,没有参数
>>>4.3代码(python)
位于68机器/usr/local/nagios/libexec/
|
#!/usr/bin/python #coding=utf-8 import MySQLdb import sys try: connection = MySQLdb.connect(user="guest",passwd="guest1234",host="192.167.33.90",db="platform") except: print "Could not connect to MySQL server." exit( 0 )
msg = "ERROR"
try: cursor = connection.cursor()
#获取[源码导入hbase]未成功的数量 cursor.execute( "select count(*) from server_app_raw_page_hbase where state not like 'success%'" ) result = cursor.fetchone(); raw_page_hbase_unsuccess_count = result[0] #print raw_page_hbase_unsuccess_count
#获取[源码抽取]未成功的数量 cursor.execute( "select count(*) from server_app_raw_page_extract where state not like 'success%'" ) result = cursor.fetchone(); raw_page_extract_unsuccess_count = result[0] #print raw_page_extract_unsuccess_count
#获取[DR导入hbase]未成功的数量 cursor.execute( "select count(*) from server_app_dr_hbase where state not like 'success%'" ) result = cursor.fetchone(); dr_hbase_unsuccess_count = result[0] #print dr_hbase_unsuccess_count
cursor.close()
if( raw_page_hbase_unsuccess_count<30 and raw_page_extract_unsuccess_count<30 and dr_hbase_unsuccess_count<30 ): msg = "ok" except: print "Invoke Exception" sys.exit(2)
if( msg=="ERROR" ): msg = "ERROR! raw_page_hbase:" + str(raw_page_hbase_unsuccess_count) +";raw_page_extract:"+str(raw_page_extract_unsuccess_count)+";dr_hbase:"+str(dr_hbase_unsuccess_count) print msg sys.exit(2) else: msg = "OK! raw_page_hbase:" + str(raw_page_hbase_unsuccess_count) +";raw_page_extract:"+str(raw_page_extract_unsuccess_count)+";dr_hbase:"+str(dr_hbase_unsuccess_count) print msg sys.exit(0) |
>>>4.4被监控端配置
(1).脚本拷贝到/usr/local/nagios/libexec/
(2).编辑 /usr/local/nagios/etc/nrpe.cfg , 增加以下内容：
(3).重启:service xinetd restart
>>>3.5 nagios-master配置
(1).编辑services.cfg ，配置你想要监控的进程,如：
(2).重启 service nagios restart
四.与ganglia集成
1. check_ganglia.py插件扩展
nagios可以监控ganglia中定义的metric的数值,当metric的value高于或低于阀值的时候,进行报警。
ganglia本身自带了这样一个nagios插件(ganglia解压目录下的/contrib/check_ganglia.py)
但该插件有个缺点,就是他判断当metric高于阀值时提供报警,这显然不能满足我们的要求,例如磁盘剩余空间,很显然当剩余空间低于阀值时需要报警,所以需要对check_ganglia.py进行改动。
首先,我们约定,metric名称中含有” _free”关键字,我们认为这是剩余量的意思,此类metric低于阀值时需要报警。基于这个约定,我们改写下check_ganglia.py
在check_ganglia.py的最后找到下面这段代码：
在这段话之前,加上下面这样一段代码,即判定metric是否包含关键字”_free”,如果是,则在低于阀值时,报警。扩展代码如下图所示:
(扩展后的代码位于73机器/usr/local/nagios/libexec/check_ganglia.py)
扩展后的代码,放到nagios-master 的/usr/local/nagios/libexec/目录下
2.nagios-master的service配置
以下所有配置,见73机器
2.1定义check_ganglia命令
编辑/usr/local/nagios/etc/commands.cfg,增加配置
2.2编辑/usr/local/nagios/etc/hostgroups.cfg
定义ganglia-services组,组成员为*,所有机器
2.3编辑/usr/local/nagios/etc/servicegroups.cfg
定义ganglia-metrics服务组
2.4编辑/usr/local/nagios/etc/templates.cfg
定义ganglia-service模板
2.5定义硬盘和内存service
编辑/usr/local/nagios/etc/services.cfg
检测各个机器的硬盘,当小于30G的时候,报警
检测各个机器的内存，当小于30000K时,报警
至此,各个机器的内存和硬盘已经监控起来,数据的来源当然是ganglia采集的
2.6 load的监控
load的监控有个问题,16核的机器和4核的机器报警阀值不一样。
这样的话,得在/usr/local/nagios/etc/templates.cfg中定义load16,load8,load4这样的service模板,各个机器根据自己的cpu配置,决定引用哪个模板
下面是在/usr/local/nagios/etc/templates.cfg中增加的内容:
下面是/usr/local/nagios/etc/services.cfg中配置load的实例(每台机器都需要配置):
配置成功后,重启nagios,每台机器的内存,硬盘,load全部监控了起来(如下图所示)