Linux rsyslog详细介绍

转自：http://llei623.blog.163.com/blog/static/852075042010111482731766/ 作者：llei

WEB服务器多的时候检查日志是一件痛苦的事情，用 perl 脚本登录到服务器上grep一些错误信息两次之后就觉得是纯体力活，想办法偷懒。
准备弄一台统一的日志服务器，将登录认证，系统日志等全部发送到这台日志服务器上，可以做监控分析，也能即时获取最新日志。
系统自带的 syslogd 能实现远程日志服务，只要在 /etc/syslogconfig/syslog 文件中 SYSLOGD_OPTIONS参数中加上 -r 选项后就可以接受远程机器发过来的日志，比较省事。就这样用了几天，发现每天的日志量都比较大，grep 日志文件也是件痛苦的事情。
于是寻找系统自带 syslog 的替代品，发现 rsyslog 和 syslog-ng 都还不错，也有很多人使用。在 http://www.rsyslog.com/doc-rsyslog_ng_comparison.html 这个地方的对比之后决定选择 rsyslog ，在找资料的同时发现 fedra 已经正式将rsyslog替换掉系统自带的syslog (http://fedoraproject.org/wiki/Releases/FeatureRsyslog) 。
简单说我选择 rsyslog 的理由如下：
引用内容:

1. 后端存查日志支持的客户端多，当然 MySQL是我的首选。
2. 在同一台机器上支持多直rsyslogd进程，可以监听在不同端口。
3. 直接兼容系统自带的syslog.conf 配置文件。
4. 可将消息过滤后再次转发。
5. 配置文件中可以写简单的逻辑判断
6. 有现成的前端web展示程序

当然这里面说的功能syslog-ng也都差不多有，但syslog-ng的免费版本是closed source的。
下面是安装rsyslog的简单记录
引用内容:

操作系统为 RHEL 5.2 x64
1. 安装 MySQL
a. ./configure --prefix=/usr/local/mysql --with-charset=utf8
b. make install
2. 配置 MySQL，增加一个只写的账号和一个只读的账号，只写的账号是给rsyslog往mysql里面写日志，只读的账号是前端web页面用的
GRANT INSERT ON Syslog.* TO 'rsyslog_write'@'localhost' IDENTIFIED BY 'password_123456';
GRANT SELECT ON Syslog.* TO 'rsyslog_read'@'localhost' IDENTIFIED BY 'password_234567';
3. 安装 rsyslog
a. http://www.rsyslog.com/ 上下载最新版本
b. PATH=$ PATH:/usr/local/mysql/bin # 因为MySQL手工安装，不在环境变量中，而rsyslog的configure会从环境变量中找MySQL的lib
c. ./configure --prefix=/usr/local/rsyslog --enable-mysql # 打开MySQL支持，将日志写到MySQL中可以在前端web上直接展示，报表
d. Make install
e. Mysql -u root -p < ./plugins/ommysql/createDB.sql      # 导入db结构
f. Cp rsyslog.conf /etc/                                                              # 默配置文件
g. ln -s /usr/local/rsyslog/sbin/rsyslogd /sbin/rsyslogd      # 这一步可用可不用
4. 配置rsyslog
a. 在/etc/rsyslog.conf最上面加上 $ ModLoad ommysql 载入mysql支持的模块
b. 去掉/etc/rsyslog.conf内以下两行前的#号，打开udp监听端口
$ ModLoad imudp.so # provides UDP syslog reception
$ UDPServerRun 514 # start a UDP syslog server at standard port 514
c. 增加/etc/rsyslog.conf下面两行，将local7和user的日志写到mysql中
local7.* :ommysql:127.0.0.1,Syslog,rsyslog_write,password_123456
user.*    :ommysql:127.0.0.1,Syslog,rsyslog_write,password_123456
d. 去掉链接错的日志示例
:msg, contains, "error: connect" ~
5. 替换 syslog 为rsyslog
a. 由于rsyslog没有附带启动脚本，我做了如下修改
b. Cp /etc/init.d/syslog /etc/init.d/syslogd #保留老的的syslog启动文件，以备要恢复时使用
c. 编辑 /etc/init.d/syslog 将里面路径有关的全改成/usr/local/rsyslog/sbin/rsyslogd 如果你上面3.g这一步做了链接，就可以只把syslog改为rsyslogd
d. 这样修改完后就是先停掉老的syslog，再启用新的rsyslog了
e. /etc/init.d/syslogd stop; # 停掉系统自带的
f. /etc/init.d/syslog start      # 启用新的 rsyslog
6. 修改 iptables ，增加udp54端口出入，防止被人强x
a. Iptables -A RH-Firewall-1-INPUT -s 1.2.0.0/255.255.0.0 -p udp -m udp --dport 514 -j ACCEPT
b. Iptables -A RH-Firewall-1-INPUT -s 3.4.0.0/255.255.0.0 -p udp -m udp --dport 514 -j ACCEPT
7. 安装phplogcon
a. http://www.phplogcon.org/ 上下载最新版本
b. 解压到某个目录，并配置好apache的vhost，这些步骤就不写了，比较平常的操作
c. 访问 http://127.0.0.1/install.php 安装，填上 mysql的账号和密码就行了，其他选项都默认。
8. 配置日志客户端
a. 在web服务器上echo 'kern.*;user.* @1.2.3.4' >> /etc/syslog.conf
b. /etc/init.d/syslog reload #重启syslogd

至此已做完所有工作，检验一下，访问 http://127.0.0.1/index.php ，效果图如下
linux rsyslog - llei - llei的学习笔记

==========================================================================

这次为了把交换机及路由器的日志文件集中放置,并方便调试,安装了rsyslog,并对其进行配置,使其可记录网络设备传来的syslog,并将之存入 Mysql数据中,以便我们集中管理,下面是具体的配置过程:

1、首先从www.rsyslog.com/下载并安装最新版本的 rsyslog

2、安装时很容易

（1）把源代码解压，并进入源代码树中执行：

./configure --enable-mysql

这里要注意，你的mysql要安装正确，特别是版本，比如我的mysql版本是：5.0.22，系统是redhat,那么我就要安装有MySQL- client-standard-5.0.22-0.rhel4.i386.rpm，总之如果这一步执行出错，比如我的刚开始是提示错误：checking for mysql_init in -lmysqlclient 在这一步有问题，后来重新安装了MySQL-client-standard-5.0.22-0.rhel4.i386.rpm就ok了

(2)依次执行：make和make install就ok

3、配置rsyslog.conf

在源代码树下有一个示例文件，把它拷贝到/etc下

（1）如果你要接受远程设备的syslog则要把以下三行的#去掉：

# UDP Syslog Server:
#$ModLoad imudp.so # provides UDP syslog reception
#$UDPServerRun 514 # start a UDP syslog server at standard port 514

并同时在iptables中开放514端口

（2）配置rsyslog自动启动

由于rsyslog没有为redhat准备启动脚本，所以要我们自己建，其实也很简单，我直接把syslog的启动脚本改了下，把里面的syslog改为 rsyslog,如下所示:

more /etc/init.d/syslog

#!/bin/bash
#
#
# chkconfig: 2345 12 88
# description: Syslog is the facility by which many daemons use to log \
# messages to various system log files. It is a good idea to always \
# run syslog.
### BEGIN INIT INFO
# Provides: $syslog
### END INIT INFO

# Source function library.
. /etc/init.d/functions

[ -f /usr/local/sbin/rsyslogd ] || exit 0
[ -f /sbin/klogd ] || exit 0

# Source config

RETVAL=0

start() {
        echo -n $"Starting rsyslog: "
        /usr/local/sbin/rsyslogd
        RETVAL=$?
        echo
        echo -n $"Starting kernel logger: "
        daemon klogd $KLOGD_OPTIONS
        echo
        [ $RETVAL -eq 0 ] && touch /var/lock/subsys/rsyslog
        return $RETVAL
}
stop() {
        echo -n $"Shutting down kernel logger: "
        killproc klogd
        echo
        echo -n $"Shutting down rsyslog: "
        killproc rsyslogd
        RETVAL=$?
        echo
        [ $RETVAL -eq 0 ] && rm -f /var/lock/subsys/rsyslog
        return $RETVAL
}
rhstatus() {
        status rsyslogd
        status klogd
}
restart() {
        stop
        start
}

case "$1" in
start)
        start
        ;;
stop)
        stop
        ;;
status)
        rhstatus
        ;;
restart)
        restart
        ;;
condrestart)
        [ -f /var/lock/subsys/rsyslog ] && restart || :
        ;;
*)
        echo $"Usage: $0 {start|stop|status|restart|condrestart}"
        exit 1
esac

exit $?

就只改了一点点，名字也没变，这样出不用ln来建链接了，都用原来的

(3)记录到mysql

如果要使用sql来记录日志则先要建表，找到rsyslog-3.20.0\plugins\ommysql下的createDB.sql文件，打开它，把里面的建表语句在你的数据库里执行，当然你也可以自建一个新数据库，一切由你

之后加载mysql模块，当然你一定要确认ommysql.so在lib文件夹里存在，如果你之前使用./configure --enable-mysql进行配置则会在/usr/local/lib/rsyslog下存在ommysql.so文件（操作系统不同，目录可能不一样）,然后在rsyslog.conf文件中加上：

$ModLoad ommysql

local4.* :ommysql:127.0.0.1,yourdb,yourname,yourpass;

注意我是local4来接受远程的syslog

在交换机上的配置：

华为的：

info-center loghost 1.1.1.1 facility local4 //local4要和rsyslog.conf 里配置的一致,1.1.1.1为你的syslog服务器地址记得要改啊
info-center loghost source Vlan-interface 11//你的网管VLAN接口，要改的
info-center source SHELL channel loghost log level notifications//我只想要操作日志，其他的不关心，如果你想要更多，请更改

思科的：

logging   1.1.1.1（配置 syslog服务器地址,可以定义多个）
service timestamps debug datetime localtime show-timezone msec
service timestamps log datetime localtime show-timezone msec   （syslog 信息包含时间戳）
logging facility local4   （定义 facility 级别,缺省为local7,可以设置从 local0 到 local7）
logging trap warning   （定义severity 级别缺省为 infor 级别）

到这里，一切基本ok了，

到你的mysql服务器是看看：

select * from SystemEvents

应该已经记录有日志了

但这里还有个小bug，我们会发现fromhost的这个字段不对，并不是你的交换机的地址，这是rsyslog的一个bug，怎么解决？？请参考：http://kb.monitorware.com/viewtopic.php?f=36&t=1754，而我的解决方案是自定义模板，而不能用其默认的模板了！我定义了一个模板:MySQLInsert并用它来执行sql语句，关于模板的概念，请参考http://www.rsyslog.com/doc-rsyslog_conf.html这里有详细的解释

参考我的rsyslog.conf:

# UDP Syslog Server:
$ModLoad imudp.so # provides UDP syslog reception
$UDPServerRun 514 # start a UDP syslog server at standard port 514
# MySQL log
$ModLoad ommysql
$template MySQLInsert,"insert into SystemEvents( ReceivedAt,DeviceReportedTime,message,FromHost,syslogtag) values('%timegenerated:::
date-mysql%','%timereported:::date-mysql%','%msg%','%fromhost-ip%','%syslogtag%')", SQL

local4.* :ommysql:127.0.0.1,syslogdatabase,syslogusername,syslogpass;MySQLInsert

注意我使用了%fromhost-ip%，而不是%HOSTNAME%

好了，基本上就这样了，以上就是我配置rsyslog的一些经过，希望对大家有帮助。

摘自：http://www.oschina.net/bbs/thread/4191

==========================================================================

1. rsyslogd 服务

1.1 查看当前rsyslogd服务的状态

在Fedora 9开始，负责写入日志信息的服务是rsyslogd，它的配置文件为：/etc/rsyslog.conf。我们检测一下当前这个服务是不是在运行。

[flagonxia@airhouse etc]$ ps -ef | grep -v grep | grep rsyslog
root 1584 1 0 10:33 ? 00:00:00 rsyslogd -c 3

从上面命令的输出结果看到rsyslogd执行时使用的参数是-c 3。这个输入参数在文件/etc/sysconfig/rsyslog中指定。

[flagonxia@airhouse sysconfig]$ less rsyslog
      # Options to syslogd
      # syslogd options are deprecated in rsyslog v3
      # if you want to use them, switch to compatibility mode 2 by "-c 2"
      SYSLOGD_OPTIONS="-c 3"

也可以通过另一种方式，查看当前运行级别中，rsyslogd是否运行。

[flagonxia@airhouse sysconfig]$ sudo chkconfig --list rsyslog
rsyslog 0:off 1:off 2:on 3:on 4:on 5:on 6:off

注意，这里的服务名是rsyslog。

1.2 配置文件/etc/rsyslog.conf

1.2.1 配置文件的基本信息

配置文件/etc/rsyslog.conf中有很多内容，但最主要的是指定需要记录哪些服务和需要记录什么等级的信息。

下面是rsyslog.conf的内容。

# /etc/rsyslog.conf

... ...

#### RULES ####

      # Log all kernel messages to the console.
      # Logging much else clutters up the screen.
      #kern.*                                                 /dev/console

      # Log anything (except mail) of level info or higher.
      # Don't log private authentication messages!
A    *.info;mail.none;authpriv.none;cron.none                /var/log/messages

# The authpriv file has restricted access.
authpriv.* /var/log/secure

# Log all the mail messages in one place.
B mail.* -/var/log/maillog

# Log cron stuff
cron.* /var/log/cron

# Everybody gets emergency messages
C *.emerg *

# Save news errors of level crit and higher in a special file.
D uucp,news.crit /var/log/spooler

# Save boot messages also to boot.log
local7.* /var/log/boot.log

【注释】

A：把所有大于info级别的信息都记录到/var/log/messages中，但不要记录mail，authpriv和cron服务产生的信息；

B：把mail产生的信息都记录到/var/log/maillog中

C：把所有服务输出的“大于”emergy级别的信息显示给每个在线的人，通过wall工具

D：把uucp和news输出的大雨crit级别的信息记录到/var/log/spooler中

1.2.2 信息的等级及其在配置文件中指定的方式

A 七种信息等级

1）info

2）notice

3）warning或warn

4）err或error

5）crit

6）alert

7）emerg或panic：导致系统几乎要死机

B 信息等级的指定方式

1）. xxx: 表示大于xxx级别的信息

2）.=xxx：表示等于xxx级别的信息

3）.!xxx：表示在xxx之外的等级的信息

2. logrotate服务

2.1 logrotate服务的启动方式

logrotate是一个日志管理程序，用来把旧的日志文件删除（备份），并创建新的日志文件，这个过程称为“转储”。我们可以根据日志的大小，或者根据其使用的天数来转储。

logrotate的执行由crond服务实现。在/etc/cron.daily目录中，有个文件logrotate，它实际上是个shell script，用来启动logrotate。logrotate程序每天由cron在指定的时间（/etc/crontab）启动。

[flagonxia@airhouse cron.daily]$ less logrotate
#!/bin/sh

       /usr/sbin/logrotate /etc/logrotate.conf
       EXITVALUE=$?
       if [ $EXITVALUE != 0 ]; then
       /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
       fi
       exit 0

因此，使用ps是无法查看到logrotate的。如果它没有起来，就要查看一下crond服务有没有在运行。

[flagonxia@airhouse logrotate.d]$ ps -ef | grep -v grep | grep cron
root 1984 1 0 10:34 ? 00:00:00 crond

2.2 logrotate的配置文件/etc/logrotate.conf

在执行logrotate时，需要指定其配置文件/etc/logrotate.conf。这个文件定义了如何转储日志文件的规则。如下：

       # see "man logrotate" for details
       # rotate log files weekly
       weekly

# keep 4 weeks worth of backlogs
rotate 4

# create new (empty) log files after rotating old ones
create

# use date as a suffix of the rotated file
dateext

# uncomment this if you want your log files compressed
#compress

# RPM packages drop log rotation information into this directory
include /etc/logrotate.d

       # no packages own wtmp and btmp -- we'll rotate them here
       /var/log/wtmp {
              monthly
              create 0664 root utmp
              rotate 1
        }

        /var/log/btmp {
              missingok
              monthly
              create 0600 root utmp
              rotate 1
         }

# system-specific logs may be also be configured here.

这个配置文件的注释写得很清楚，没有必要再罗嗦了。只想强调下面这行，它的作用包含存放在/etc/logrotate.d目录下面的配置文件，不可或缺。如果你安装了一个新的服务，它的日志转储的规则可以建立一个专门的配置文件，放在/etc/logrotate.d下面。它其实也因为下面的这句话，在logrotate服务启动时被读取。

include /etc/logrotate.d

这里有个例子：/etc/logrotate.d/syslog

/var/log/messages /var/log/secure /var/log/maillog /var/log/spooler /var/log/boot.log /var/log/cron {
             sharedscripts
             postrotate
                  /bin/kill -HUP `cat /var/run/rsyslogd.pid 2> /dev/null` 2> /dev/null || true
             endscript
       }

上面的配置对于/var/log/messages, /var/log/secure, /var/log/mailog/ /var/log/spooler, /var/log/boot.log, /var/log/cron都是适用的。

注意，prerotate和postrotate必须和sharescripts...endscript一起用。上面的信息表示日志文件转储后，重启rsyslogd服务。

每个存放在/etc/logrotate.d目录里的文件，都有上面格式的配置信息。在{}中定义的规则，如果与logrotate.conf中的冲突，以/etc/logrotatate.d/中的文件定义的为准。