ELK 日志分析实例

网海过客
www.chinasa.net

ELK 日志分析实例
一、ELK-web日志分析
二、ELK-MySQL 慢查询日志分析
三、ELK-SSH登陆日志分析
四、ELK-vsftpd 日志分析

一、ELK-web日志分析

通过logstash grok正则将web日志过滤出来,输出到Elasticsearch 搜索引擎里,通过Kibana前端展示。

 1.png

1.1、创建logstash grok 过滤规则

#cat ./logstahs/patterns/nginx

NGINXACCESS %{IPORHOST:remote_addr} – – \[%{HTTPDATE:time_local}\] "%{WORD:method} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}" %{INT:status} %{INT:body_bytes_sent} %{QS:http_referer} %{QS:http_user_agent}

1.2、创建logstash web日志配置文件

#cat ./logstash/conf/ngx_log.conf

1.3、创建Kibana图形

统计httpcode状态码

选择【Visualize】菜单,选择 Pie chart】选项。字段选择status.raw,如下图所示:

2.png

统计访问前50 IP

选择【Visualize】菜单,选择 Vertical bar chart】选项。字段选择remote_addr.raw,如下图所示:

3.png


统计 403-405 状态码

选择【Visualize】菜单,选择 Line chart】选项。字段选择status.raw,如下图所示:

4.png

其它图形统计,就不详细举例了。

详细图形展示如下:

5.png

6.png

7.png

二、ELK-MySQL 慢查询日志分析

2.1、创建logstash grok 过滤规则

#cat ./logstahs/patterns/mysql_slow

2.2、创建logstash MySQL-Slow慢查询配置文件

#cat ./logstash/conf/MySQL-Slow.conf

2.3、详细图形展示如下:

8.png

三、ELK-SSH登陆日志分析

3.1、创建logstash grok 过滤规则

#cat ./logstahs/patterns/ssh

SECURELOG %{WORD:program}\[%{DATA:pid}\]: %{WORD:status} password for ?(invalid user)? %{WORD:USER} from %{DATA:IP} port

SYSLOGPAMSESSION %{SYSLOGBASE} (?=%{GREEDYDATA:message})%{WORD:pam_module}\(%{DATA:pam_caller}\): session %{WORD:pam_session_state} for user %{USERNAME:username}(?: by %{GREEDYDATA:pam_by})?

SYSLOGBASE2 (?:%{SYSLOGTIMESTAMP:timestamp}|%{TIMESTAMP_ISO8601:timestamp8601}) (?:%{SYSLOGFACILITY} )?%{SYSLOGHOST:logsource} %{SYSLOGPROG}:


3.2、创建logstash ssh配置文件

#cat ./logstash/conf/ssh.conf

PS:添加状态标签,便于Kibana 统计


3.3、详细图形展示如下:

9.png

四、ELK-vsftpd 日志分析

4.1、创建logstash grok 过滤规则

#cat ./logstahs/patterns/vsftpd

VSFTPDCONNECT \[pid %{WORD:pid}\] %{WORD:action}: Client \"%{DATA:IP}\"
VSFTPDLOGIN \[pid %{WORD:pid}\] \[%{WORD:user}\] %{WORD:status} %{WORD:action}: Client \"%{DATA:IP}\"VSFTPDACTION \[pid %{DATA:pid}\] \[%{DATA:user}\] %{WORD:status} %{WORD:action}: Client \"%{DATA:IP}\", \"%{DATA:file}\", %{DATA:bytes} bytes, %{DATA:Kbyte_sec}Kbyte/sec 

4.2、创建logstash vsftpd配置文件

#cat ./logstash/conf/vsftpd.conf

4.3、详细图形展示如下:

10.png

原创文章,作者:wubin,如若转载,请注明出处:/17395

联系我们

400-080-6560

在线咨询:点击这里给我发消息

邮件:1823388528@qq.com

工作时间:周一至周五,9:30-18:30,节假日同时也值班

友情链接:guoqibee.com  万达娱乐招商  万达招商  万达娱乐注册  万达娱乐平台  万达娱乐主管QQ  万达主管QQ  万达主管QQ  万达娱乐直属  万达娱乐登录