阿小信大人的头像
做你说过的,说你能做的 阿小信大人

filebeat使用elasticsearch的pipeline处理日志内容2018-07-10 11:32

以前使用Logstash时,都是通过logstash来对日志内容做过滤解析等操作,现在6.3.0版本中,可以通过filebeat直接写数据到es中,要对日志内容做处理的话设置对应的pipeline就可以。

以gunicorn的access日志内容为例:

[10/Jul/2018:11:13:55 +0800] 10.242.169.166 "-" "Jakarta Commons-HttpClient/3.0" "POST /message/entry HTTP/1.0" 200 <13968> 0.061638

有以上内容的日志,记录请求发生的时间,发起请求的i

......
#Linux/Mac#   #elk 评论[0]阅读全文[239]

搭建filebeat-elasticsearch-kibana(V6.3.0)日志监控2018-07-05 12:52

上次使用ELK还是两年前,现在使用当时的方法发现不行了。

在ELK Stack最新的6.3.0版本,使用filebeat进行日志收集,统一存储到elasticsearch并用kibana展示。

filebeat \

filebeat - elasticsearch - kibana - browser

filebeat /

在统一日志存放的机器上安装elasticsearch和kibana

kibana可以使用rpm包直接安装:

rpm -ivh kibana-6.3.0-x86_64.rpm

默认配置文件在

......
#Linux/Mac#   #elk 评论[0]阅读全文[115]

logstash-elasticsearch-kibana环境搭建(CentOS)2016-06-14 17:02


logstash-shipper-1
\
logstash-shipper-2 -- redis/kafka -- logstash-indexer
/ |
logstash-shipper-x elasticsearchs
|

......
#Linux/Mac#   #elk 评论[1]阅读全文[1890]