阿小信大人的头像
Talk is cheap. Show me the code. Linus Torvalds

es优化方案记录2021-08-05 15:47

image

#### 节点负载不均衡

##### 现象:

每个索引使用默认的1个分片,1个副本,在3节点集群出现__负载不均衡__现象,两个节点cpu负载很高,另外一个节点cpu负载更低。

##### 原因:
分片+副本一共2个,只能被分散到两个节点上,查询请求只能命中这两个节点。

##### 解决方案:

Es 创建索引后无法动态修改分片数,但是可以动态修改副本数,增加副本数可以分散查询请求。在不改变分片数的情况下,通过调整分片的副本数,使分片副本数+原始分片数的总数为节点数基数或倍数,以达到节点负载均衡,将索引的分片副本数增加到2,加上分片自身,一共3个,刚好均分给3个节

......
#数据库#   #elk 评论[0]阅读全文[460]

filebeat使用elasticsearch的pipeline处理日志内容2018-07-10 11:32

以前使用Logstash时,都是通过logstash来对日志内容做过滤解析等操作,现在6.3.0版本中,可以通过filebeat直接写数据到es中,要对日志内容做处理的话设置对应的pipeline就可以。

以gunicorn的access日志内容为例:

[10/Jul/2018:11:13:55 +0800] 10.242.169.166 "-" "Jakarta Commons-HttpClient/3.0" "POST /message/entry HTTP/1.0" 200 <13968> 0.061638

有以上内容的日志,记录请求发生的时间,发起请求的i

......
#Linux/Mac#   #elk 评论[1]阅读全文[11286]

搭建filebeat-elasticsearch-kibana(V6.3.0)日志监控2018-07-05 12:52

上次使用ELK还是两年前,现在使用当时的方法发现不行了。

在ELK Stack最新的6.3.0版本,使用filebeat进行日志收集,统一存储到elasticsearch并用kibana展示。

filebeat \

filebeat - elasticsearch - kibana - browser

filebeat /

在统一日志存放的机器上安装elasticsearch和kibana

kibana可以使用rpm包直接安装:

rpm -ivh kibana-6.3.0-x86_64.rpm

默认配置文件在

......
#Linux/Mac#   #elk 评论[0]阅读全文[2033]

logstash-elasticsearch-kibana环境搭建(CentOS)2016-06-14 17:02


logstash-shipper-1
\
logstash-shipper-2 -- redis/kafka -- logstash-indexer
/ |
logstash-shipper-x elasticsearchs
|

......
#Linux/Mac#   #elk 评论[1]阅读全文[3282]