阿小信大人的头像
Life is short (You need Python) Bruce Eckel

filebeat使用elasticsearch的pipeline处理日志内容2018-07-10 11:32

以前使用Logstash时,都是通过logstash来对日志内容做过滤解析等操作,现在6.3.0版本中,可以通过filebeat直接写数据到es中,要对日志内容做处理的话设置对应的pipeline就可以。

以gunicorn的access日志内容为例:

[10/Jul/2018:11:13:55 +0800] 10.242.169.166 "-" "Jakarta Commons-HttpClient/3.0" "POST /message/entry HTTP/1.0" 200 <13968> 0.061638

有以上内容的日志,记录请求发生的时间,发起请求的i

......
#Linux/Mac#   #elk 评论[0]阅读全文[77]

搭建filebeat-elasticsearch-kibana(V6.3.0)日志监控2018-07-05 12:52

上次使用ELK还是两年前,现在使用当时的方法发现不行了。

在ELK Stack最新的6.3.0版本,使用filebeat进行日志收集,统一存储到elasticsearch并用kibana展示。

filebeat \

filebeat - elasticsearch - kibana - browser

filebeat /

在统一日志存放的机器上安装elasticsearch和kibana

kibana可以使用rpm包直接安装:

rpm -ivh kibana-6.3.0-x86_64.rpm

默认配置文件在

......
#Linux/Mac#   #elk 评论[0]阅读全文[54]

Prometheus使用笔记2018-04-03 18:34

#### 环境说明

IP1上以容器的方式运行织云服务,自监控方案采用Prometheus监控 IP1 ,监控host和织云服务容器两个层次的数据。

使用Prometheus官方Node Exporter收集host硬件和操作系统数据,使用Google的cAdvisor收集容器数据,并使用Grafana进行展示。

在IP2上运行Prometheus Server和Grafana,在host上运行Node Exporter和cAdvisor。

#### 安装程序

- 安装Node Exporter

这里采用下载二进制文件安装运行在IP1的9100端口

......
#Linux/Mac#   评论[0]阅读全文[472]

模拟netflow2018-03-05 20:52

#### 数据源

使用[NetFlow-Generator](https://github.com/mshindo/NetFlow-Generator)模拟生成netflow v5数据并发送到指定的collector

克隆NetFlow-Generator后,在其目录执行`make`即可生成一个`flowgen`可执行文件

启动flowgen产生netflow数据并上报的指定地址

./flowgen -h
Usage: flowgen [options] [flowrec-options]
options:
-n, --c

......
#Linux/Mac#   评论[0]阅读全文[329]

创建支持ssh登录和模拟网络设备的CentOS镜像2018-03-02 11:37

#### 主机安装docker

安装docker

yum install docker
docker version # 1.12.6

移动docker的数据目录到较大磁盘下

mv /var/lib/docker/ /data/docker
ln -sb /data/docker /var/lib/docker

设置docker OPTIONS:`/etc/sysconfig/docker`

# 添加如下配置 (存在就更新),docker.oa.com 是内网docker镜像地址
# 机器不支持NAT

......
#Linux/Mac#   #docker 评论[0]阅读全文[369]

docker 1.12.6 安装使用笔记2018-02-28 20:04

#### 安装docker

安装docker

yum install docker
docker version

-----------------------------------------------------------------

#### 启动docker

移动docker的数据目录到较大磁盘下

mv /var/lib/docker/ /data/docker
ln -sb /data/docker /var/lib/docker

添加docker的镜像存储库

vim /etc/sys

......
#Linux/Mac#   #docker 评论[1]阅读全文[439]

模拟网络设备2018-01-29 11:11

登录到对应的模拟服务器上新建Python虚拟环境安装snmpsim

virtualenv snmp
. snmp/bin/activate
pip install snmpsim

在虚拟环境目录下的`snmpsim/data/`文件夹里配置新的community(如果需要自定义-c参数的话),可以先按照public复制一份新配置的community命名的数据

cp public jq-netmanager -r
cp public.snmprec jq-netmanager.snmprec

启动snmpsimd服务:

......
#Linux/Mac#   评论[0]阅读全文[351]

使用nginx-lua修改influxdb API的返回结构2017-12-13 19:05

有一个API平台服务,所有接口都通过API平台转发到实际的服务上,然后再把实际服务的结果返回给客户端,API平台的规范是所有实际服务的接口返回都要统一结构为

:::json
{
"code": 0,
"msg": "",
"data": {}
}

否则无法处理,现在使用influxdb提供的api,他的返回结构并不是API平台需要的结构,所以需要做一层代理转发请求并修改返回结果为API平台需要的结构。

采用openresty来实现这个需求,只需安装好openresty,然后编写一个配置文件即可实

......
#Linux/Mac#   #nginx 评论[0]阅读全文[499]