Logstash + kibana+Elasticsearch 服务端部署文档(以上三个组件都是基于官网最新版)

Logstash + kibana+Elasticsearch 服务端部署文档（以上三个组件都是基于官网最新版）logstash服务端操作系统要求:Ubunutu 14.04

A.jdk安装步骤

1.连接上操作系统执行jdk 安装源，执行如下命令:

sudo add-apt-repository -y ppa:webupd8team/java

2.添加源成功以后如下命令执行命令

sudo apt-get update && sudo apt-get -y install oracle-java8-installer

即可进行jdk的安装，安装的是最新版jdk1.8u45

Jdk安装完成后我们安装ElasticSearch.

B.安装ElasticSearch

1.首先要导入elasticSerach的公共GPG 密匙到apt安装源中，执行如下命令:

o wget –qO – https://packages.elastic.co/GPG–KEY–elasticsearch | sudo apt–key add –

2.创建ElasticSearch 安装源，命令如下:

echo “deb http://packages.elastic.co/elasticsearch/1.7/debian stable main” | sudo tee –a/etc/apt/sources.list.d/elasticsearch–1.7.list

3.然后执行安装源更新和安装命令如下:

sudo apt–get update && sudo apt–get install elasticsearch

4.待步骤3完成后我们需要更改配置文件，执行如下命令:

sudo vi /etc/elasticsearch/elasticsearch.yml

然后修改network.host为localhost 即可如所示:

network.host: localhost

修改完成保存然后执行重启命令:

o sudo service elasticsearch restart

5.修改elasticsearch 操作系统启动时的优先级

sudo update-rc.d elasticsearch defaults 95 10

执行完以后，elasticsearch 完成启动，接下来我们安装kibana前端搜索界面.

C.安装kibana

1.首先下载kibana 到你的操作系统home目录下

cd ~; wget

https://https://www.360docs.net/doc/251515350.html,/kibana/kibana/kibana-4.0.1-linux-x64.tar.gz

2.解压文件并编辑配置文件命令如下:

解压命令如下:tar xvf kibana-*.tar.gz

解压完成后编辑配置文件命令如下:vi ~/kibana-4*/config/kibana.yml

只需要修改其中host即可修改为"localhost"，如下所示：host: "localhost"

3.然后拷贝kibana4 到系统的opt目录下,操作步骤如下:

a.先创建对应文件夹命令如下:sudo mkdir -p /opt/kibana

b.执行拷贝命令:sudo cp -R ~/kibana-4*/* /opt/kibana/

c.需如果需要kibana 作为服务启动，执行以下步骤:

1).首先执行命令下载脚本命令如下:

cd /etc/init.d && sudo wget

https://https://www.360docs.net/doc/251515350.html,/thisismitch/8b15ac909aed21

4ad04a/raw/bce61d85643c2dcdfbc2728c55a41dab444dca20/kib

ana4

2)现在编辑文本下载的脚本，按顺序执行如下命令即可：

1. sudo chmod +x /etc/init.d/kibana4

2.sudo update-rc.d kibana4 defaults 96 9

3.sudo service kibana4 start

D.安装NGINX

1. 首先安装nginx，在命令行执行如下命令:

sudo apt-get install nginx apache2-utils

2.安装完成以后创建一个用户，用以基本保护访问的url。命令执行如下:

sudo htpasswd -c /etc/nginx/https://www.360docs.net/doc/251515350.html,ers kibanaadmin

然后输入密码即可建议设置密码Passwod-201506.

3.然后进入编辑nginx配置文件，编辑文件如下:

sudo vi /etc/nginx/sites-available/default

4.最后形成的配置文件如下:

server {

listen 80;

server_name https://www.360docs.net/doc/251515350.html,;

auth_basic “Restricted Access”;

auth_basic_user_file /etc/nginx/https://www.360docs.net/doc/251515350.html,ers;

location / {

proxy_pass http://localhost:5601;

proxy_http_version 1.1;

proxy_set_header Upgrade $http_upgrade;

proxy_set_header Connection ‘upgrade';

proxy_set_header Host $host;

proxy_cache_bypass $http_upgrade;

}

}

5.配置文件保存后，重启nginx，命令如下：

sudo service nginx restart

E.安装logstash

1.在操作系统加入logstash 安装源，命令如下：

echo “deb https://www.360docs.net/doc/251515350.html,/logstash/1.5/debian stable main” | sudo tee –a /etc/apt/sources.list

2.源加入后，执行安装命令。命令如下:

sudo apt-get update && sudo apt-get install logstash

3.配置Logstash服务端配置文件,命令如下:

sudo vi /etc/logstash/conf.d/central.conf

最后配置文件如下:

input {

redis {

host => "127.0.0.1"

port => "6379"

type => "redis-input"

data_type => "list"

key => "logstash"

codec =>"json"

}

}

output {

stdout { }

elasticsearch {

cluster => "elasticsearch"

protocol => "http"

host => "127.0.0.1"

index => "logstash-%{+YYYY.MM.dd}"

}

}

然后启动服务端命令如下:sudo service logstash restart,即可启动logstash

4.客户端配置文件，配置文件如下（可以是任何操作系统以及任何目录）:

input {

file {

type => "tomcat"

path => ["本地日志文件路径" ]

codec => plain{

charset => "ISO-8859-1"

}

}

}

filter {

if [type] == "tomcat" {

multiline {

pattern =>

"(^%{TOMCAT_DATESTAMP})|(^%{CATALINA_DATESTAMP})"

negate => true

what => "previous"

}

if "_grokparsefailure" in [tags] {

drop { }

}

grok {

match => [ "message", "%{TOMCATLOG}", "message",

"%{CATALINALOG}" ]

}

date {

match => [ "timestamp", "yyyy-MM-dd HH:mm:ss,SSS Z", "MMM dd, yyyy HH:mm:ss a" ]

}

}

}

output {

stdout { codec=>rubydebug}

redis {

host => "redis服务器ip地址"

port =>"6379"

data_type => "list"

key => "logstash"

}

}

此配置文件只需要替换掉本地日志文件路径为tomcat路径以及其他日志文件路径type 也对应替换即可，这里以windows为例，进入logstash目录的bin目录然后执行如下命令:

logstash agent --verbose --config sniff.conf --log ../logs/stdout2.log 即可启动客户端

logstash程序

F.创建ssl证书

1.创建证书文件路径，命令如下:

a).sudo mkdir -p /etc/pki/tls/certs

b).sudo mkdir /etc/pki/tls/private

2.创建证书有两种方法，一种是通过Ip地址来设置证书。另外一种通过FQDN方式来

生成证书，下面开始介绍第一种方式:

a.Ip地址生成证书

1）编辑openssl配置文件，命令如下:

sudo vi /etc/ssl/https://www.360docs.net/doc/251515350.html,f

2) 然后找到[ v3_ca ] 这个选项，然后编辑配置

subjectAltName = IP: logstash服务端部署的IP地址

3) 编辑完成后保存退出编辑文件后进入/etc/pki/tls 目录，命令

如下: cd /etc/pki/tls,然后敲入生成证书命令命令如下:

sudo openssl req -config /etc/ssl/https://www.360docs.net/doc/251515350.html,f -x509 -days 3650

-batch -nodes -newkey rsa:2048 -keyout

private/logstash-forwarder.key -out

certs/logstash-forwarder.crt,即可生成通信SSL证书.

b.fqdn证书生成没有第二步骤直接进入第三步生成命令如下:

sudo openssl req -subj ‘/CN=logstash_server_fqdn/’ -x509 -days

3650 -batch -nodes -newkey rsa:2048 -keyout

private/logstash-forwarder.key -out certs/logstash-forwarder.crt G.配置kibana展现logstash采集的日志

在浏览器里输入nginx配置的kinana的ip地址，然后输入配置的用户名kibanaadmin 以及密码后会打开kinaba4的界面如下图:

在下拉列表框中选择对应的字段@timestamp字段

再点击CREATE按钮即可完成logstash与kibana的适配,然后就可以查看了，效果如下：

然后根据每隔一段时间即可在这看到采集的最新tomcat日志.