ELK日志分析系统之ELK搭建部署

article/2025/11/7 9:24:31

文章目录

  • 配置ELK日志分析系统
    • 1.配置elasticsearch环境
    • 2.部署elasticsearch软件
      • 2.1 安装Elasticsearch软件
      • 2.2 加载系统服务
      • 2.3 修改elasticsearch主配置文件
      • 2.4 创建数据存放文件路径并授权
      • 2.5 启动elasticsearch
      • 2.6 查看node1节点信息
      • 2.7 查看集群状态信息
      • Elasticsearch 集群部署（在Node2上操作）
    • 3.安装elasticsearch-head插件（node1和node2节点操作一样）
      • 3.1 编译安装node组件
      • 3.2 安装phantomjs前端框架
      • 3.3 安装elasticsearch-head数据可视化工具
      • 3.4 修改Elasticsearch 主配置文件
      • 3.5、启动elasticsearch-head服务
      • 3.6、通过Elasticsearch-head查看Elasticsearch信息
      • 3.7、插入索引，进行测试
    • 4 安装logstash，采集日志输出到elasticsearch
      • 4.1 安装apache服务
      • 4.2 查看java环境
      • 4.3 安装logstash
      • 4.4 测试Logstash功能是否正常
        • Logstash命令常用选项
        • 定义输入输出流
      • 4.5 使用rubydebug显示详细输出
      • 4.6 对接测试
      • 4.7 查看索引信息
    • 5 .对接配置
      • 定义logstash配置文件
      • 浏览器验证查看索引信息
    • 6.安装kibana（Node1节点）
      • 6.1 安装Kibana
      • 6.2 修改Kibana配置文件
      • 6.3 启动kibana服务
      • 6.4 查看kibana
    • 7.对接apache的日志
      • 7.1 对接apache日志（httpd机器配置）
      • 7.2 指定配置文件，查看索引
      • 7.4 查看信息（如果看不到信息，可以更换浏览器）
  • 小结

配置ELK日志分析系统

node1  192.168.28.5  主要软件：Elasticsearch kibana
node2  192.168.28.10  主要软件： Elasticsearch
web    192.168.28.100  主要软件： logstash apacheElasticsearch包下载地址
https://www.elastic.co/cn/downloads/past-releases/elasticsearch-5-5-0

1.配置elasticsearch环境

更改主机名，，配置域名解析，查看java环境

[root@yzq ~]# hostnamectl set-hostname node1
[root@yzq ~]# su
[root@node1 ~]# systemctl stop firewalld
[root@node1 ~]# setenforce 0
[root@node1 ~]# vim /etc/hosts
[root@node1 ~]# cat /etc/hosts 
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.28.5 node1 #添加映射,配置域名解析
192.168.28.10 node2
192.168.28.100 httpd
[root@node1 ~]# java -version #查看java版本,部署1.8.0需要重新配置环境
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)

在这里插入图片描述

2.部署elasticsearch软件

2.1 安装Elasticsearch软件

[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm

在这里插入图片描述

2.2 加载系统服务

[root@node1 opt]# systemctl daemon-reload 
[root@node1 opt]# systemctl enable elasticsearch.service
Created symlink from /etc/systemd/system/multi-user.target.wants/elasticsearch.service to /usr/lib/systemd/system/elasticsearch.service.

2.3 修改elasticsearch主配置文件

[root@node1 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak #拷贝一份文件备份
[root@node1 opt]# vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释，指定集群名字
cluster.name: ELK
--23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
node.name: node1
--33--取消注释，指定数据存放路径
path.data: /data/elk_data
--37--取消注释，指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释，改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释，ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释，集群发现通过单播实现，指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

[root@node1 opt]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml ##查看一下有效的配置，注释全去掉
cluster.name: ELK
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

2.4 创建数据存放文件路径并授权

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

在这里插入图片描述

2.5 启动elasticsearch

systemctl start elasticsearch
netstat -antp | grep 9200
systemctl enable --now elasticsearch.service #加入开机自启动，立即生效
netstat -antp | grep 9200

在这里插入图片描述

2.6 查看node1节点信息

使用浏览器打开 http://192.168.28.5:9200 有文件打开 下面是节点的信息
在这里插入图片描述
在这里插入图片描述

2.7 查看集群状态信息

[root@node1 opt]# curl 192.168.28.5:9200 #查看节点信息
{"name" : "node1","cluster_name" : "ELK","cluster_uuid" : "dACI76QRR9OE9QLEh_Asog","version" : {"number" : "5.5.0","build_hash" : "260387d","build_date" : "2017-06-30T23:16:05.735Z","build_snapshot" : false,"lucene_version" : "6.6.0"},"tagline" : "You Know, for Search"
}
[root@node1 opt]# curl 192.168.28.5:9200/_cluster/health?pretty #查看集群信息
{"cluster_name" : "ELK","status" : "green","timed_out" : false,"number_of_nodes" : 1,"number_of_data_nodes" : 1,"active_primary_shards" : 0,"active_shards" : 0,"relocating_shards" : 0,"initializing_shards" : 0,"unassigned_shards" : 0,"delayed_unassigned_shards" : 0,"number_of_pending_tasks" : 0,"number_of_in_flight_fetch" : 0,"task_max_waiting_in_queue_millis" : 0,"active_shards_percent_as_number" : 100.0
}

Elasticsearch 集群部署（在Node2上操作）

步骤与node1节点一致，配置node2与node1一致，需要注意配置文件中的节点名
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
也可在node1节点上把配置文件上传到node2节点，然后修改node节点

scp elasticsearch.yml root@192.168.109.12:/etc/elasticsearch/

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
节点正常
在这里插入图片描述

3.安装elasticsearch-head插件（node1和node2节点操作一样）

上述查看集群的方式，及其不方便，我们可以通过安装elasticsearch-head插件后，来管理集群

-Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装。
安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。

node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于 webkit 浏览器做的事情，它都可以做到。

3.1 编译安装node组件

上传软件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c++ make -ycd /opt
tar zxvf node-v8.2.1.tar.gzcd node-v8.2.1/./configure
make && make install（./configure && make -j3 && make install）

在这里插入图片描述
安装过程非常缓慢，需要耐心

3.2 安装phantomjs前端框架

上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2到optcd /opttar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bincp phantomjs /usr/local/bin

在这里插入图片描述

3.3 安装elasticsearch-head数据可视化工具

上传软件包 elasticsearch-head.tar.gz 到/optcd /opt
tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install

在这里插入图片描述

3.4 修改Elasticsearch 主配置文件

vim /etc/elasticsearch/elasticsearch.yml--末尾添加以下内容--
http.cors.enabled: true			##开启跨域访问支持，默认为false
http.cors.allow-origin: "*"     ## 跨域访问允许的域名地址systemctl restart elasticsearch #修改完成后重启服务

[root@node1 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml
[root@node1 elasticsearch-head]# systemctl restart elasticsearch.service

在这里插入图片描述

3.5、启动elasticsearch-head服务

cd /usr/local/src/elasticsearch-head/node_modules/grunt/binnpm run start &  #后台启动（
./grunt server   #前台启动）

在这里插入图片描述

3.6、通过Elasticsearch-head查看Elasticsearch信息

浏览器访问 http://192.168.28.5:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色，代表群集很健康。
在这里插入图片描述

3.7、插入索引，进行测试


#node1节点插入
curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"lcdb","mesg":"lichen youshoujiuxing"}'

在这里插入图片描述
浏览器访问 http://192.168.28.5:9100/ 查看索引信息，可以看见索引默认被分片5个，并且有一个副本。
点击“数据浏览”，会发现在node1上创建的索引为 index-demo，类型为 test 的相关信息。
在这里插入图片描述
上面图可以看见索引默认被分片5个，并且有一个副本

4 安装logstash，采集日志输出到elasticsearch

安装logstash并做一些日志搜集输出到elasticsearch中
下载地址：https://www.elastic.co/cn/downloads/past-releases/logstash-5-5-1

Logstash 一般部署在需要监控其日志的服务器。在本案例中，Logstash 部署在 Apache 服务器上，用于收集 Apache 服务器的日志信息并发送到 Elasticsearch。

4.1 安装apache服务

yum -y install httpd
systemctl start httpd

在这里插入图片描述

4.2 查看java环境

java -version

在这里插入图片描述

4.3 安装logstash

cd /opt
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

在这里插入图片描述

4.4 测试Logstash功能是否正常

Logstash命令常用选项

-f：通过这个选项可以指定 Logstash 的配置文件，根据配置文件配置 Logstash 的输入和输出流。-e：从命令行中获取，输入、输出后面跟着字符串，该字符串可以被当作 Logstash 的配置（如果是空，则默认使用 stdin 作为输入，stdout 作为输出）。-t：测试配置文件是否正确，然后退出。

定义输入输出流

输入采用标准输入，输出采用标准输出（类似管道）
指定数据输入端口，默认为9600~9700

logstash -e 'input { stdin{} } output { stdout{} }'

在这里插入图片描述

4.5 使用rubydebug显示详细输出

codec为一种编解码器

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

在这里插入图片描述

4.6 对接测试

使用Logstash将信息写入Elasticsearch中

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.28.5:9200"] } }'

在这里插入图片描述

4.7 查看索引信息

结果不在标准输出显示，而是发送至 Elasticsearch 中，可浏览器访问 http://192.168.28.5:9100/ 查看索引信息和数据浏览。
在这里插入图片描述

5 .对接配置

定义logstash配置文件

Logstash 配置文件基本由三部分组成（根据需要选择使用）

  • input：表示从数据源采集数据，常见的数据源如Kafka、日志文件等
  • filter：表示数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式
  • output：表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。

修改 Logstash 配置文件，让其收集系统日志/var/log/messages，并将其输出到 elasticsearch 中

在这里插入图片描述

#创建配置文件
vim /etc/logstash/conf.d/syslog.conf
input {file{path =>"/var/log/messages" #指定收集数据的路径type =>"system" #自定义日志类型标识start_position =>"beginning" #标识从开头收集数据}}
output {elasticsearch { #输出到elasticsearch hosts => ["192.168.28.5:9200"] #指定elasticsearch的IP和端口index =>"system-%{+YYYY.MM.dd}" #指定输出到elasticsearch的索引格式
}
}

在这里插入图片描述

systemctl restart logstash #重启服务

浏览器验证查看索引信息

在这里插入图片描述

6.安装kibana（Node1节点）

下载地址：https://www.elastic.co/cn/downloads/past-releases/kibana-5-5-1

6.1 安装Kibana

cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm

在这里插入图片描述

6.2 修改Kibana配置文件

vim /etc/kibana/kibana.yml--2--取消注释，Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释，设置 Kiabana 的监听地址，0.0.0.0代表所有地址
server.host: "0.0.0.0"
--21--取消注释，设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: "http://192.168.28.5:9200" 
--30--取消注释，设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"

在这里插入图片描述
在这里插入图片描述

6.3 启动kibana服务

systemctl daemon-reload
systemctl start kibana.service
systemctl enable kibana.service
netstat -antp | grep 5601

在这里插入图片描述

6.4 查看kibana

浏览器访问：http://192.168.28.5:5601

点击创建
在这里插入图片描述
在这里插入图片描述

我们先前添加了system的日志，这里可以添加system的索引，点击创造

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

7.对接apache的日志

将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示

7.1 对接apache日志（httpd机器配置）

vim /etc/logstash/conf.d/apache_log.confinput {file{path => "/etc/httpd/logs/access_log" #apahe服务的访问日志type => "access" #访问日志start_position => "beginning" #从头开始}file{path => "/etc/httpd/logs/error_log" #apache服务的错误日志路径type => "error" #错误日志start_position => "beginning" #开始位置：从头开始}
}
output {if [type] == "access" { #判断类型为访问日志elasticsearch {hosts => ["192.168.28.5:9200"] #指定与es连接的ip和端口index => "apache_access-%{+YYYY.MM.dd}" #索引为apache_access的日志}} if [type] == "error" { #判断类型为错误日志elasticsearch {hosts => ["192.168.28.5:9200"]index => "apache_error-%{+YYYY.MM.dd}"}}
}

在这里插入图片描述

cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf #开启logstash，指定logstash的配置文件

在这里插入图片描述

访问apache（192.168.28.100），增加日志

在这里插入图片描述

浏览器访问 http://192.168.28.5:9100 查看索引是否创建

在这里插入图片描述

7.2 指定配置文件，查看索引

/usr/share/logstash/bin/logstash -f apache.conf #xx

在这里插入图片描述

7.4 查看信息（如果看不到信息，可以更换浏览器）

在这里插入图片描述

再去discover上查看日志

在这里插入图片描述

错误日志

在这里插入图片描述
在这里插入图片描述
然后在宿主机上刷新访问，会刷新日志，可以在kibana查看时间

小结

日志处理步骤

  • 将日志进行集中化管理
  • 将日志格式化（Logstash） 并输出到 Elasticsearch
  • 对格式化后的数据进行索引和存储（Elasticsearch）
  • 前端数据的展示 （Kibana）

http://chatgpt.dhexx.cn/article/50dIhymc.shtml

相关文章

运维必备——ELK日志分析系统

运维必备——ELK日志分析系统

目录 一、ELK日志分析系统概述（1）传统日志服务器的优点与缺点和为什么要使用ELK日志分析系统（2）ELK日志分析系统日志的分类（3）ELK日志分析系统的分类——Elasticsearch：——Logstash&#xff1a…
阅读更多...
ELK 日志分析系统

ELK 日志分析系统

目录 引言一、ELK 日志分析系统简介1. 日志服务器2. ELK 是什么3. Logstash 四种工具4. 日志处理步骤 二、Elasticsearch 的基础核心概念1. 概述2. 关系型数据库与 Elasticsearch 对应的关系3. 核心概念 三、Logstash 介绍1. logStash 的主要组件2. LogStash 主机分类 四、Kiba…
阅读更多...
ELk日志分析系统搭建

ELk日志分析系统搭建

一、什么是ELK ​ ELK是Elasticsearch Logstash Kibana 这种架构的简写. 二、ELK常见的架构 Elasticsearch Logstash Kibana 这是一种最简单的架构。这种架构，通过logstash收集日志，Elasticsearch分析日志，然后在Kibana(web界面)中展示。…
阅读更多...
Linux 基础命令入门 创建文件

Linux 基础命令入门 创建文件

Linux 基础命令入门 创建文件 实操 从当前目录下切换到根目录下 su 或者 su root创建yibodong命名的文件夹 创建文件夹并查看列表 mkdir yibodong显示当前路径 pwd在yibodong命名的文件夹下创建一个文件YBD mkdir -p yibodong/YBD创建该文件的软连接 ln -s yibodong/YBD…
阅读更多...
Linux之shell命令

Linux之shell命令

1、shell入门 在计算机科学中,shell就是一个命令解释器。 shell是位于操作系统和应用程序之间,是他们二者最主要的接口。 shell负责把应用程序的输入命令信息解释给操作系统,将操作系统指令处理后的结果解释给应用程序。 一句话,shell就是在操作系统和应用程序之间的一个命…
阅读更多...
Linux 基础命令入门 man

Linux 基础命令入门 man

Linux 基础命令入门 man 1、使用man命令查看find命令的用法 输入Man，系统会提示您需要什么册页？ man输入Man find （下图只是一部分） man find按下CtrlZ退出 2、创建以2017开头的多个文件 touch 20179999.txt 20171111.txt 2…
阅读更多...
Linux之ping命令

Linux之ping命令

【Linux常用命令速查手册】关注【入门小站】，后台回复 「1001」 自取。 ping命令是用于排除故障，测试和诊断网络连接问题的最常用的命令之一。 Ping通过将一个或多个ICMP（Internet控制消息协议）Echo请求包发送到指定目标IP并等待回…
阅读更多...
Linux命令学习教程【建议收藏】

Linux命令学习教程【建议收藏】

大家好，我是辣条。 目录 一、操作系统 二、虚拟机软件 三、Ubuntu操作系统 四、Linux内核及发行版 五、查看目录命令 六、切换目录命令 七、绝对路径和相对路径 八、创建、删除文件及目录命令 九、复制、移动文件及目录命令 十、终端命令格式的组成 十…
阅读更多...
Linux 命令完全手册

Linux 命令完全手册

这本《Linux 命令完全手册》将涵盖你作为开发者需要用到的 60 个核心 Bash 命令。每个命令都附有代码示例和用法提示。 这本手册遵循二八定律：你花两成的时间学习一个主题，便可获得其中八成的知识。 我觉得这种方式能给你一个全面的概述。 这本手册并…
阅读更多...
Linux新手入门教程

Linux新手入门教程

下面给你讲解新手第一次接触Linux操作系统 一、学习Linux：1、Linux系统、Linux命令、ssh、websever(apache)、MySQL、缓存、PHP、Python、java、必备服务 2、Linux能做什么：企业服务器、嵌入式开发 3、Linux的学习方法(强迫自己一个学习环境)&#xff…
阅读更多...
linux怎样打开终端命令,Linux命令-初学者入门之打开终端

linux怎样打开终端命令,Linux命令-初学者入门之打开终端

打开终端 在Ubuntu 18.04系统上，您可以通过单击屏幕左上方的“ 活动”项，然后键入“terminal”, “command”, “prompt” or “shell”的前几个字母来找到终端的启动器。是的，开发人员已经为启动器设置了所有最常见的同义词，因此您应该不会有任何问题。 其他版本的Linux或…
阅读更多...
阿里云送你Hands-on Labs X linux联名T恤——阿里云高校计划《Linux命令入门》训练营

阿里云送你Hands-on Labs X linux联名T恤——阿里云高校计划《Linux命令入门》训练营

阿里云送你Hands-on Labs X linux联名T恤——阿里云高校计划《Linux命令入门》训练营 准备工作进行实验进入考试领取T恤附：考题附：T恤网图阿里云高校计划《Linux命令入门》训练营，学习Linux命令，搭建云上博客，学完领阿里云爆款T恤。每天零点发布T恤500件，6月20前有效。活…
阅读更多...
linux常用命令大全，入门基础版

linux常用命令大全，入门基础版

目录 一、常用的基本命令 1.目录管理 2.进程管理 3.修改文件属性 4.文件内容查看 5.安装软件 6.Vim编辑器 7.基本属性 8.账号管理 9.用户组管理 10.磁盘管理 二、Linux 目录结构 一、常用的基本命令 1.目录管理 ls: #列出目录-a: #参数: all ,查看全部的文件,包…
阅读更多...
Linux基本命令

Linux基本命令

目录 1、Linux的目录结构 Linux路径的描述方式 2、Linux命令入门 Linux命令基础格式 ls命令 隐藏文件、文件夹： pwd命令 cd命令 HOME目录 相对路径、绝对路径 特殊路径符 mkdir命令（常见文件） touch命令（创建文件夹&am…
阅读更多...
常用的Linux命令(小白入门指南)

常用的Linux命令(小白入门指南)

下面为大家整理一些常用的linux命令 文章目录 linux命令一.文件与目录操作命令1.clear(ctrll)2.ls(list)/tree3.cd(change directory)4.touch5.mkdir(make directory)6.cp(copy)7.mv(move)8.cat9.tar10.rm(remove)11.find12.Senior command(组合命令) 二.用户权限操作命令1.查看…
阅读更多...
linux Shell入门

linux Shell入门

一、初始shell （1）什么是shell？ （2）什么是变量？ （3）程序和进程的区别？ 二、语言 （1）计算能理解的语言是什么呢 ？ （2…
阅读更多...
linux常用vim命令大全,Linux基础入门 vim常用命令详解

linux常用vim命令大全,Linux基础入门 vim常用命令详解

介绍 vim是一个文本编辑程序 没有菜单，只有命令，且命令繁多 命令行模式下相关命令 1. 移动光标 h: ← 左移 ​ l: → 右移 ​ j: ↓ 下移 ​ k: ↑ 上移 ​ gg: 光标移动文件开头 ​ G: 光标移动到文件末尾 ​ 0: 光标移动到行首 ​ $: 光标移动到行尾 ​ 123G：跳转到第123行…
阅读更多...
Linux常用命令

Linux常用命令

🏆作者简介：哪吒，CSDN2022博客之星Top1、CSDN2021博客之星Top2、多届新星计划导师✌、博客专家💪 ，专注Java硬核干货分享，立志做到Java赛道全网Top N。 🏆本文收录于，Java基础教程系列，目前已经700+订阅，CSDN最强Java专栏，包含全部Java基础知识点、Java8新特性、…
阅读更多...
linux入门命令总结

linux入门命令总结

1.登录： Login: root(管理员名) Password：linux的密码 2.关机、注销、重启（关机：halt ，shutdown, init 0,poweroff）         （重启：halt ，shutdown, init 0,…
阅读更多...
linux命令入门

linux命令入门

这一系列的Linux入门都是本人在《鸟哥的Linux私房菜》的基础上总结的基本内容，主要是记录下自己的学习过程，也方便大家简要的了解 Linux Distribution是Ubuntu而不是书本上推荐的CentOS，建议装双系统，不要使用虚拟机。 代码在gi…
阅读更多...
推荐文章

Copyright @ 2022~2023