ELK日志分析系统（二）之ELK搭建部署

article/2025/11/7 9:31:15

文章目录

  • 引言
  • 一、Elasticsearch 集群部署（在Node1上操作）
    • 1、准备环境
    • 2、部署安装Elasticsearch软件
    • 3、配置Elasticsearch主配置文件
    • 4、创建数据存放路径并授权
    • 5、查看node1节点信息
  • 二、Elasticsearch 集群部署（在Node2上操作）
    • 1、前面步骤与node1节点一致
    • 2、在node1节点上把配置文件上传到node2节点
    • 3、修改配置文件
    • 4、创建数据存放路径并授权
    • 5、查看node2节点信息
  • 三、安装 Elasticsearch-head 插件（node1和node2节点操作一样）
    • 1、编译安装 node
    • 2、安装 phantomjs
    • 3、安装 Elasticsearch-head 数据可视化工具
    • 4、修改 Elasticsearch 主配置文件
    • 5、修改Gruntfile.js配置文件
    • 6、修改app.js配置文件
    • 7、启动 elasticsearch-head 服务
    • 8、通过 Elasticsearch-head查看Elasticsearch 信息
    • 9、插入索引，进行测试
  • 四、Logstash 部署(192.168.109.13)
    • 1、安装httpd服务
    • 2、安装java环境
    • 3、安装logstash
    • 4、测试 Logstash
      • 4.1 Logstash 命令常用选项
      • 4.2 定义输入输出流
      • 4.3 使用 rubydebug 输出详细格式显示，codec 为一种编解码器
      • 4.4 使用 Logstash 将信息写入 Elasticsearch 中
    • 5、定义logstash配置文件
    • 6、浏览器验证，查看索引信息
  • 五、Kibana部署（Node1节点）
    • 1、安装 Kibana
    • 2、设置kibana的主配置文件
    • 3、启动kibana服务
    • 4、验证Kibana
    • 5、将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示
  • 未完待续

引言

ELK日志分析系统（一）之ELK原理

一、Elasticsearch 集群部署（在Node1上操作）

Node1节点：192.168.109.11
Node2节点：192.168.109.12
Apache节点：192.168.109.13

Elasticsearch包下载地址
https://www.elastic.co/cn/downloads/past-releases/elasticsearch-5-5-0

1、准备环境

更改主机名，配置域名解析，查看java环境

hostnamectl set-hostname node1
bash
systemctl stop firewalld
setenforce 0
vim /etc/hosts
java –version

在这里插入图片描述

2、部署安装Elasticsearch软件

rpm -ivh elasticsearch-5.5.0.rpm
cd /etc/elasticsearch/
cp elasticsearch.yml elasticsearch.yml.bak

在这里插入图片描述

3、配置Elasticsearch主配置文件

vim /etc/elasticsearch/elasticsearch.yml--17--取消注释，指定集群名字
cluster.name: zhang
--23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
node.name: node1
--33--取消注释，指定数据存放路径
path.data: /data/elk_data
--37--取消注释，指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释，改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释，ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释，集群发现通过单播实现，指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

在这里插入图片描述
在这里插入图片描述

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

在这里插入图片描述

4、创建数据存放路径并授权

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
systemctl start elasticsearch
netstat -antp | grep 9200
systemctl enable --now elasticsearch.service
netstat -antp | grep 9200

在这里插入图片描述

5、查看node1节点信息

在这里插入图片描述
在这里插入图片描述

二、Elasticsearch 集群部署（在Node2上操作）

1、前面步骤与node1节点一致

在这里插入图片描述
在这里插入图片描述

2、在node1节点上把配置文件上传到node2节点

scp elasticsearch.yml root@192.168.109.12:/etc/elasticsearch/

在这里插入图片描述

3、修改配置文件

vim /etc/elasticsearch/elasticsearch.yml
grep -v "^#" /etc/elasticsearch/elasticsearch.yml

在这里插入图片描述
在这里插入图片描述

4、创建数据存放路径并授权

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
systemctl daemon-reload
systemctl enable --now elasticsearch.service
systemctl start elasticsearch
netstat -antp | grep 9200

在这里插入图片描述

5、查看node2节点信息

在这里插入图片描述
在这里插入图片描述
由于es服务启动之后，访问界面比较丑陋，为了更好的查看索引库当中的信息，我们可以通过安装elasticsearch-head这个插件来实现，这个插件可以更方便快捷的看到es的管理界面。

三、安装 Elasticsearch-head 插件（node1和node2节点操作一样）

Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装。
安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。

node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于 webkit 浏览器做的事情，它都可以做到。

1、编译安装 node

上传软件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c++ make -ycd /opt
tar zxvf node-v8.2.1.tar.gzcd node-v8.2.1/
./configure
make && make install

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2、安装 phantomjs

上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2到optcd /opttar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bincp phantomjs /usr/local/bin

在这里插入图片描述

3、安装 Elasticsearch-head 数据可视化工具

上传软件包 elasticsearch-head.tar.gz 到/optcd /opt
tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install

在这里插入图片描述

4、修改 Elasticsearch 主配置文件

vim /etc/elasticsearch/elasticsearch.yml--末尾添加以下内容--
http.cors.enabled: true			
http.cors.allow-origin: "*"

在这里插入图片描述
在这里插入图片描述

5、修改Gruntfile.js配置文件

在这里插入图片描述
在这里插入图片描述

6、修改app.js配置文件

在这里插入图片描述

在这里插入图片描述

7、启动 elasticsearch-head 服务

/usr/local/src/elasticsearch-head/node_modules/grunt/bin
./grunt server

在这里插入图片描述
在这里插入图片描述

8、通过 Elasticsearch-head查看Elasticsearch 信息

浏览器访问 http://192.168.109.11:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色，代表群集很健康。
在这里插入图片描述

9、插入索引，进行测试

curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"lcdb","mesg":"lichen youshoujiuxing"}'

在这里插入图片描述
浏览器访问 http://192.168.109.11:9100/ 查看索引信息，可以看见索引默认被分片5个，并且有一个副本。
点击“数据浏览”，会发现在node1上创建的索引为 index-demo，类型为 test 的相关信息。
在这里插入图片描述

四、Logstash 部署(192.168.109.13)

下载地址：https://www.elastic.co/cn/downloads/past-releases/logstash-5-5-1

Logstash 一般部署在需要监控其日志的服务器。在本案例中，Logstash 部署在 Apache 服务器上，用于收集 Apache 服务器的日志信息并发送到 Elasticsearch。

1、安装httpd服务

yum -y install httpd
systemctl start httpd

在这里插入图片描述

2、安装java环境

yum -y install java
java –version

在这里插入图片描述

3、安装logstash

cd /opt
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

在这里插入图片描述

4、测试 Logstash

4.1 Logstash 命令常用选项

-f：通过这个选项可以指定 Logstash 的配置文件，根据配置文件配置 Logstash 的输入和输出流。-e：从命令行中获取，输入、输出后面跟着字符串，该字符串可以被当作 Logstash 的配置（如果是空，则默认使用 stdin 作为输入，stdout 作为输出）。-t：测试配置文件是否正确，然后退出。

4.2 定义输入输出流

输入采用标准输入，输出采用标准输出（类似管道）
指定数据输入端口，默认为9600~9700
logstash -e ‘input { stdin{} } output { stdout{} }’
在这里插入图片描述

4.3 使用 rubydebug 输出详细格式显示，codec 为一种编解码器

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

在这里插入图片描述

4.4 使用 Logstash 将信息写入 Elasticsearch 中

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.109.11:9200"] } }'

在这里插入图片描述
在这里插入图片描述
结果不在标准输出显示，而是发送至 Elasticsearch 中，可浏览器访问 http://192.168.109.11:9100/ 查看索引信息和数据浏览。
在这里插入图片描述

5、定义logstash配置文件

Logstash 配置文件基本由三部分组成（根据需要选择使用）

  1. input：表示从数据源采集数据，常见的数据源如Kafka、日志文件等
  2. filter：表示数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式
  3. output：表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。

修改 Logstash 配置文件，让其收集系统日志/var/log/messages，并将其输出到 elasticsearch 中
在这里插入图片描述

input {file{path =>"/var/log/messages"type =>"system"start_position =>"beginning"}}
output {elasticsearch {hosts => ["192.168.109.11:9200"]index =>"system-%{+YYYY.MM.dd}"
}
}

在这里插入图片描述
在这里插入图片描述

6、浏览器验证，查看索引信息

在这里插入图片描述
在这里插入图片描述
可以看到有很多的信息，但不好过滤信息，所以我们接下来安装kiabana

五、Kibana部署（Node1节点）

下载地址：https://www.elastic.co/cn/downloads/past-releases/kibana-5-5-1

1、安装 Kibana

cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm

在这里插入图片描述

2、设置kibana的主配置文件

vim /etc/kibana/kibana.yml--2--取消注释，Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释，设置 Kiabana 的监听地址，0.0.0.0代表所有地址
server.host: "0.0.0.0"
--21--取消注释，设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: "http://192.168.80.10:9200" 
--30--取消注释，设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"

在这里插入图片描述
在这里插入图片描述

3、启动kibana服务

systemctl daemon-reload
systemctl start kibana.service
systemctl enable kibana.service
netstat -antp | grep 5601

在这里插入图片描述

4、验证Kibana

浏览器访问http://192.168.109.11:5601
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5、将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示

vim /etc/logstash/conf.d/apache_log.confinput {file{path => "/etc/httpd/logs/access_log"type => "access"start_position => "beginning"}file{path => "/etc/httpd/logs/error_log"type => "error"start_position => "beginning"}
}
output {if [type] == "access" {elasticsearch {hosts => ["192.168.109.11:9200"]index => "apache_access-%{+YYYY.MM.dd}"}}if [type] == "error" {elasticsearch {hosts => ["192.168.109.11:9200"]index => "apache_error-%{+YYYY.MM.dd}"}}
}

在这里插入图片描述

cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf

在这里插入图片描述
在这里插入图片描述
打开宿主机（192.168.109.13）访问apache页面
在这里插入图片描述
浏览器访问 http://192.168.109.11:9100 查看索引是否创建
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
然后在宿主机上刷新访问，会刷新日志，可以在kibana查看时间

未完待续

精彩内容在后面，后面会讲述如何搭建elk+filebeat+kafka+zooleeper


http://chatgpt.dhexx.cn/article/hXBGlgQY.shtml

相关文章

ELK日志分析系统之ELK搭建部署

ELK日志分析系统之ELK搭建部署

文章目录 配置ELK日志分析系统1.配置elasticsearch环境2.部署elasticsearch软件2.1 安装Elasticsearch软件2.2 加载系统服务2.3 修改elasticsearch主配置文件2.4 创建数据存放文件路径并授权2.5 启动elasticsearch2.6 查看node1节点信息2.7 查看集群状态信息Elasticsearch 集群…
阅读更多...
运维必备——ELK日志分析系统

运维必备——ELK日志分析系统

目录 一、ELK日志分析系统概述（1）传统日志服务器的优点与缺点和为什么要使用ELK日志分析系统（2）ELK日志分析系统日志的分类（3）ELK日志分析系统的分类——Elasticsearch：——Logstash&#xff1a…
阅读更多...
ELK 日志分析系统

ELK 日志分析系统

目录 引言一、ELK 日志分析系统简介1. 日志服务器2. ELK 是什么3. Logstash 四种工具4. 日志处理步骤 二、Elasticsearch 的基础核心概念1. 概述2. 关系型数据库与 Elasticsearch 对应的关系3. 核心概念 三、Logstash 介绍1. logStash 的主要组件2. LogStash 主机分类 四、Kiba…
阅读更多...
ELk日志分析系统搭建

ELk日志分析系统搭建

一、什么是ELK ​ ELK是Elasticsearch Logstash Kibana 这种架构的简写. 二、ELK常见的架构 Elasticsearch Logstash Kibana 这是一种最简单的架构。这种架构，通过logstash收集日志，Elasticsearch分析日志，然后在Kibana(web界面)中展示。…
阅读更多...
Linux 基础命令入门 创建文件

Linux 基础命令入门 创建文件

Linux 基础命令入门 创建文件 实操 从当前目录下切换到根目录下 su 或者 su root创建yibodong命名的文件夹 创建文件夹并查看列表 mkdir yibodong显示当前路径 pwd在yibodong命名的文件夹下创建一个文件YBD mkdir -p yibodong/YBD创建该文件的软连接 ln -s yibodong/YBD…
阅读更多...
Linux之shell命令

Linux之shell命令

1、shell入门 在计算机科学中,shell就是一个命令解释器。 shell是位于操作系统和应用程序之间,是他们二者最主要的接口。 shell负责把应用程序的输入命令信息解释给操作系统,将操作系统指令处理后的结果解释给应用程序。 一句话,shell就是在操作系统和应用程序之间的一个命…
阅读更多...
Linux 基础命令入门 man

Linux 基础命令入门 man

Linux 基础命令入门 man 1、使用man命令查看find命令的用法 输入Man，系统会提示您需要什么册页？ man输入Man find （下图只是一部分） man find按下CtrlZ退出 2、创建以2017开头的多个文件 touch 20179999.txt 20171111.txt 2…
阅读更多...
Linux之ping命令

Linux之ping命令

【Linux常用命令速查手册】关注【入门小站】，后台回复 「1001」 自取。 ping命令是用于排除故障，测试和诊断网络连接问题的最常用的命令之一。 Ping通过将一个或多个ICMP（Internet控制消息协议）Echo请求包发送到指定目标IP并等待回…
阅读更多...
Linux命令学习教程【建议收藏】

Linux命令学习教程【建议收藏】

大家好，我是辣条。 目录 一、操作系统 二、虚拟机软件 三、Ubuntu操作系统 四、Linux内核及发行版 五、查看目录命令 六、切换目录命令 七、绝对路径和相对路径 八、创建、删除文件及目录命令 九、复制、移动文件及目录命令 十、终端命令格式的组成 十…
阅读更多...
Linux 命令完全手册

Linux 命令完全手册

这本《Linux 命令完全手册》将涵盖你作为开发者需要用到的 60 个核心 Bash 命令。每个命令都附有代码示例和用法提示。 这本手册遵循二八定律：你花两成的时间学习一个主题，便可获得其中八成的知识。 我觉得这种方式能给你一个全面的概述。 这本手册并…
阅读更多...
Linux新手入门教程

Linux新手入门教程

下面给你讲解新手第一次接触Linux操作系统 一、学习Linux：1、Linux系统、Linux命令、ssh、websever(apache)、MySQL、缓存、PHP、Python、java、必备服务 2、Linux能做什么：企业服务器、嵌入式开发 3、Linux的学习方法(强迫自己一个学习环境)&#xff…
阅读更多...
linux怎样打开终端命令,Linux命令-初学者入门之打开终端

linux怎样打开终端命令,Linux命令-初学者入门之打开终端

打开终端 在Ubuntu 18.04系统上，您可以通过单击屏幕左上方的“ 活动”项，然后键入“terminal”, “command”, “prompt” or “shell”的前几个字母来找到终端的启动器。是的，开发人员已经为启动器设置了所有最常见的同义词，因此您应该不会有任何问题。 其他版本的Linux或…
阅读更多...
阿里云送你Hands-on Labs X linux联名T恤——阿里云高校计划《Linux命令入门》训练营

阿里云送你Hands-on Labs X linux联名T恤——阿里云高校计划《Linux命令入门》训练营

阿里云送你Hands-on Labs X linux联名T恤——阿里云高校计划《Linux命令入门》训练营 准备工作进行实验进入考试领取T恤附：考题附：T恤网图阿里云高校计划《Linux命令入门》训练营，学习Linux命令，搭建云上博客，学完领阿里云爆款T恤。每天零点发布T恤500件，6月20前有效。活…
阅读更多...
linux常用命令大全，入门基础版

linux常用命令大全，入门基础版

目录 一、常用的基本命令 1.目录管理 2.进程管理 3.修改文件属性 4.文件内容查看 5.安装软件 6.Vim编辑器 7.基本属性 8.账号管理 9.用户组管理 10.磁盘管理 二、Linux 目录结构 一、常用的基本命令 1.目录管理 ls: #列出目录-a: #参数: all ,查看全部的文件,包…
阅读更多...
Linux基本命令

Linux基本命令

目录 1、Linux的目录结构 Linux路径的描述方式 2、Linux命令入门 Linux命令基础格式 ls命令 隐藏文件、文件夹： pwd命令 cd命令 HOME目录 相对路径、绝对路径 特殊路径符 mkdir命令（常见文件） touch命令（创建文件夹&am…
阅读更多...
常用的Linux命令(小白入门指南)

常用的Linux命令(小白入门指南)

下面为大家整理一些常用的linux命令 文章目录 linux命令一.文件与目录操作命令1.clear(ctrll)2.ls(list)/tree3.cd(change directory)4.touch5.mkdir(make directory)6.cp(copy)7.mv(move)8.cat9.tar10.rm(remove)11.find12.Senior command(组合命令) 二.用户权限操作命令1.查看…
阅读更多...
linux Shell入门

linux Shell入门

一、初始shell （1）什么是shell？ （2）什么是变量？ （3）程序和进程的区别？ 二、语言 （1）计算能理解的语言是什么呢 ？ （2…
阅读更多...
linux常用vim命令大全,Linux基础入门 vim常用命令详解

linux常用vim命令大全,Linux基础入门 vim常用命令详解

介绍 vim是一个文本编辑程序 没有菜单，只有命令，且命令繁多 命令行模式下相关命令 1. 移动光标 h: ← 左移 ​ l: → 右移 ​ j: ↓ 下移 ​ k: ↑ 上移 ​ gg: 光标移动文件开头 ​ G: 光标移动到文件末尾 ​ 0: 光标移动到行首 ​ $: 光标移动到行尾 ​ 123G：跳转到第123行…
阅读更多...
Linux常用命令

Linux常用命令

🏆作者简介：哪吒，CSDN2022博客之星Top1、CSDN2021博客之星Top2、多届新星计划导师✌、博客专家💪 ，专注Java硬核干货分享，立志做到Java赛道全网Top N。 🏆本文收录于，Java基础教程系列，目前已经700+订阅，CSDN最强Java专栏，包含全部Java基础知识点、Java8新特性、…
阅读更多...
linux入门命令总结

linux入门命令总结

1.登录： Login: root(管理员名) Password：linux的密码 2.关机、注销、重启（关机：halt ，shutdown, init 0,poweroff）         （重启：halt ，shutdown, init 0,…
阅读更多...
推荐文章

Copyright @ 2022~2023