MetricBeat + Elasticsearch + Kibana 实现监控指标可视化

article/2025/10/7 22:18:20

1、Elasticsearch 监控指标可视化概述

之前的推文 Elasticsearch 磁盘使用率超过警戒水位线,怎么办?有读者留言:“配合监控系统”。

是的,监控系统就像我们的车载监控,平时可能用不到,一用到的时候就是“大事、要紧的事”。监控提前做起来,便于我们以可视化的方式直观的看到集群的各项监控指标,能真正做到“防范于未然”。

监控的免费组件之前文章也有介绍,包含但不限于: 

- cerebro 

e7b12b66fe787b39907f00b08f2cd4a0.png

- elastic-HQ

07457cf976704416de5647da73e620a3.png

本篇文章,我们介绍一下原生的、强大的 Kibana 可视化监控。

2、前置条件

  • 前置条件1:Elasticsearch 单节点或者多节点集群部署 ok。

  • 前置条件2:和 Elasticsearch 相同版本的 Kibana 部署 ok。

  • 前置条件3:至少配置了x-pack最小化安装,集群登录需要账户名+密码才可以登录。

6.X 之前版本的监控不需要借助 Metricbeat,印象中 kibana 自带集成。高版本 7.X 需要安装和配置 Metricbeat 才可以。

由于 MetricBeat 默认情况下没有安装和开启,Kibana 可视化监控会提示如下:

985309fc08d4eb076a718e812b6a8858.png

点击“Set up monitoring with Metricbeat” 后,截图下:

6179e3fb458e769ff0658d9e9f282676.png

点击:“Set up monitoring for new node“,会弹出“Monitor Elasticsearch node with Metricbeat” 提示框。

b6704126d11e5f19799c94de2fcf65f7.png

再点击 “Next”,就是详细的配置步骤了。

cd81a3a6627bf0368f256b7b0523fb73.png

3、Metricbeat 安装及Kibana 可视化

严格参考如上截图以及如下官方文档的步骤。

https://www.elastic.co/guide/en/beats/metricbeat/7.13/metricbeat-installation-configuration.html

经过我本机 Elasticsearch V7.13 版本验证,提炼总结步骤如下:

3.1 步骤1:下载并安装 Metricbeat

注意版本和 Elasticsearch、Kibana 版本要一致。

安全需要建议做好最小化或者基础安全配置,也就是说,至少设置上用户名和密码。

推荐更快下载地址:

http://dl.elasticsearch.cn/

3.2 步骤2:配置并启动 x-pack 插件 module

启动 x-pack 插件。

metricbeat modules enable elasticsearch-xpack

启动前后的变化:

aaa5b1473ea18bbe9d62e748acc02765.png

启动后,elasticsearch-xpack.yml 后缀 disable会自行取消,变得可以配置。

修改配置路径:metricbeat-7.13.0-linux-x86_64/modules.d。

配置文件名称:elasticsearch-xpack.yml

修改内容参考:

module: elasticsearch
xpack.enabled: true
period: 10s
hosts: ["http://172.21.0.14:29200"]
username: "user"
password: "secret"

上述的用户名+密码是 elasticsearch 集群设置安全部分通过 elasticsearch-setup-passwords 设置的密码。

密码设置命令行(此为 elasticsearch 启用后的操作):

./bin/elasticsearch-setup-passwords  interactive

3.3 步骤3:metricbeat建立与 Elasticsearch 集群的连接

需要配置:elasticsearch、kibana等。

修改 metricbeat.yml 设置连接信息。

output.elasticsearch:hosts: ["http://172.21.0.14:29200"] ## Monitoring cluster# Optional protocol and basic auth credentials.#protocol: "https"username: "elastic"password: "changeme"setup.kibana:host: "172.21.0.14:25601"username: "elastic"password: "changeme"

3.4 步骤4:将相关监控模块按需启动

其实步骤 2 的 xpack 也可以放置到这里。

除了 Elasticsearch,可以监控:mysql、redis 等 N 多组件,包含但不限于如下截图内容:

1b856a661eb4e1c1ec46e5b0a652c377.png

如果不需要开启其他组件的监控,这一步可以忽略掉。

mysql 启动举例:

./metricbeat modules enable mysql

拿其中 Mysql 举例,为保证行文流畅,后面专门一篇短文讲解 Mysql 监控。

3.5 步骤5:加载索引模板供 Kibana 可视化

此步骤加载推荐的索引模板以写入 Elasticsearch,并部署示例仪表板以在 Kibana 中可视化数据。

命令行:

./metricbeat setup -e

-e 的含义:日志直接命令行输出,而非日志。

4b80c2c35762e87ae7249c563b6797d9.png

执行成功后,会有如上的显示:“kibana dashboards successfully loaded.”

如果:kibana 或者 elasticsearch 配置出错,都可能导致此步骤不成功。常见的错误包含但不限于:

  • 端口配置错误。

  • 用户名或者密码错误。

比如:配置成了 “root”账户,实际上 elasticsearch 的管理员账户是“elastic”。

3.6 步骤6:启动 metricbeat。

./metricbeat -e

若需要后台启动,推荐:

nohup ./metricbeat & > /dev/null 2>&1

3.7 步骤7:Kibana 监控指标可视化

执行到第 6 步,整个 Metricbeat 就全部执行完毕。

3.7.1 总览可视化视图

9637cb0cb8d54feff3657d1532a61b7a.png

dark 模式下,看的更清晰。17b22b5ba9fc080a0321f699fc58d124.png

3.7.2 节点可视化视图

e072ec63952d0cda39b8fc6b92b8aa0a.png

点击如上截图的 “node-1” ,还有更详尽的指标可视化呈现。

a3bda198948752c4dd7ea078743a0be7.png 5b489a66dab075601773b28c9eb85b2c.png

3.6.3 索引可视化视图

b13bd6dc6346b115d173e1e94f6f0586.png

4、小结

本文算作 Elasticsearch 监控可视化的入门级文章。

后面会根据大家的留言反馈和实际遇到的问题,逐步细化。

大家的 Elasticsearch 集群是如何做监控的呢?欢迎留言反馈。

参考

https://www.elastic.co/guide/en/beats/metricbeat/7.13/metricbeat-installation-configuration.html

推荐

1、重磅 | 死磕 Elasticsearch 方法论认知清单(2021年国庆更新版)

2、Elasticsearch 7.X 进阶实战私训课(口碑不错)

3、如何系统的学习 Elasticsearch ?

4、Elasticsearch 磁盘使用率超过警戒水位线,怎么办?

5、Elasitcsearch CPU 使用率突然飙升,怎么办?

44bdb45bda31eae752cca5251bdd8d52.png

更短时间更快习得更多干货!

已带领88位球友通过 Elastic 官方认证!

5120df2b71aed51e2c5993c066004e19.gif

比同事抢先一步学习进阶干货!


http://chatgpt.dhexx.cn/article/MDx9Pmv0.shtml

相关文章

关于 Kubernetes中集群统一日志管理方案(Elasticsearch+Filebeat+Kibana+Metricbeat)搭建的一些笔记

写在前面 学习K8s,所以整理分享给小伙伴这里要说明的是:这一套方案太吃硬件了,需要高配的本才能跑起来我的16G运存,集群用三个虚机部署的,工作节点都是3核5G的配置折腾了两天没有跑起来,后来放弃了,查了下&…

metricbeat实现容器监控

Metricbeat是elastic下的项目,在5.1及之后的版本中支持对Docker的监控,需与EK配合使用能在界面上显示,也可直接将数据导入kafka中。 -1.安装 使用版本: elasticsearch-5.2.0-1.noarch(用于输出显示) kibana-5.2.0-…

Centos 7.9 安装 ELK8.1.0+MetricBeat

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 目录 环境 一、前期准备: 1.下载ELKMetircBeat rpm包 2.CentOS 设置 二、安装Elasticsearch 1.安装rpm 2.配置Elasticsearch 修改配置档 开防火墙 设…

Storm Metric

storm从0.9.0开始,增加了指标统计框架,用来收集应用程序的特定指标,并将其输出到外部系统。 本文中采用的监听类是LoggingMetricsConsumer,统计指标值将输出到metric.log日志文件中。 当然也可以自定义监听类,只需要实…

Beats:如何启动 Metricbeat 中的 MySQL 模块 - query Metricset

在我做之前的教程 “Observability:Elastic Metrics 应用介绍”,我发现当我尝试启动 MySQL 模块中的 query metricset 会出现错误。之后我发现官方文档也缺少相应的资料。在今天的文章中,我将介绍如上启动这个 metricset。在使用这个 metrics…

Metricbeat源码分析

0X00 版本信息 Golang:1.16.8 Metricbeat:7.14 0X01 Metricbeat介绍 Metricbeat quick start: installation and configuration | Metricbeat Reference [7.14] | Elastichttps://www.elastic.co/guide/en/beats/metricbeat/7.14/metricbeat-install…

Elk-Metricbeat配置Tomcat的日志分析 (Metricbeat-part3)

1, 安装软件 Metricbeat安装 请参考之前的文档链接: Metricbeat 8.4.0 linux 安装(Metricbeat-part1)_yangkei的博客-CSDN博客Metricbeat 能够以一种轻量型的方式,输送各种系统和服务统计数据,从 CPU 到内存,从 Redis 到 Nginx…

Metricbeat config file metricbeat.yml must be owned by the user identifier (uid=0) or root

Linux 上修改呢metricbeat.yml的权限,启动的时候报错。查了下解决方案 记录下 https://www.elastic.co/guide/en/beats/libbeat/5.3/config-file-permissions.html#config-file-permissions 简而言之就是所有者必须是root,然后权限必须是0644 sudo c…

Elk-Metricbeat配置Nginx的日志分析 (Metricbeat-part2)

1 情况说明: Metricbeat的基本安装部分可以参考: Metricbeat 8.4.0 linux 安装(Metricbeat-part1)_yangkei的博客-CSDN博客 下面来聊聊如何通过elkmetricbeat来监控Nginx日志。 借用网上以为大师的图就是这样子 Metricbeat 采集 Nginx 指标_叶康铭的…

metricbeat收集elasticsearch、kibana监控数据

一、kibana 1、下载metricbeat并部署到kibana所在的服务器 2、禁用 Kibana 监控指标的默认集合,在kibana.yml文件中增加如下配置: monitoring.kibana.collection.enabled: false3、从控制台或命令行,在生产集群上设置xpack.monitoring.col…

ELK日志采集平台(四)---轻量级采集工具metricbeat

目录 一、安装metricbeat 二、与kibana数据可视化联用 logstash是负责采集数据的,是入口,流向为logstash-> ES->kibana,但是它的资源消耗很大,有时候没那么多内存给他占用,同时有些定制的采集指标logstash无法…

Metricbeat安装下载,nginx模块使用

目录 MetricbeatMetricbeat组成下载启动Metricbeat Modulesystem module配置内容 Nginx Module开启Nginx Module 配置nginx module测试 Metricbeat 定期收集操作系统或应用服务的指标数据存储到Elasticsearch中,进行实时分析 Metricbeat组成 Metricbeat有2部分组成…

metricbeat对接kafka

在监控系统中经常用到kafka来处理数据,上层平台会从kafka直接取数据进行分析,今天分享下metricbeat监控的数据如何输出到kafka中,并对各配置项进行详细说明。 metricbeat环境搭建点这里 kafka环境搭建点这里 -在metricbeat配置文件中配置o…

Beats:通过 Metricbeat 实现外部对 Elastic Stack 的监控

自 Elastic 7.5 发布开始,通过外部监控 Elastic Stack 已经全面实施。 可以通过 Metricbeat 模块监视 Elasticsearch,Kibana,Logstash,APM 服务器和 Beats。 使用外部收集,用户现在可以收集和发送其 Elastic Stack 的…

Metricbeat 的使用

目标 统计并展示系统的信息 cpu, 内存等 (当然metricbeat能收集的信息种类还很多) 前提 版本: 5.x已经安装了ELK (elasticsearch, logstash (可选), kibana)安装了x-pack (配置了对应的security)(可选&a…

Metricbeat 8.4.0 linux 安装(Metricbeat-part1)

Metricbeat是一款轻量型指标采集器,用于从系统和服务收集指标。Metricbeat 能够以一种轻量型的方式,输送各种系统和服务统计数据,从 CPU 到内存,从 Redis 到 Nginx,不一而足。将 Metricbeat 部署到您的所有 Linux、Win…

Metricbeat部署指南

官网下载metricbeat,https://www.elastic.co/downloads/beats/metricbeat。 解压tar包,tar -zxvf metricbeat-7.0.0-linux-x86_64.tar.gz。 进入目录,cd metricbeat-7.0.0-linux-x86_64。 编辑metricbeat配置文件metricbeat.yml&#xff1…

metricbeat的基本使用

文章目录 概述metricbeat安装metricbeat启动案例举例1:收集系统运行的指标数据至es举例2:收集es运行的指标数据至es 概述 定期收集操作系统或应用服务的指标数据存储到Elasticsearch中,进行实时分析 metricbeat安装 去下载页下载&#xff…

Metricbeat安装与初级使用

metricbeat作用: 将 Metricbeat 部署到您所有的 Linux、Windows 和 Mac 主机,并将它连接到 Elasticsearch 就大功告成啦:您可以获取系统级的 CPU 使用率、内存、文件系统、磁盘 IO 和网络 IO 统计数据,以及获得如同系统上 top 命令…

Metricbeat和Filebeat的安装及配置

Beats的安装及配置 一、Metricbeat的安装配置 环境准备 下载与es同版本的metricbeat,这里为 metricbeat-7.11.1-linux-x86_64.tar.gz 这里使用root用户进行配置及启动metricbeat 已启动对应的ES服务及Kibana服务 metricbeat的安装 这里在/路径下建立beats文件…