Elk-Metricbeat配置Nginx的日志分析 (Metricbeat-part2)

article/2025/10/8 0:02:33

1 情况说明:

Metricbeat的基本安装部分可以参考:

Metricbeat 8.4.0 linux 安装(Metricbeat-part1)_yangkei的博客-CSDN博客

下面来聊聊如何通过elk+metricbeat来监控Nginx日志。

借用网上以为大师的图就是这样子

Metricbeat 采集 Nginx 指标_叶康铭的博客-CSDN博客

 在 Nginx 中相关的状态页面需要通过打开 http_stub_status_module 这个模块获取,在编译 Nginx 时,通过加上--with-http_stub_status_module 进行打开,对应的访问/nginx_status页面就可以获取的 Nginx 的服务状态了。

2 Nginx安装:

参考Nginx安装步骤:

【Web】Nginx下载与安装 - H__D - 博客园

下载当前最新版本1.23.1,上传安装包。

安装相应的4个依赖包:

yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel

创建安装目录:

mkdir -p /app/nginx

解压,安装

cd /app/install/

tar -xzvf nginx-1.23.1.tar.gz

cd /app/install/nginx-1.23.1

./configure --prefix=/app/nginx --with-http_stub_status_module

make

make install

检查版本:(用root用户启动,避免权限问题)

[root@goya1 sbin]# pwd
/app/nginx/sbin
[root@goya1 sbin]# ./nginx -v
nginx version: nginx/1.23.1
[root@goya1 sbin]# ./nginx 
[root@goya1 sbin]# ps -ef |grep nginx 
root       58789       1  0 15:58 ?        00:00:00 nginx: master process ./nginx
nobody     58790   58789  0 15:58 ?        00:00:00 nginx: worker process
root       58793    9323  0 15:59 pts/2    00:00:00 grep --color=auto nginx
修改属组权限:

 chown -R es.es nginx/

查看Nginx访问:http://192.168.88.5:80


Nginx常用操作:
重新加载配置命令:./sbin/nginx -s reload
查看命令:ps -ef | grep nginx
关闭命令:./sbin/nginx -s reload -s stop 或者:kill -9 进程号

3, 修改Nginx配置文件:

cd /app/nginx/conf

vi  nginx.conf(添加如下内容)

        location  /status {
            stub_status on;
            allow all;
        }

 验证:

[root@goya1 ~]# curl http:/192.168.88.5/status
Active connections: 1 
server accepts handled requests
 1 1 1 
Reading: 0 Writing: 1 Waiting: 0 
参数说明参考:

4, 配置Nginx Module

启用nginx module
[es@goya1 metricbeat]$ metricbeat modules enable nginx
Enabled nginx

修改nginx module配置
vim modules.d/nginx.yml

# Module: nginx
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/main/metricbeat-module-nginx.html

- module: nginx
  metricsets:
    - stubstatus
  period: 10s

  # Nginx hosts
  hosts: ["http://192.168.88.5:80/"]

  # Path to server status. Default nginx_status
  server_status_path: "status"

  #username: "user"
  #password: "secret"

检查metricbeat.yml文件配置:

[es@goya1 metricbeat]$ cat metricbeat.yml |grep -v "#" |grep -v "^$"
metricbeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
  index.codec: best_compression
setup.kibana:
  host: "192.168.88.5:5601"
output.elasticsearch:
        hosts: ["192.168.88.5:9200","192.168.88.7:9200","192.168.88.9:9200"]
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~

设置 Metricbeat 创建 Kibana上的 Index Pattern 和 Dashboard
[es@goya1 metricbeat]$ metricbeat setup
Overwriting ILM policy is disabled. Set `setup.ilm.overwrite: true` for enabling.
Index setup finished.
Loading dashboards (Kibana must be running and reachable)
Loaded dashboards
重启metricbeat
./metricbeat -e

5, Kibana配置及查看

登录Kibana控制台http://192.168.88.5:5601/app/home#/

搜索关键字"nginx"会有相应的模板结果。

 选中就会展示监控信息:

至此,Kibana+Metricsbeat+Nginx监控就配置完毕。


http://chatgpt.dhexx.cn/article/rf4ayYdc.shtml

相关文章

metricbeat收集elasticsearch、kibana监控数据

一、kibana 1、下载metricbeat并部署到kibana所在的服务器 2、禁用 Kibana 监控指标的默认集合,在kibana.yml文件中增加如下配置: monitoring.kibana.collection.enabled: false3、从控制台或命令行,在生产集群上设置xpack.monitoring.col…

ELK日志采集平台(四)---轻量级采集工具metricbeat

目录 一、安装metricbeat 二、与kibana数据可视化联用 logstash是负责采集数据的,是入口,流向为logstash-> ES->kibana,但是它的资源消耗很大,有时候没那么多内存给他占用,同时有些定制的采集指标logstash无法…

Metricbeat安装下载,nginx模块使用

目录 MetricbeatMetricbeat组成下载启动Metricbeat Modulesystem module配置内容 Nginx Module开启Nginx Module 配置nginx module测试 Metricbeat 定期收集操作系统或应用服务的指标数据存储到Elasticsearch中,进行实时分析 Metricbeat组成 Metricbeat有2部分组成…

metricbeat对接kafka

在监控系统中经常用到kafka来处理数据,上层平台会从kafka直接取数据进行分析,今天分享下metricbeat监控的数据如何输出到kafka中,并对各配置项进行详细说明。 metricbeat环境搭建点这里 kafka环境搭建点这里 -在metricbeat配置文件中配置o…

Beats:通过 Metricbeat 实现外部对 Elastic Stack 的监控

自 Elastic 7.5 发布开始,通过外部监控 Elastic Stack 已经全面实施。 可以通过 Metricbeat 模块监视 Elasticsearch,Kibana,Logstash,APM 服务器和 Beats。 使用外部收集,用户现在可以收集和发送其 Elastic Stack 的…

Metricbeat 的使用

目标 统计并展示系统的信息 cpu, 内存等 (当然metricbeat能收集的信息种类还很多) 前提 版本: 5.x已经安装了ELK (elasticsearch, logstash (可选), kibana)安装了x-pack (配置了对应的security)(可选&a…

Metricbeat 8.4.0 linux 安装(Metricbeat-part1)

Metricbeat是一款轻量型指标采集器,用于从系统和服务收集指标。Metricbeat 能够以一种轻量型的方式,输送各种系统和服务统计数据,从 CPU 到内存,从 Redis 到 Nginx,不一而足。将 Metricbeat 部署到您的所有 Linux、Win…

Metricbeat部署指南

官网下载metricbeat,https://www.elastic.co/downloads/beats/metricbeat。 解压tar包,tar -zxvf metricbeat-7.0.0-linux-x86_64.tar.gz。 进入目录,cd metricbeat-7.0.0-linux-x86_64。 编辑metricbeat配置文件metricbeat.yml&#xff1…

metricbeat的基本使用

文章目录 概述metricbeat安装metricbeat启动案例举例1:收集系统运行的指标数据至es举例2:收集es运行的指标数据至es 概述 定期收集操作系统或应用服务的指标数据存储到Elasticsearch中,进行实时分析 metricbeat安装 去下载页下载&#xff…

Metricbeat安装与初级使用

metricbeat作用: 将 Metricbeat 部署到您所有的 Linux、Windows 和 Mac 主机,并将它连接到 Elasticsearch 就大功告成啦:您可以获取系统级的 CPU 使用率、内存、文件系统、磁盘 IO 和网络 IO 统计数据,以及获得如同系统上 top 命令…

Metricbeat和Filebeat的安装及配置

Beats的安装及配置 一、Metricbeat的安装配置 环境准备 下载与es同版本的metricbeat,这里为 metricbeat-7.11.1-linux-x86_64.tar.gz 这里使用root用户进行配置及启动metricbeat 已启动对应的ES服务及Kibana服务 metricbeat的安装 这里在/路径下建立beats文件…

windows安装wget

1、下载地址:http://downloads.sourceforge.net/gnuwin32/wget-1.11.4-1-setup.exe 2、双击下载的exe,同意协议,更改安装安装目录。 其余默认安装,继续下一步,安装完成 3、设置系统环境变量 添加path变量:…

手动编译源代码安装wget

从wget的源代码入手,来完成wget在Ubuntu上的安装,如果你的机器上已经默认安装了wget,请采用apt-get remove命令先卸载掉。 解决configure: error: –with-ssl was given, but GNUTLS/SSL is not available.;解决error: ./stdio.h…

win10安装wget,从此可以更快的下载文件 and windows10 下 zip命令行参数详解

1.win10安装wget 1.1安装下载 GNU Wget 1.21.3 for Windows 依次如下: 2、将下载好的wget.exe放到 C:/windows/system32文件夹下 也可以自行放置文件,添加到系统路径即可 第三步:配置系统环境变量(如下)电脑-属性…

Mac安装wget流程及异常解决

目录 1.终端输入wget检查自己是否已经安装过wget,没有安装如下图 2. 安装brew 1)点击brew官网:官网网址 2)将命令粘贴到终端,回车执行 3)输入sudo密码。 4)系统开始自动安装brew,等待晚装完成&#xf…

使用rpm 安装wget

步骤: 下载wget的rpm包:http://mirrors.163.com/centos/7/os/x86_64/Packages/ 使用浏览器搜索功能查找关键字 ,这个网站搜索wget 运行: rpm -ivh wget-1.14-15.el7_4.1.x86_64.rpm

centos7离线安装wget

gcc安装 CentOS下离线安装gcc环境,图文详细,方法全面_lgx211的技术博客_51CTO博客 m4安装 下载: http://mirrors.kernel.org/gnu/m4/m4-1.4.13.tar.gz 拷贝到centos系统上,并解压: tar -xzvf m4-1.4.13.tar.gz到解…

mac 如何安装 wget

1.安装 Homebrew 在安装 wget 之前需要安装一个适用于 mac 的包管理器 Homebrew,打开 mac 终端执行如下命令进行安装: /usr/bin/ruby -e "$(curl -fsSL https://cdn.jsdelivr.net/gh/ineo6/homebrew-install/install)"安装成功后的界面如下所…

CentOS8下安装wget、wget2

目录 一、yum 安装二、下载包安装 wget1.安装 gmp(1)下载(2)解压(3)编译安装 2.安装 nettle(1)下载(2)解压(3)编译安装 3.安装 gnutls…

cygwin安装wget

1. 安装make 下载make包https://gnu-make.soft32.com/free-download/ 将make解压放到 E:\cygwin64\home\Administrator 2. 在cygwin中进入/home/Administrator/make-3.81路径 依次执行以下命令: ./configure ./build.sh 在make-3.81下就会生成make.exe文件 3.…