ELK入门

article/2025/11/3 23:23:49

 整体思路

filebeat采集数据--->Kafka--->Logstash提取Kafka--->ES-->Kibana可视化

ElasticSearch

首次启动时,密码在控制台日志中, 建议保留首次运行时的日志

 elk 下载地址: 下载 Elastic 产品 | Elastic

-> Elasticsearch security features have been automatically configured!
-> Authentication is enabled and cluster connections are encrypted.

->  Password for the elastic user (reset with `bin/elasticsearch-reset-password -u elastic`):
  mfIi*c0bb63oTA9C8w6L

->  HTTP CA certificate SHA-256 fingerprint:
  45528b7da49344772a9822de77d093ad35e459217e2faf7459a4b25997a95e35

启动报错: not all primary shards of [.geoip_databases] index are active

exception during geoip databases update
org.elasticsearch.ElasticsearchException: not all primary shards of [.geoip_databases] index are active at

org.elasticsearch.ingest.geoip. GeoIpDownloader.updateDatabases (GeoIpDownloader.java:134)  ~[ingest-geoip-8.3.2.jar:8.3.2] at org.elasticsearch.ingest.geoip. GeoIpDownloader. runDownloader (GeoIpDownloader.java:274) [ingest-geoip-8.3.2.jar:8.3.2]
        at org.elasticsearch.ingest.geoip. GeoIpDownloaderTaskExecutor.nodeOperation (GeoIpDownloaderTaskExecutor.java:102) [ingest-geoip-8.3.2.jar:8.3.2] at org. elasticsearch.ingest.geoip. GeoIpDownloaderTaskExecutor. nodeOperation(GeoIpDownloaderTaskExecutor.java:48) [ingest-geoip-8.3.2.jar:8.3.2]
        at org.elasticsearch.persistent.NodePersistentTasksExecutor$1.doRun(NodePersistentTasksExecutor.java:42) [elasticsearch-8.3.2.jar:?]
        at org.elasticsearch.common.util.concurrent.ThreadContext$ContextPreservingAbstractRunnable.doRun(ThreadContext.java:769) [elasticsearch-8.3.2.jar:?]
        at org.elasticsearch.common.util.concurrent.AbstractRunnable.run(AbstractRunnable.java:26) [elasticsearch-8.3.2.jar:?]
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1136) [?:?]
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:635) [?:?]

启动时会去更新地图的一些数据库,这里直接禁掉即可,用到时再说,配置文件

conf/elasticsearch.yml  配置 

ingest.geoip.downloader.enabled: false

Kibana

连接Elastic

将生成的token复制到上面的框中 

C:\Tools\elasticsearch-8.3.2\bin>elasticsearch-create-enrollment-token.bat -s kibana
warning: ignoring JAVA_HOME=C:\Tools\Java\jdk1.8.0_301; using bundled JDK
eyJ2ZXIiOiI4LjMuMiIsImFkciI6WyIxMC4xMC42OC4xNzU6OTIwMCJdLCJmZ3IiOiI0NTUyOGI3ZGE0OTM0NDc3MmE5ODIyZGU3N2QwOTNhZDM1ZTQ1OTIxN2UyZmFmNzQ1OWE0YjI1OTk3YTk1ZTM1Iiwia2V5IjoiR2Q1eThZRUJzUXEwaW9IMmxaWkM6LWFlZW51SVdTZ1MwM0Z6Y1ZCcGlvQSJ9 

LogStash

本地实现收集日志配置 logstash.conf

运行完需要删除
C:\Tools\logstash-8.3.2\data\plugins\inputs\file 里以.sin开头的文件,这里面记录file的状态,不删,再次运行就没有输出了

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  file {
    #文件的绝对路径 无论是window还是liunx系统都必须是反斜杠/
    # logstash.conf bin文件在同级目录  bin目录下启动命令 
    path => "C:/Tools/logstash-8.3.2/test.log"
    start_position => "beginning"
    #每隔3秒刷新
    stat_interval => 3
    #sincedb_path => "/dev/null"
    }
}
  #beats {
  #  port => 5044
 # }

output {
  elasticsearch {
    hosts => ["https://10.10.68.175:9200"]
    ssl  => true
    cacert => "config/certs/http_ca.crt"
  #  index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    user => "elastic"
    password => "mfIi*c0bb63oTA9C8w6L"
  }
}
 

filebeat

下载地址:Download Filebeat • Lightweight Log Analysis | Elastic


http://chatgpt.dhexx.cn/article/F3ZAKMKh.shtml

相关文章

ELK 环境搭建

ELK ELK 其实是Elasticsearch、Logstash和Kibana三个产品的首字母缩写,这三款都是开源产品。 ElasticSearch (简称 ES),是一个实时的分布式搜索和分析引擎,它可以用于全文搜索,结构化搜索以及分析;Logstash 是一个数…

ELK(入门篇)

简介 ELK由Elasticsearch、Logstash、Kibana三个优秀的开源项目组成,取首字母简写命名为ELK,主要提供对数据的加载、处理、查询等功能。其中: Elasticsearch:对数据进行搜集、分析、存储。 Logstash:对数据的搜集、分…

ELK详解

一,搜索原理 1,前提条件数据准备 a.获取数据 - 从互联网中获取数据 爬虫,网站数据b.建立文档 - 方便本地查询,将之前获取的数据,以文档的样式存在采取专用的存储软件,将文件(Document&#…

ELK学习总结——我们为什么要用ELK

一. ELK是什么? ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案,是三个产品的首字母缩写,分别是ElasticSearch、Logstash 和 Kibana。 ElasticSearch简称ES,它是一个实时的分布式搜索和分析引擎,它可以…

1、ELK介绍

一、ELK简介 ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集…

ELK超详细配置

文章目录 一、ELK日志分析系统简介1.1、ELK日志分析系统组成1.2、日志处理步骤二、3款软件各自概念2.1、Elasticsearch介绍2.2、Logstash介绍2.3、Kibana介绍三、ELK日志分析系统部署3.1、实验环境及准备3.2、实验步骤3.2.1、elk-1和elk-2中部署Elasticsearch3.2.2、apache主机…

ELK入门——ELK详细介绍(ELK概念和特点、Elasticsearch/Logstash/beats/kibana安装及使用介绍、插件介绍)

目录 主要参考链接 一、什么是ELK(端口9200) 主要特点: 1.存储:面向文档JSON 2.检索:倒排乐观锁 3.分析:监控预警可视化 4.支持集群 二、Logstash(端口5044) 三、Beats 四…

ELK 是什么?

前言 本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢! 本专栏目录结构和文献引用请见1000个问题搞定大数据技术体系 正文 ELK ELK是三个软…

【ElasticSearch】ELK简介

本文目录 一、什么是ELK? 二、ELK简介 2.1 E -- ElasticSearch 2.2 L -- Logstash 2.3 K -- Kibana 三、ELK优点 一、什么是ELK? ELK 是 Elasticsearch、Logstash、Kibana 三大开源框架的首字母大写简称。市面上也被称为Elastic Stack。其中 Elas…

ELK详解(一)——ELK基本原理

今天继续给大家介绍Linux运维相关知识,本文主要内容是ELK的基本原理。 一、ELK简介 ELK是三个软件的统称,即Elasticsearch、Logstash和Kibana三个开源软件的缩写。这三款软件都是开源软件,通常配合使用,并且都先后归于Elastic.c…

ELK介绍

文章目录 1.ELK简介2.ELK架构图3.Filebeat工作原理4.Logstash工作原理 1.ELK简介 ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent)&a…

ELK整理

ELK 一、ELK介绍二、 Elasticsearch的安装部署1、依赖于java,所以首先安装java环境-jdk2、 Elasticsearch的安装3、Elasticsearch-head插件的安装4、插入,查询,更新和删除数据 三、集群的搭建1、将三个节点搭建成功2、故障转移 四、kibana的安装以及使用…

ELK搜索高级

ELK搜索高级 1. 简介 ​ ELK是包含但不限于Elasticsearch(简称es)、Logstash、Kibana 三个开源软件的组成的一个整体,分别取其首字母组成ELK。ELK是用于数据抽取(Logstash)、搜索分析(Elastic…

ELK初学者

一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理,所有服…

部署ELK+Kafka+Filebeat日志收集分析系统

ELKKafkaFilebeat日志系统 文章目录 ELKKafkaFilebeat日志系统1.环境规划2.部署elasticsearch集群2.1.配置es-1节点2.2.配置es-2节点2.3.配置es-3节点2.4.使用es-head插件查看集群状态 3.部署kibana4.部署zookeeper4.1.配置zookeeper-1节点4.2.配置zookeeper-2节点4.3.配置zook…

什么是ELK(小白简单快速的认识什么是ELK)

Elastic Stack 写在前面:刚接触elk,总是有点懵懵懂懂,我一向是比较习惯在使用过后更好更快的了解这个东西是做什么的,但这个elk是真的有点恶心到我了,那就是对于初期的模拟应用对小白太太太不友好了,所以在…

elk(Elasticsearch、Kibana、Logstash )有这篇就够了,超级详细,包教会

目录 1. elk介绍 2. elk安装(windows版) 3. elk安装(linux版) 4. 收集springboot项目日志(windows版) 5. 收集springboot项目日志(linux版) 6. elk 补充(后台运行&…

linux中找不到vim命令

1.首先查看vim 安装包,如下图 rpm -qa | grep vim 2.下载vim(需要连接网络) yum install -y vim* 3.安装成功后查看 rpm -qa | grep vim

vim命令模式指令一览

提示:本文介绍了linux下vim中的快捷指令。 文章目录 注意:本文所有指令都只在命令行模式下有效!!! vim指令图: 指令解析命令解析h光标向左移动j光标向下移动k光标向上移动l光标向下移动yy/nyy复制当前行/…

Linux中vim命令详解

vim 是linux中最基本的操作 vim常用模式 1、命令模式 2、插入模式 3、底行模式 4、可视化模式,命令模式按v进入 5、替换模式,命令模式下按r进入 1、插入模式 默认进入文件打开的是命令模式 在这个模式下是不能插入字符的 按“i”键,然后就进入到插入模式了,屏幕下…