ELK相关软件下载安装

article/2025/11/3 23:10:55

一、Windows安装elasticsearch

1、安装JDK，至少1.8.0_73以上版本，验证：java -version

2、下载和解压缩Elasticsearch安装包，查看目录结构

下载地址：https://www.elastic.co/cn/downloads/elasticsearch

在这里插入图片描述

目录结构：
在这里插入图片描述

3、配置文件

位置：使用zip、tar安装，配置文件的地址在安装目录的config下

常用的配置项如下：

cluster.name: 配置elasticsearch的集群名称，默认是elasticsearch。建议修改成一个有意义的名称。
node.name:节点名，通常一台物理服务器就是一个节点，es会默认随机指定一个名字，建议指定一个有意义的名称，方便管理一个或多个节点组成一个cluster集群，集群是一个逻辑的概念，节点是物理概念，后边章节会详细介绍。
path.conf: 设置配置文件的存储路径，tar或zip包安装默认在es根目录下的config文件夹，rpm安装默认在/etc/ elasticsearch
path.data:设置索引数据的存储路径，默认是es根目录下的data文件夹，可以设置多个存储路径，用逗号隔开。
path.logs:设置日志文件的存储路径，默认是es根目录下的logs文件夹
path.plugins: 设置插件的存放路径，默认是es根目录下的plugins文件夹
bootstrap.memory_lock: true设置为true可以锁住ES使用的内存，避免内存与swap分区交换数据。
network.host: 设置绑定主机的ip地址，设置为0.0.0.0表示绑定任何ip，允许外网访问，生产环境建议设置为具体的ip。
http.port: 9200设置对外服务的http端口，默认为9200。
transport.tcp.port: 9300  集群结点之间通信端口
node.master: 指定该节点是否有资格被选举成为master结点，默认是true，如果原来的master宕机会重新选举新的master。
node.data: 指定该节点是否存储索引数据，默认为true。
discovery.zen.ping.unicast.hosts: ["host1:port", "host2:port", "..."]设置集群中master节点的初始列表。
discovery.zen.ping.timeout: 3s设置ES自动发现节点连接超时的时间，默认为3秒，如果网络延迟高可设置大些。
discovery.zen.minimum_master_nodes:主结点数量的最少值 ,此值的公式为：(master_eligible_nodes / 2) + 1 ，比如：有3个符合要求的主结点，那么这里要设置为2。
node.max_local_storage_nodes: 单机允许的最大存储结点数，通常单机启动一个结点建议设置为1，开发环境如果单机启动多个节点可设置大于1。

jvm.options：设置最小及最大的JVM堆内存大小

在jvm.options中设置 -Xms和-Xmx：

  • 两个值设置为相等

  • 将Xmx 设置为不超过物理内存的一半。

4、启动Elasticsearch：bin\elasticsearch.bat，es的特点就是开箱即，无需配置，启动即可

注意：es7 windows版本不支持机器学习，所以config\elasticsearch.yml中添加如下几个参数：

node.name: node-1  
cluster.initial_master_nodes: ["node-1"]  
xpack.ml.enabled: false 
http.cors.enabled: true
http.cors.allow-origin: /.*/

5、检查ES是否启动成功：浏览器访问http://localhost:9200/

在这里插入图片描述

解释：

  • name: node名称，取自机器的hostname
  • cluster_name: 集群名称（默认的集群名称就是elasticsearch）
  • version.number: 7.3.2，es版本号
  • version.lucene_version:封装的lucene版本号

6、浏览器访问 http://localhost:9200/_cluster/health 查询集群状态

{"cluster_name": "elasticsearch","status": "green","timed_out": false,"number_of_nodes": 1,"number_of_data_nodes": 1,"active_primary_shards": 0,"active_shards": 0,"relocating_shards": 0,"initializing_shards": 0,"unassigned_shards": 0,"delayed_unassigned_shards": 0,"number_of_pending_tasks": 0,"number_of_in_flight_fetch": 0,"task_max_waiting_in_queue_millis": 0,"active_shards_percent_as_number": 100
}

解释：

Status：集群状态。green 所有分片可用。Yellow所有主分片可用。Red主分片不可用，集群不可用。

二、 Windows安装Kibana

1、下载，解压kibana

下载地址：https://www.elastic.co/cn/downloads/kibana

在这里插入图片描述

2、启动Kibana：bin\kibana.bat

在这里插入图片描述

3、浏览器访问 http://localhost:5601 进入Dev Tools界面

在这里插入图片描述

三、 Windows安装IK分词器

1、根据es版本下载相应版本包解压（es/plugins/ik）

下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

在这里插入图片描述

2、重启es

ik分词器基础知识

  • ik_max_word: 会将文本做最细粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为“中华人民共和国，中华人民，中华，华人，人民共和国，人民大会堂，人民大会，大会堂”，会穷尽各种可能的组合

  • ik_smart: 会做最粗粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为“中华人民共和国，人民大会堂”

ik分词器的使用

存储时，使用ik_max_word，搜索时，使用ik_smart

//存储
PUT /my_index 
{"mappings": {"properties": {"text": {"type": "text","analyzer": "ik_max_word","search_analyzer": "ik_smart"}}}
}//搜索
GET /my_index/_search?q=中华人民共和国人民大会堂

ik配置文件

  • ik配置文件地址：es/plugins/ik/config目录

  • IKAnalyzer.cfg.xml：用来配置自定义词库

  • main.dic：ik原生内置的中文词库，总共有27万多条，只要是这些单词，都会被分在一起

  • preposition.dic: 介词

  • quantifier.dic：放了一些单位相关的词，量词

  • suffix.dic：放了一些后缀

  • surname.dic：中国的姓氏

  • stopword.dic：英文停用词

ik原生最重要的两个配置文件

  • main.dic：包含了原生的中文词语，会按照这个里面的词语去分词

  • stopword.dic：包含了英文的停用词

自定义词库

  • 自己建立词库：每年都会涌现一些特殊的流行词，网红，鬼畜，一般不会在ik的原生词典里，需要自己补充自己的最新的词语，到ik的词库里面

    • IKAnalyzer.cfg.xml：ext_dict，创建mydict.dic，补充自己的词语，然后需要重启es，才能生效

  • 自己建立停用词库：比如了，的，啥，么，我们可能并不想去建立索引，让人家搜索

    • custom/ext_stopword.dic，已经有了常用的中文停用词，可以补充自己的停用词，然后重启es

http://chatgpt.dhexx.cn/article/ynr6vKpK.shtml

相关文章

ELK日志分析系统

ELK日志分析系统

目录 一、ELK日志分析系统 1、日志分析 2、elk 日志分析的工具 3、Logstash 4、elasticsearch介绍 5、Elasticsearch的基础核心概念 7、logstash介绍 8、Kibana介绍 二、实验 1、配置elasticsearch环境 2、安装elasticsearch-head插件 3、安装logstash 4、在node1主…
阅读更多...
centos7搭建elk

centos7搭建elk

ELK 是 ElasticSearch、 LogStash、 Kibana 三个开源工具的简称，现在还包括 Beats，其分工如下: LogStash/Beats: 负责数据的收集与处理ElasticSearch: 一个开源的分布式搜索引擎，负责数据的存储、检索和分析Kibana: 提供了可视化的界面。负责数据的可视化操作基于 ELK Stack…
阅读更多...
ELK简介

ELK简介

目录 1.什么是ELK 2.为什么使用ELK 3.ELK的工作流程简介 4.ELK重点组件介绍 ①Filebeat工作原理： ②Logstash工作原理： 5.ELK架构举例 ①： ②： ③： 1.什么是ELK ELK是三个开源软件的缩写，分别是E…
阅读更多...
ELK分布式日志解决方案

ELK分布式日志解决方案

一、简介 ELK，包含三款产品，Elasticsearch、Logstash、Kibana，可在项目中作为日志框架使用。 项目中框架整合所需技术： 在整个方案中，各组件的作用如下： 应用服务 生产日志，通过Logger产生日…
阅读更多...
ElasticSearch（九）：ELK 架构

ElasticSearch（九）：ELK 架构

日志收集——》格式化分析——》检索和可视化——》风险告警 ELK架构 经典的ELK整合消息队列Nginx架构 什么是Logstash Logstash核心概念Logstash数据传输原理Logstash配置文件结构Logstash QueueLogstash导入数据到ES同步数据库数据到Elasticsearch 什么是Beats FileBeat简介…
阅读更多...
ELK入门

ELK入门

整体思路 filebeat采集数据--->Kafka--->Logstash提取Kafka--->ES-->Kibana可视化 ElasticSearch 首次启动时，密码在控制台日志中, 建议保留首次运行时的日志 elk 下载地址： 下载 Elastic 产品 | Elastic -> Elasticsearch security f…
阅读更多...
ELK 环境搭建

ELK 环境搭建

ELK ELK 其实是Elasticsearch、Logstash和Kibana三个产品的首字母缩写，这三款都是开源产品。 ElasticSearch (简称 ES)，是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析；Logstash 是一个数…
阅读更多...
ELK（入门篇）

ELK（入门篇）

简介 ELK由Elasticsearch、Logstash、Kibana三个优秀的开源项目组成，取首字母简写命名为ELK，主要提供对数据的加载、处理、查询等功能。其中： Elasticsearch：对数据进行搜集、分析、存储。 Logstash：对数据的搜集、分…
阅读更多...
ELK详解

ELK详解

一，搜索原理 1，前提条件数据准备 a.获取数据 - 从互联网中获取数据 爬虫，网站数据b.建立文档 - 方便本地查询，将之前获取的数据，以文档的样式存在采取专用的存储软件，将文件（Document&#…
阅读更多...
ELK学习总结——我们为什么要用ELK

ELK学习总结——我们为什么要用ELK

一. ELK是什么？ ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案，是三个产品的首字母缩写，分别是ElasticSearch、Logstash 和 Kibana。 ElasticSearch简称ES，它是一个实时的分布式搜索和分析引擎，它可以…
阅读更多...
1、ELK介绍

1、ELK介绍

一、ELK简介 ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集…
阅读更多...
ELK超详细配置

ELK超详细配置

文章目录 一、ELK日志分析系统简介1.1、ELK日志分析系统组成1.2、日志处理步骤二、3款软件各自概念2.1、Elasticsearch介绍2.2、Logstash介绍2.3、Kibana介绍三、ELK日志分析系统部署3.1、实验环境及准备3.2、实验步骤3.2.1、elk-1和elk-2中部署Elasticsearch3.2.2、apache主机…
阅读更多...
ELK入门——ELK详细介绍（ELK概念和特点、Elasticsearch/Logstash/beats/kibana安装及使用介绍、插件介绍）

ELK入门——ELK详细介绍（ELK概念和特点、Elasticsearch/Logstash/beats/kibana安装及使用介绍、插件介绍）

目录 主要参考链接 一、什么是ELK（端口9200） 主要特点： 1.存储：面向文档JSON 2.检索：倒排乐观锁 3.分析：监控预警可视化 4.支持集群 二、Logstash（端口5044） 三、Beats 四…
阅读更多...
ELK 是什么？

ELK 是什么？

前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和文献引用请见1000个问题搞定大数据技术体系 正文 ELK ELK是三个软…
阅读更多...
【ElasticSearch】ELK简介

【ElasticSearch】ELK简介

本文目录 一、什么是ELK？ 二、ELK简介 2.1 E -- ElasticSearch 2.2 L -- Logstash 2.3 K -- Kibana 三、ELK优点 一、什么是ELK？ ELK 是 Elasticsearch、Logstash、Kibana 三大开源框架的首字母大写简称。市面上也被称为Elastic Stack。其中 Elas…
阅读更多...
ELK详解（一）——ELK基本原理

ELK详解（一）——ELK基本原理

今天继续给大家介绍Linux运维相关知识，本文主要内容是ELK的基本原理。 一、ELK简介 ELK是三个软件的统称，即Elasticsearch、Logstash和Kibana三个开源软件的缩写。这三款软件都是开源软件，通常配合使用，并且都先后归于Elastic.c…
阅读更多...
ELK介绍

ELK介绍

文章目录 1.ELK简介2.ELK架构图3.Filebeat工作原理4.Logstash工作原理 1.ELK简介 ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)&a…
阅读更多...
ELK整理

ELK整理

ELK 一、ELK介绍二、 Elasticsearch的安装部署1、依赖于java,所以首先安装java环境-jdk2、 Elasticsearch的安装3、Elasticsearch-head插件的安装4、插入，查询，更新和删除数据 三、集群的搭建1、将三个节点搭建成功2、故障转移 四、kibana的安装以及使用…
阅读更多...
ELK搜索高级

ELK搜索高级

ELK搜索高级 1． 简介 ​ ELK是包含但不限于Elasticsearch（简称es）、Logstash、Kibana 三个开源软件的组成的一个整体，分别取其首字母组成ELK。ELK是用于数据抽取（Logstash）、搜索分析（Elastic…
阅读更多...
ELK初学者

ELK初学者

一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服…
阅读更多...
推荐文章

Copyright @ 2022~2023