Nifi集群安装配置

article/2025/8/16 3:03:34

机器

目录

免密登录

nifi001d

/opt/software/nifi

nifi001d>>nifi002d、nifi003d

niif002d

/opt/software/nifi

nifi002d>>nifi001d、nifi003d

niif002d

/opt/software/nifi

nifi003d>>nifi001d、nifi002d

1、安装nifi

(1)解压tar -zxvf nifi-1.10.0-bin.tar.gz -C /data/software/(2)创建软链接ln -s nifi-1.10.0 nifi

2、配置nifi

(1) vi conf/bootstrap.conf 修改如下配置项:

(2)如指定nifi 就需要su nifi用户去启动⚠️ 需要useradd nifi 创建完nifi用户成可以su nifi

run.as=nifi

3、修改nifi.properties 文件

nifi.web.http.host=nifi001d nifi.web.http.port=9090 
nifi.cluster.is.node=true 
nifi.cluster.node.address=nifi001d 
nifi.cluster.node.protocol.port=8081 nifi.zookeeper.connect.string=nifi001d:2181,nifi002d:2181,nifi003d:2181 
nifi.zookeeper.root.node=/nifi

4、 修改state-management.xml

<cluster-provider> <id>zk-provider</id>         
<class>org.apache.nifi.controller.state.providers.zookeeper.ZooKeeperStateProvider</class> <property name="ConnectString">nifi001d:2181,nifi002d:2181,nifi003d:2181</property> <property name="Root Node">/nifi</property> <property name="Session Timeout">10 seconds</property> <property name="Access Control">Open</property> 
</cluster-provider>

5、scp其他两台机器

注:需配置免密

scp -r nifi nifi002d:/opt/software/scp -r nifi nifi003d:/opt/software/

6、修改其他两台机器的配置文件

nifi002dnifi002d vim nifi.propertiesnifi.web.http.host=nifi002dnifi.cluster.node.address=nifi002dnifi003d vim nifi.propertiesnifi.web.http.host=nifi003dnifi.cluster.node.address=nifi003d

7、 启动nifi

bin/nifi.sh start#jps 不能用 就使用 ps -ef |grep nifi 查看进程

8、访问地址

#地址http://nifi001d:9090/nifi/

9、配置nifi log 数据日志大小 可参考(报错在配置)


http://chatgpt.dhexx.cn/article/BA1DojXc.shtml

相关文章

NIFI 入门使用

1. Kettle与NIFI差异 Kettle 介绍 Kettle是一款国外开源的ETL工具&#xff0c;纯java编写&#xff0c;可以在Window、Linux、Unix上运行&#xff0c;绿色无需安装&#xff0c;数据抽取高效稳定。Kettle 中文名称叫水壶&#xff0c;该项目的主程序员MATT 希望把各种数据放到一…

《数据同步-NIFI系列》Nifi详细教程入门-06Nifi基础操作

Nifi基础操作 1 主页面 2 组 2.1 创建组 从常用功能模块&#xff0c;拖动组到画布上&#xff0c;自定义组名。可以通过鼠标移动组在画布位置。 2.2 进入、退出组 选中某一个组&#xff0c;单击右键选择enter group或者双击组进入组内&#xff0c;在组内单击右键选择leave g…

nifi-搭建

NIFI 简介 1、NIFI 的概念 1.1 起源&#xff1a;NIFI是为了自动化的处理和管理系统之间的数据流而产生的&#xff0c;基本设计概念与基于流的编程[fbp]的主要思想密切相关 1.2 nifi核心概念 FlowFile&#xff1a;FlowFile表示通过系统移动的每个对象&#xff0c;包含数据流的基…

9、NIFI综合应用场景-通过NIFI配置kafka的数据同步

Apache NiFi系列文章 1、nifi-1.9.2介绍、单机部署及简单验证 2、NIFI应用示例-GetFile和PutFile应用 3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看 4、集群部署及验证、监控及节点管理 5、NiFi FileFlow示例和NIFI模板示例 6、NIFI应用场景-离线同步Mys…

Apache NiFi 入门指南

本指南使用于谁&#xff1f; 本指南适用于从未使用过&#xff0c;在NiFi中有限度接触或仅完成特定任务的用户。本指南不是详尽的说明手册或参考指南。“ 用户指南”提供了大量信息&#xff0c;旨在提供更加详尽的资源&#xff0c;并且作为参考指南非常有用。相比之下&#xff…

2、NIFI应用示例-GetFile和PutFile应用

Apache NiFi系列文章 1、nifi-1.9.2介绍、单机部署及简单验证 2、NIFI应用示例-GetFile和PutFile应用 3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看 4、集群部署及验证、监控及节点管理 5、NiFi FileFlow示例和NIFI模板示例 6、NIFI应用场景-离线同步Mys…

大数据NiFi(三):NiFi关键特性

文章目录 NiFi关键特性 一、​​​​​​​​​​​​​​流管理

NiFi学习笔记

目录 NiFi概念 NiFi是什么 Apache NiFi 包括以下功能 NIFI核心概念 NiFi架构 NiFi入门 常用术语 下载安装NiFi 启动和关闭NIFI NIFI处理器 查看处理器 常用处理器 配置处理器 其他组件 应用场景 1.添加和配置第一个处理器GetFile 2.添加第二个处理器PutFile NiF…

NiFi的简介

使用java开发的一个开源项目&#xff0c;数据处理工具 1.简介&#xff1a; NiFi 是一个易于使用、功能强大而且可靠的流式数据处理和分发系统。NiFi 是为数据流设计&#xff0c;支持从多种数据源动态的拉取数据&#xff0c;并基于WEB图形界面&#xff0c;通过拖拽、连接、配置…

Nifi的入门使用

Nifi的使用 1.官方文档2.Nifi简介3.简单使用4.Template 使用nifi前&#xff0c;需要知道ETL在做什么&#xff0c;如果源端和目标端栏位不匹配&#xff0c;就需要用到小帮手&#xff0c; 让你更直观的了解映射关系&#xff0c;才能更好的构建DataFlow 第一步&#xff1a;Nifi开发…

NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)

Apache NIFI中文文档 地址&#xff1a;https://nifichina.github.io/ 1.简介 官网的介绍&#xff1a; An easy to use, powerful, and reliable system to process and distribute data. 一个易用、功能强大、可靠的处理和分发数据的系统。 来自网络的介绍&#xff1a; 2006…

5、NiFi FileFlow示例和NIFI模板示例

Apache NiFi系列文章 1、nifi-1.9.2介绍、单机部署及简单验证 2、NIFI应用示例-GetFile和PutFile应用 3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看 4、集群部署及验证、监控及节点管理 5、NiFi FileFlow示例和NIFI模板示例 6、NIFI应用场景-离线同步Mys…

大数据NiFi(二):NiFi架构

文章目录 NiFi架构 一、​​​​​​​NiFi核心概念

Nifi:nifi的基本使用

Nifi的安装使用 爱购物 www.cqfenfa.com Nifi安装 首先说一下Nifi的安装&#xff0c;这里Nifi可以支持Windows版和Linux&#xff0c;只需要去官网&#xff1a;http://nifi.apache.org/ 根据自己需要的版本&#xff0c;选择下载&#xff0c;然后安装解压就行 各目录及主要文件…

大数据NiFi(一):什么是NiFi

文章目录 什么是NiFi 一、NiFi背景介绍

Nifi介绍、安装、实践案例

第1章NiFi基本概念 1.1 概述 简单地说&#xff0c;NiFi是为了自动化系统之间的数据流而构建的。虽然术语“数据流”在各种环境中使用&#xff0c;但我们在此处使用它来表示系统之间自动化和管理的信息流。这个问题空间一直存在&#xff0c;因为企业有多个系统&#xff0c;其中…

NiFi技术干货

第1章 NiFi概述 1.1 NiFi是什么 简单的说&#xff0c;NiFi就是为了解决不同系统间数据自动流通问题而建立的。虽然dataflow这个术语在各种场景都有被使用&#xff0c;但我们在这里使用它来表示不同系统间的自动化的可管理的信息流。自企业拥有多个系统开始&#xff0c;一些系…

NiFi 基本概念

NiFi基本概念 一. NiFi是什么 Apache NiFi 是一个易于使用, 功能强大且可靠的系统, 用于处理和分发数据。可以自动化管理系统间的数据流。它使用高度可配置的指示图来管理数据路由, 转换和系统中介逻辑, 支持从多种数据源动态拉取数据。NiFi 原来是 NSA(美国国家安全局) 的一…

大数据Nifi简介

目录 1 NIFI简介2 NIFI核心概念3 NIFI构架3.1 网络服务器3.2 流控制器3.3 扩展3.4 FlowFile存储库3.5 内容存储库3.6 源头存储库 1 NIFI简介 Apache NiFi 是一个易于使用&#xff0c;功能强大且可靠的系统&#xff0c;用于处理和分发数据。可以自动化管理系统间的数据流。它支…

springboot error at line 1, column 5. Encountered: “\uff01“ (65281), after : ““

出现这种错误表面mybatis配置文件中sql查询语句中出现了中文字符&#xff0c;需要将对应的中文字符修改为英文。 ERROR 10500 --- [nio-8081-exec-8] o.a.c.c.C.[.[.[/].[dispatcherServlet] : Servlet.service() for servlet [dispatcherServlet] in context with path [] …