NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)

article/2025/8/16 5:32:44

Apache NIFI中文文档 地址:https://nifichina.github.io/

1.简介

官网的介绍:

An easy to use, powerful, and reliable system to process and distribute data.
一个易用、功能强大、可靠的处理和分发数据的系统。

来自网络的介绍:

  • 2006年由美国国家安全局(NSA)的Joe Witt创建,之后在2014年贡献给Apache社区,随后在2015 年成为Apache顶级项目之一。
  • 是一个易于使用、功能强大而且可靠的流式数据处理和分发系统。
  • 是为数据流设计,支持从多种数据源动态的拉取数据,并基于WEB图形界面,通过拖拽、连接、配置完成基于流程的编程,实现数据采集、处理等功能。
  • 目前,NiFi 社区活跃度非常高,其中 Cloudera 是最大的贡献者,仅2020年就发布了7个版本。NiFi 作为一个致力于数据对接的集成框架在物联网IOT和大数据领域得到很多公司的青睐。我数了一下,截止2022年10月发布的版本也已经7个了。

2.下载安装配置启动

  • 最近的两个版本(下载页面):https://nifi.apache.org/download.html
  • 全版本(下载页面):https://archive.apache.org/dist/nifi/
  • 官方(文档):https://nifi.apache.org/docs.html

2.1 下载

本次选择最新版本1.18.0进行下载安装:

在这里插入图片描述

2.2 安装

# 解压文件
unzip nifi-1.18.0-bin.zip

2.3 配置

# 配置环境变量
cat <<'EOF' > /etc/profile.d/nifi.sh
export NIFI_HOME=/usr/local/nifi-1.18.0
export PATH=$PATH:${NIFI_HOME}/bin
EOF
sleep 1
source /etc/profile.d/nifi.sh# 修改https的host和port
nifi.web.https.host=tcloud
nifi.web.https.port=58080

在这里插入图片描述
更多配置根据业务需求进行设置,这里暂时不进行详细的说明。

2.4 启动

# 添加到服务
nifi.sh install# 前台启动
nifi.sh run
# 后台启动
nifi.sh start
# 启动信息
Java home: /usr/local/java/jdk1.8.0_241
NiFi home: /usr/local/nifi-1.18.0Bootstrap Config File: /usr/local/nifi-1.18.0/conf/bootstrap.conf# 查看
jps
# 查看结果
9353 NiFi
9326 RunNiFi
9375 Jps# 查看启动日志
tail -f ${NIFI_HOME}/logs/nifi-app.log

首次启动时${NIFI_HOME}/logs/nifi-app.log日志会打印默认的登录用户和密码:

在这里插入图片描述

2.5 登录

登录页面:

在这里插入图片描述

首次登录成功:

在这里插入图片描述

3.问题处理

3.1 host及port配置

仅配置http时会报错:Remote input HTTPS is enabled but nifi.web.https.port is not specified.

# 仅配置HTTP
Caused by: java.lang.RuntimeException: 
Remote input HTTPS is enabled but nifi.web.https.port is not specified.

http和https都配置则报错:Both nifi.web.https.port and nifi.web.http.port specified

# HTTP和HTTPS都进行配置
java.lang.IllegalStateException: 
Invalid port configuration in nifi.properties: 
Both nifi.web.https.port and nifi.web.http.port specified

在Linux服务器上https使用默认的host127.0.0.1web页面将无法访问。需要配置为hostname映射的ip地址:

INFO [main] org.apache.nifi.web.server.JettyServer NiFi has started. The UI is available at the following URLs:
INFO [main] org.apache.nifi.web.server.JettyServer https://tcloud:58080/nifi

3.2 Username和Password

首次启动时${NIFI_HOME}/logs/nifi-app.log日志会打印默认的登录用户和密码:

在这里插入图片描述

但是这个用户名和密码都是很长不容易记忆的,一下是官网设置密码的方法:

在这里插入图片描述
实践:

# 官方命令
$ ./bin/nifi.sh set-single-user-credentials <username> <password># 实例
[root@tcloud nifi-1.18.0]# ./bin/nifi.sh set-single-user-credentials admin admin12345678# 打印的信息
Java home: /usr/local/java/jdk1.8.0_241
NiFi home: /usr/local/nifi-1.18.0Bootstrap Config File: /usr/local/nifi-1.18.0/conf/bootstrap.confLogin Identity Providers Processed [/usr/local/nifi-1.18.0/./conf/login-identity-providers.xml]

可以看到login-identity-providers.xml内的用户名已经修改,密码是加密后的。

在这里插入图片描述
特别注意:密码修改后重启服务才能生效。

# 由于配置过环境变量 我们可以在任意路径使用 NiFi 的命令
nifi.sh restart

4.总结

部署简单,官网说明详细,至此部署成功。

编辑列表:

  • 20221123 添加中文文档链接。

http://chatgpt.dhexx.cn/article/8rYngFbi.shtml

相关文章

5、NiFi FileFlow示例和NIFI模板示例

Apache NiFi系列文章 1、nifi-1.9.2介绍、单机部署及简单验证 2、NIFI应用示例-GetFile和PutFile应用 3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看 4、集群部署及验证、监控及节点管理 5、NiFi FileFlow示例和NIFI模板示例 6、NIFI应用场景-离线同步Mys…

大数据NiFi(二):NiFi架构

文章目录 NiFi架构 一、​​​​​​​NiFi核心概念

Nifi:nifi的基本使用

Nifi的安装使用 爱购物 www.cqfenfa.com Nifi安装 首先说一下Nifi的安装&#xff0c;这里Nifi可以支持Windows版和Linux&#xff0c;只需要去官网&#xff1a;http://nifi.apache.org/ 根据自己需要的版本&#xff0c;选择下载&#xff0c;然后安装解压就行 各目录及主要文件…

大数据NiFi(一):什么是NiFi

文章目录 什么是NiFi 一、NiFi背景介绍

Nifi介绍、安装、实践案例

第1章NiFi基本概念 1.1 概述 简单地说&#xff0c;NiFi是为了自动化系统之间的数据流而构建的。虽然术语“数据流”在各种环境中使用&#xff0c;但我们在此处使用它来表示系统之间自动化和管理的信息流。这个问题空间一直存在&#xff0c;因为企业有多个系统&#xff0c;其中…

NiFi技术干货

第1章 NiFi概述 1.1 NiFi是什么 简单的说&#xff0c;NiFi就是为了解决不同系统间数据自动流通问题而建立的。虽然dataflow这个术语在各种场景都有被使用&#xff0c;但我们在这里使用它来表示不同系统间的自动化的可管理的信息流。自企业拥有多个系统开始&#xff0c;一些系…

NiFi 基本概念

NiFi基本概念 一. NiFi是什么 Apache NiFi 是一个易于使用, 功能强大且可靠的系统, 用于处理和分发数据。可以自动化管理系统间的数据流。它使用高度可配置的指示图来管理数据路由, 转换和系统中介逻辑, 支持从多种数据源动态拉取数据。NiFi 原来是 NSA(美国国家安全局) 的一…

大数据Nifi简介

目录 1 NIFI简介2 NIFI核心概念3 NIFI构架3.1 网络服务器3.2 流控制器3.3 扩展3.4 FlowFile存储库3.5 内容存储库3.6 源头存储库 1 NIFI简介 Apache NiFi 是一个易于使用&#xff0c;功能强大且可靠的系统&#xff0c;用于处理和分发数据。可以自动化管理系统间的数据流。它支…

springboot error at line 1, column 5. Encountered: “\uff01“ (65281), after : ““

出现这种错误表面mybatis配置文件中sql查询语句中出现了中文字符&#xff0c;需要将对应的中文字符修改为英文。 ERROR 10500 --- [nio-8081-exec-8] o.a.c.c.C.[.[.[/].[dispatcherServlet] : Servlet.service() for servlet [dispatcherServlet] in context with path [] …

编码GBK的不可映射字符 和 错误: 非法字符: ‘\uff1b‘

题目&#xff1a;解决编码GBK的不可映射字符 和 错误: 非法字符: ‘\uff1b’ 解决编码GBK的不可映射字符 1&#xff09;首先&#xff0c;在d盘所示的目录新建一个文本文件&#xff08;记事本&#xff09;&#xff0c;保存时字符集为utf-8 2&#xff09;输入&#xff08;d:&…

如何处理“错误: 非法字符: ‘\uff1b‘”

解决方法&#xff1a;把原代码中的中文分号改为英文分号。 注意事项&#xff1a;中英文切换时应尤其注意符号问题。

Lexical error at line 1, column 20. Encountered: “\uff01“ (65281), after : ““

问题&#xff1a; 测试myBatis的动态SQL的时候&#xff0c;控制台提示我出现了&#xff1a;Lexical error at line 1, column 20. Encountered: "\uff01" (65281), after : "" 的错误 原因&#xff1a; 在<if test"sex !null and sex &#xff0…

深度学习之格式转换笔记(三):keras(.hdf5)模型转TensorFlow(.pb) 转TensorRT(.uff)格式

环境&#xff1a; tensorflow1.15&#xff0c;cuda10.0&#xff0c;cudnn7.6.4 将keras训练好保存的.hdf5格式模型转为tensorflow的.pb模型&#xff0c;然后转为tensorrt支持的uff格式。 keras(.hdf5)模型转TensorFlow(.pb) # h5_to_pb.pyfrom keras.models import load_mod…

Jetson 学习笔记(五):pb转uff---pb转onnx转trt----pth转onnx转pb

文章目录 pb转uff具体代码运行结果 pb转onnx转trt具体代码pb转onnx运行结果onnx转化trt方法1:trtexec方法2:onnx-tensorrt工具 推理trt模型 pth转onnxonnx转pb方法1:onnx-tensorflow工具方法2:代码执行 pb转uff具体代码 这里用的是uff自带的一个转换器&#xff0c;直接通过调用…

Tensorflow pb模型转uff模型方法及遇到KeyError20和expected Const问题解决

项目所需要将Tensorflow 生成的pb模型转为uff模型&#xff0c;方法很简单&#xff0c;但是遇到的问题着实很多&#xff0c;这里主要记录下问题及解决方法&#xff0c;总之&#xff0c;最后是成功生成uff格式的模型的&#xff0c;有需要的可以参考。 pb模型转为uff模型的方法及步…

安装TensorRT,然后导入uff库包的时候报错:ImportError: ERROR: Failed to import module(cannot import name ‘GraphDef`)

欢迎大家关注笔者&#xff0c;你的关注是我持续更博的最大动力 原创文章&#xff0c;转载告知&#xff0c;盗版必究 安装TensorRT&#xff0c;然后导入uff库包的时候报错&#xff1a;ImportError: ERROR: Failed to import module&#xff08;cannot import name GraphDef from…

pb模型转uff模型(tensorflow2.x)

大多数的博客只是提到tensorflow1.x系列下的转换。大概步骤就是安装tensorrt&#xff0c;同时安装tensorrt下的几个python的wl文件。可参见博主之前的博客: 1.tensorrt的安装Ubuntu配置TensorRT及验证_竹叶青lvye的博客-CSDN博客 2.tensorrt下几个whl文件的安装TensorRT加速方…

Sony索尼HLG灰片电影调色LUT预设合集 HLG CINEMATIC LUTPACK BUNDLE

Sony索尼HLG灰片电影调色LUT预设合集 HLG CINEMATIC LUTPACK BUNDLE 原文地址&#xff1a;https://www.aeziyuan.com/t-20546.html 包括用于Sony索尼LOG相机的39组LUT预设。是目前为止Sony索尼相机最好的预设之一。 它适用于支持LUT预设效果的大多数软件。例如Premiere Pro&…

两种HDR格式(HLG, HDR10)的理解

1、HLG只在sps的vui中会携带信息&#xff0c;包括colour_primaries(9)&#xff0c;transfer_characteristics(18)&#xff0c;matrix_coefficients(9) 2、HDR10除了SPS的VUI中携带的信息&#xff0c;在key frame会携带相应的SEI&#xff08;mastering display、content light l…

详解HDR的三个标准——HLG/HDR10/Dolby Vision

HDR的三大标准&#xff1a;HLG&#xff08;Hybrid Log Gamma&#xff09;&#xff1b;HDR10&#xff1b;Dolby Vision HLG&#xff1a;HLG的全称是Hybrid Log Gamma&#xff0c;它是由英国BBC和日本NHK电视台联合开发的高动态范围HDR的一个标准。HLG不需要元数据&#xff0c;能…