Nifi的入门使用

article/2025/8/16 5:32:31

Nifi的使用

  • 1.官方文档
  • 2.Nifi简介
  • 3.简单使用
  • 4.Template

使用nifi前,需要知道ETL在做什么,如果源端和目标端栏位不匹配,就需要用到小帮手,
让你更直观的了解映射关系,才能更好的构建DataFlow

第一步:Nifi开发之小帮手TableMapping.
第二步:Nifi开发之自动生成DataFolw.

1.官方文档

官方文档地址:https://nifi.apache.org/docs.html.
在这里插入图片描述

2.Nifi简介

Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计。它支持强大且可高度配置的基于有向图的数据路由、转换和系统中介逻辑,支持从多种数据源动态拉取数据。Apache NiFi原来是NSA的一个项目,现在开源出来,由Apache基金会进行管理。

Apache NiFi是基于Java开发,使用Maven支持包的构建管理。Apache NiFi基于Web方式工作,后台在服务器上进行调度。可以为数据处理定义一个流程,然后进行处理,后台具有数据处理引擎、任务调度等组件。

主要特性

  • 1.基于web的用户界面
    无缝体验设计、控制、反馈和监控
  • 2.高度可配置
    数据丢失容错和保证交付
    低延迟和高吞吐量
    动态优先级
    流可以在运行时修改
    背压(Back presure)
  • 3.数据来源
    从始至终跟踪数据流
  • 4.为扩展设计
    构建自己的数据处理器和更多组件
    支持快速开发和有效的测试
  • 5.安全
    支持SSL,SSH,HTTPS加密内容,等等……
    多租户授权和内部授权/策略管理

3.简单使用

在这里插入图片描述

导航栏功能非常强大
1.nifi dataflow的基本单元processor,就是将一个需求分成多个步骤去完成
2.Input Port类似于一个接口,链接Output Port
3.当一个processor group将数据处理完,把结果传给另一个processor group的时候,就要用到它
4.一组processor的集合,可以理解为一个processor group就是一个功能,它需要多个processor协调合作来完成
5.拉取远端的processor group
6.多路分支合并到一条路
7.下载Template
8.标签,可以做标注

在这里插入图片描述

4.Template

在nifi中,每一张表数据的迁移,都会用到很多固定的processor
所以,我们会将做好的DataFlow,提高其扩展性,制成Template
1.需要每次都修改的部分使用全局变量
2.不同的场景使用不同的script

在这里插入图片描述
将通用性比较好的Dataflow放到processor group中
最好有Naming Rule

在这里插入图片描述
使用时拉一个processor group,点击 import
也可以右上角去选择

在这里插入图片描述
制作完Template,目前阶段还是纯手动
1.手动拉取Template
2.手动修改全局变量

后面就是sql查询要迁移的table 信息,然后用程序自动构建NiFi DataFlow,

我们是通过Excel获取table的信息
以及source table 和target table的mapping 关系

链接:自动构建NiFi Dataflow.


http://chatgpt.dhexx.cn/article/gfBhSZje.shtml

相关文章

NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)

Apache NIFI中文文档 地址:https://nifichina.github.io/ 1.简介 官网的介绍: An easy to use, powerful, and reliable system to process and distribute data. 一个易用、功能强大、可靠的处理和分发数据的系统。 来自网络的介绍: 2006…

5、NiFi FileFlow示例和NIFI模板示例

Apache NiFi系列文章 1、nifi-1.9.2介绍、单机部署及简单验证 2、NIFI应用示例-GetFile和PutFile应用 3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看 4、集群部署及验证、监控及节点管理 5、NiFi FileFlow示例和NIFI模板示例 6、NIFI应用场景-离线同步Mys…

大数据NiFi(二):NiFi架构

文章目录 NiFi架构 一、​​​​​​​NiFi核心概念

Nifi:nifi的基本使用

Nifi的安装使用 爱购物 www.cqfenfa.com Nifi安装 首先说一下Nifi的安装,这里Nifi可以支持Windows版和Linux,只需要去官网:http://nifi.apache.org/ 根据自己需要的版本,选择下载,然后安装解压就行 各目录及主要文件…

大数据NiFi(一):什么是NiFi

文章目录 什么是NiFi 一、NiFi背景介绍

Nifi介绍、安装、实践案例

第1章NiFi基本概念 1.1 概述 简单地说,NiFi是为了自动化系统之间的数据流而构建的。虽然术语“数据流”在各种环境中使用,但我们在此处使用它来表示系统之间自动化和管理的信息流。这个问题空间一直存在,因为企业有多个系统,其中…

NiFi技术干货

第1章 NiFi概述 1.1 NiFi是什么 简单的说,NiFi就是为了解决不同系统间数据自动流通问题而建立的。虽然dataflow这个术语在各种场景都有被使用,但我们在这里使用它来表示不同系统间的自动化的可管理的信息流。自企业拥有多个系统开始,一些系…

NiFi 基本概念

NiFi基本概念 一. NiFi是什么 Apache NiFi 是一个易于使用, 功能强大且可靠的系统, 用于处理和分发数据。可以自动化管理系统间的数据流。它使用高度可配置的指示图来管理数据路由, 转换和系统中介逻辑, 支持从多种数据源动态拉取数据。NiFi 原来是 NSA(美国国家安全局) 的一…

大数据Nifi简介

目录 1 NIFI简介2 NIFI核心概念3 NIFI构架3.1 网络服务器3.2 流控制器3.3 扩展3.4 FlowFile存储库3.5 内容存储库3.6 源头存储库 1 NIFI简介 Apache NiFi 是一个易于使用,功能强大且可靠的系统,用于处理和分发数据。可以自动化管理系统间的数据流。它支…

springboot error at line 1, column 5. Encountered: “\uff01“ (65281), after : ““

出现这种错误表面mybatis配置文件中sql查询语句中出现了中文字符,需要将对应的中文字符修改为英文。 ERROR 10500 --- [nio-8081-exec-8] o.a.c.c.C.[.[.[/].[dispatcherServlet] : Servlet.service() for servlet [dispatcherServlet] in context with path [] …

编码GBK的不可映射字符 和 错误: 非法字符: ‘\uff1b‘

题目:解决编码GBK的不可映射字符 和 错误: 非法字符: ‘\uff1b’ 解决编码GBK的不可映射字符 1)首先,在d盘所示的目录新建一个文本文件(记事本),保存时字符集为utf-8 2)输入(d:&…

如何处理“错误: 非法字符: ‘\uff1b‘”

解决方法:把原代码中的中文分号改为英文分号。 注意事项:中英文切换时应尤其注意符号问题。

Lexical error at line 1, column 20. Encountered: “\uff01“ (65281), after : ““

问题&#xff1a; 测试myBatis的动态SQL的时候&#xff0c;控制台提示我出现了&#xff1a;Lexical error at line 1, column 20. Encountered: "\uff01" (65281), after : "" 的错误 原因&#xff1a; 在<if test"sex !null and sex &#xff0…

深度学习之格式转换笔记(三):keras(.hdf5)模型转TensorFlow(.pb) 转TensorRT(.uff)格式

环境&#xff1a; tensorflow1.15&#xff0c;cuda10.0&#xff0c;cudnn7.6.4 将keras训练好保存的.hdf5格式模型转为tensorflow的.pb模型&#xff0c;然后转为tensorrt支持的uff格式。 keras(.hdf5)模型转TensorFlow(.pb) # h5_to_pb.pyfrom keras.models import load_mod…

Jetson 学习笔记(五):pb转uff---pb转onnx转trt----pth转onnx转pb

文章目录 pb转uff具体代码运行结果 pb转onnx转trt具体代码pb转onnx运行结果onnx转化trt方法1:trtexec方法2:onnx-tensorrt工具 推理trt模型 pth转onnxonnx转pb方法1:onnx-tensorflow工具方法2:代码执行 pb转uff具体代码 这里用的是uff自带的一个转换器&#xff0c;直接通过调用…

Tensorflow pb模型转uff模型方法及遇到KeyError20和expected Const问题解决

项目所需要将Tensorflow 生成的pb模型转为uff模型&#xff0c;方法很简单&#xff0c;但是遇到的问题着实很多&#xff0c;这里主要记录下问题及解决方法&#xff0c;总之&#xff0c;最后是成功生成uff格式的模型的&#xff0c;有需要的可以参考。 pb模型转为uff模型的方法及步…

安装TensorRT,然后导入uff库包的时候报错:ImportError: ERROR: Failed to import module(cannot import name ‘GraphDef`)

欢迎大家关注笔者&#xff0c;你的关注是我持续更博的最大动力 原创文章&#xff0c;转载告知&#xff0c;盗版必究 安装TensorRT&#xff0c;然后导入uff库包的时候报错&#xff1a;ImportError: ERROR: Failed to import module&#xff08;cannot import name GraphDef from…

pb模型转uff模型(tensorflow2.x)

大多数的博客只是提到tensorflow1.x系列下的转换。大概步骤就是安装tensorrt&#xff0c;同时安装tensorrt下的几个python的wl文件。可参见博主之前的博客: 1.tensorrt的安装Ubuntu配置TensorRT及验证_竹叶青lvye的博客-CSDN博客 2.tensorrt下几个whl文件的安装TensorRT加速方…

Sony索尼HLG灰片电影调色LUT预设合集 HLG CINEMATIC LUTPACK BUNDLE

Sony索尼HLG灰片电影调色LUT预设合集 HLG CINEMATIC LUTPACK BUNDLE 原文地址&#xff1a;https://www.aeziyuan.com/t-20546.html 包括用于Sony索尼LOG相机的39组LUT预设。是目前为止Sony索尼相机最好的预设之一。 它适用于支持LUT预设效果的大多数软件。例如Premiere Pro&…

两种HDR格式(HLG, HDR10)的理解

1、HLG只在sps的vui中会携带信息&#xff0c;包括colour_primaries(9)&#xff0c;transfer_characteristics(18)&#xff0c;matrix_coefficients(9) 2、HDR10除了SPS的VUI中携带的信息&#xff0c;在key frame会携带相应的SEI&#xff08;mastering display、content light l…