Kettle Spoon入门教程

article/2025/10/14 6:50:41

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。其中,Spoon是Kettle中的一个组件,其他组件有PAN,CHEF,Encr和KITCHEN等。

Spoon通过图形化的页面,方便直观的让你完成数据转换的操作。

1、安装配置

点我下载

最新版本是7.1,小编这里使用的是6.1。下载完毕后,解压即可。

因为是Java编写的,需要jdk环境。配置完环境后,运行Spoon.bat或spoon.sh,就可以看到Spoon的页面了。

这里写图片描述

Tips:进行操作前,别忘记将数据库驱动包放入Spoon的lib文件夹下。

这是不太方便的地方,Spoon支持的数据库类型特别多,如果把所有的数据库驱动都提前下载好,又有点多余了。

如果忘记这个步骤,在建立数据库连接时,会报错。

这里写图片描述

2、小试牛刀

首先先新建一个作业。
路径:文件–>新建作业。

2.1 新建连接

路径:主对象树-作业-作业1-DB连接。

这里写图片描述

填写相应的数据库信息,即可。
这里写图片描述

点击测试,连接成功。

这里写图片描述

2.2 新建转换——由DB到DB

需求:目前有两个数据库,DB1和DB2。将DB1中的某一个表中的数据,导入到DB2对应的表中。

为了演示方便,此处两个数据源的数据模型完全相同。但在实际操作中,两个数据源的模型会复杂很多。

路径:文件–>新建–>转换。

1)拖动控件
在左侧“核心对象”下的“输入”菜单中,找到“表输入”,并将其拖动到右侧的空白处。同理,将“输出”菜单中,找到“插入/更新”,拖至空白处。
2)编辑控件内容
“表输入”控件:
这里写图片描述

选择或新建数据库连接,对应需求中的DB1,将要查询的sql语句贴上。

“插入/更新”控件:
这里写图片描述

同理,选择或新建数据源,对应需求中的DB2;选择目标表;若有查询条件,添加查询字段。这里按id查询,若此id存在则更新,若不存在即插入。添加更新字段。

3)建立关联
选中“表输入”,按住shift,将关联线关联到“插入/更新”。

4)保存执行
执行前需将文件保存,点击启动按钮执行即可,如下图:

这里写图片描述

2.3 新建转换——由Excel到DB

需求:将Excel中的数据导入到DB中。
步骤与2.2类似,就不再详细描述了,只说下不同的地方。需要的两个控件为“Excel输入”、“表输出”。

Excel中最好以数据库字段名充当列名,示例如下:

这里写图片描述

“Excel输入”控件中需要选择表格类型,并添加Excel文件,如下图所示。
这里写图片描述

获取字段信息
这里写图片描述

保存执行即可。

2.4 作业调度

上面的两个例子简单介绍了“转换”的功能,如果需要定时或重复性的执行这些转换,那就需要作业调度来支持了。

路径:核心对象–>通用。

拖动控件“START”和“转换”。
编辑“START”控件,如下图:
这里写图片描述

编辑“转换”,选择文件,如下图:
这里写图片描述

3、小结

工欲善其事必先利其器,学会使用工具,使工作更加高效。


http://chatgpt.dhexx.cn/article/IihHIcMr.shtml

相关文章

nethogs查看每个进程流量

sudo nethogs 找到每个进程消耗流量的pid 通过ps -ef | grep pid 来查看对应的任务。 再如: datanode带宽打满,会导致dn写数据非常慢 参考链接:每天学习一个命令:使用 nethogs 查看每个进程流量

NetHogs下载和监控

转自:http://blog.csdn.net/testcs_dn/article/details/40506225 CentOS6.5下使用NetHogs监控进程网络使用情况 分类: CentOS2014-10-27 13:54 5789人阅读 评论(3) 收藏 举报 目录(?)[] Nethogs 是一个终端下的网络流量监控工具,它的特别之处…

Centos7 部署 Nethogs

可用来按进程或程序实时统计网络带宽使用率 安装依赖包 yum install libpcap libpcap-devel epel-release -y 安装epel源 yum install epel-release -y 安装Nethogs yum install nethogs -y 运行测试 查看版本 nethogs -V version 0.8.5 直接执行nethogs界面如下 监控…

linux 查看使用网络的程序,linux下nethogs查看各程序的网络占用量

一、概述 inux下的流量查看工具很多,如:iptraf、nload、ifstat、sar等。当然每个工具都有各自的优势。不过以上所有工具有没一款都针对服务进程所占用的流量的具体情况给出结果。(我是不知道,如果有以上工具有这方面的功能,麻烦一…

nethogs-iftop等网络监控软件---Linux

一、Linux系统 1、nethogs 1)centos7.1下nethogs安装方法 (1)先安装epel,使用的命令是:rpm -Uvh https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm (2)yum install net…

CentOS下使用NetHogs监控进程网络使用情况

Nethogs 是一个终端下的网络流量监控工具,它的特别之处在于可以显示每个进程的带宽占用情况,这样可以更直观获取网络使用情况。它支持 IPv4 和 IPv6 协议、支持本地网卡及 PPP 链接。 下载: 从Github上下载nethogs-0.8.1.tar.gz 使用wget下…

nethogs命令

性能监测与优化 《Linux就该这么学》是一本基于最新Linux系统编写的入门必读书籍,内容面向零基础读者,由浅入深渐进式教学,销量保持国内第一,年销售量预期超过10万本。点此免费在线阅读。 有很多适用于Linux系统的开源网络监视工…

Linux学习准备,nethogs,htop,nmon,dstat用法

Nethogs用法: 在基于RedHat系统下键入如下命令启动NetHogs工具. # nethogs 要执行NetHogs你必须拥有root权限,即如图所示用sudo命令 $ sudo nethogs 以下就是NetHogs命令行的参数,用’-d’来添加刷新频率参数,device name 用来检测给定的某个或者某些设备的带宽(默认…

nethogs和nload流量监控工具

nethogs和nload流量监控工具 nethogs流量监控工具NetHogs安装NetHogs命令参数 nload流量监控工具nload安装内容解释:参数:实例: nethogs流量监控工具 工具存在部分局限性,如果网卡存在大量网络连接会导致nethogs卡死 NetHogs安装 …

redhad安装nethogs

工作需要监控linux下的进程宽带占有量,从网上找了资料,很多不能成功,现在整理一下 安装 Debian/Ubuntu下安装很简单,执行:apt-get install nethogs 就可以安装。 CentOS/RHEL下建议先安装EPEL,再执行&…

nethogs安装部署

Ubuntu安装部署 apt-get -y install ncurses* apt-get -y install libpcap-dev libncurses5-dev wget -c https://github.com/raboof/nethogs/archive/v0.8.1.tar.gz tar xvf v0.8.1.tar.gz cd nethogs-0.8.1 make && make install centos安装部署 wget https://gi…

nethogs

下载地址:https://github.com/raboof/nethogs/releases 安装基础包 Debian/Ubuntu apt-get install build-essential libncurses5-dev libpcap-devYum-based distros yum install gcc-c libpcap-devel.x86_64 libpcap.x86_64 "ncurses*"Getting the so…

Linux系统调优详解(七)——网络状态查看命令nethogs

今天继续给大家介绍Linux运维相关知识,本文主要内容是网络状态查看命令nethogs。 一、nethogs命令安装 nethogs工具可以帮助我们很方便的查看当前系统中的进程使用网络的情况,这有助于我们找到当前系统中的网络瓶颈。nethogs命令需要首先安装&#xff…

【超详细】Linux系统之nethogs命令

1.简介 NetHogs是一个小型的net top工具,不像大多数工具那样拖慢每个协议或者是每个子网的速度而是依照进程进行带宽分组。 NetHogs不需要依赖载入某个特殊的内核模块。 假如发生了网络堵塞你能够使用NetHogs立即看到哪个PID形成的这种情况。 这样就很容易找出哪…

Linux工具之nethogs命令

一、nethogs命令简介 NetHogs是一个小型的net top工具,不像大多数工具那样拖慢每个协议或者是每个子网的速度而是按照进程进行带宽分组。NetHogs不需要依赖载入某个特殊的内核模块。如果发生了网络阻塞你可以启动NetHogs立即看到哪个PID造成的这种状况。这样就很容易…

(嵌入式系统开发)stm32串口通信与RS-232

本篇主要叙述串口协议和RS-232标准,以及RS232电平与TTL电平的区别;了解"USB/TTL转232"模块(以CH340芯片模块为例)的工作原理。 目录 一、串口协议与RS-232标准 1.串口通信协议 2. RS-232标准 1. RS232电平与TTL电平…

STM32与K210串口通信

目录 1.前言 2.接线部分 3.代码部分 1.k210部分 1.调用自带的库文件 2.将I/O18设置为UART1_TX功能并设置串口 3.数据发送函数 4.主函数 4.程序现象 2.STM32部分 1主函数 2.串口接收程序 3.程序现象 4.完整代码 5.总结 1.前言 这篇文章是为了填上一篇k210的简单PID…

八、STM32串口通信

目录 一、串口通信 1.1串口通信物理层 1.2USB转串口模块 1.3串口通信的其他应用 1.4串口数据包的基本组成 二、串口的结构体与函数讲解 2.1串口讲解 2.2结构体讲解 2.3串口初始化函数讲解 三、串口发送字符 3.1如何配置串口的发送 3.2项目实战 四、串口的中断接收 …

基于是stm32的串口通信

文章目录 一、串口协议和RS-232标准(一)、TTL电平标准(二)、RS232标准二、搭建STM32开发环境1.安装jdk2.安装STM32CubeMX三、实现LED的点亮3.1分析相应的原理图3.2使用CubeMX生成相关代码3.3实验结果四、STM32的USART串口通讯程序…

STM32串口通信详解(嵌入式学习)

STM32串口通信 1.通信基础知识1.1 时钟信号区分同步通信异步通信波特率总线协议(电气协议) 1.2 通信方式划分串行通信并行通信 1.3 通信方向划分单工通信半双工通信全双工通信常见通信总结 2. USARTUSART 介绍 3. 串口通信协议4. 相关寄存器串口控制寄存器波特率寄存器中断和状…