spoon mysql教程_kettle 教程(一):简介及入门

article/2025/10/14 5:44:03

介绍

kettle 是纯 java 开发,开源的 ETL工具,用于数据库间的数据迁移 。可以在 Linux、windows、unix 中运行。有图形界面,也有命令脚本还可以二次开发。

安装

这边以 windows 下的配置为例,linux 下配置类似。

jdk 安装及配置环境变量

由于 kettle 是基于 java 的,因此需要安装 java 环境,并配置 JAVA_HOME 环境变量。

建议安装 JDK1.8 及以上,7.0以后版本的 kettle 不支持低版本 JDK。

下载 kettle

从 官网 下载 kettle ,解压到本地即可。

下载相应的数据库驱动

由于 kettle 需要连接数据库,因此需要下载对应的数据库驱动。

例如 MySQL 数据库需要下载 mysql-connector-java.jar,oracle 数据库需要下载 ojdbc.jar。下载完成后,将 jar 放入 kettle 解压后路径的 lib 文件夹中即可。

注意:本文基于 pdi-ce-7.0.0.0-25 版本进行介绍,低版本可能有区别。

启动

双击 Spoon.bat 就能启动 kettle 。

转换

转换包括一个或多个步骤,步骤之间通过跳(hop)来连接。跳定义了一个单向通道,允许数据从一个步骤流向另一个步骤。在Kettle中,数据的单位是行,数据流就是数据行从一个步骤到另一个步骤的移动。

1、打开 kettle,点击 文件->新建->转换。

8e728d15b681f23e779cebc2ed5d4dbd.png

2、在左边 DB 连接处点击新建。

ca5af6cc6d79157dac54433006e8d441.png

3、根据提示配置数据库,配置完成后可以点击测试进行验证,这边以 MySQL 为例。

ac230256d1141e19672649975feebef3.png

4、在左侧找到表输入(核心对象->输入->表输入),拖到右方。

870cbe6d273f3cd43dd6fcf5e4a69892.png

5、双击右侧表输入,进行配置,选择数据源,并输入 SQL。可以点击预览进行预览数据。

0596be579c366ef57775d12f5e6053f2.png

f7183673b4aa1831018e251e634ab631.png

6、在左侧找到插入/更新(核心对象->输出->插入/更新),拖到右方。

6b5ad18a37b33b8511aad0fdf5c5da25.png

7、按住 Shift 键,把表输入和插入/更新用线连接起来。

73b4ba879f57788bc277219f8ca2a24b.png

8、双击插入/更新进行配置。

96439e2a467a7a704cf11a77cc39d969.png

9、点击运行,就可以运行这一个转换。

45933659e7dba84ee3008b7462577be6.png

10、运行结束后,我们可以在下方看到运行结果,其中有日志,数据预览等,我们可以看到一共读取了多少条数据,插入更新了多少数据等等。

d71d184007933f432c9e19037bdad7b6.png

这样就完成了一个最简单的转换,从一个表取数据,插入更新到另一个表。

作业

如果想要定时运行这个转换,那么就要用到作业。

1、新建一个作业。

db4a991bec73700c992211b6a1cb1040.png

2、从左侧依次拖动 START 、转换、成功到右侧,并用线连接起来。

c4d8d7e22b9ba4d549be0a35536210dd.png

3、双击 START,可以配置作业的运行间隔,这边配置了每小时运行一次。

2d5231e8ce2e6cc17a3345055b9e4873.png

4、双击转换,选择之前新建的那个转换。

747d21054236dd3e7562c598b773bac2.png

5、点击运行,就能运行这次作业,点击停止就能停止。在下方执行结果,可以看到运行的日志。

3be1207a28345327e7baab3df7c2bb3c.png

这样就完成了一个最简单的作业,每隔1小时,将源表的数据迁移到目标表。

总结

kettle 是一个非常强大的 ETL 工具,通过图形化界面的配置,可以实现数据迁移,并不用开发代码。

通过它的作业,kettle 能自动地运行转换。


http://chatgpt.dhexx.cn/article/fFBHUGi9.shtml

相关文章

kettle基础使用教程

文章目录 前言一、下载、安装二、启动软件三、转换的使用教程四、作业的使用教程总结 前言 Kettle简介:Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶&…

ETL工具-Kettle Spoon教程

转自:https://blog.csdn.net/liaomin416100569/article/details/82798879 一 。Kettle Spoon简介 ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇…

KETTLE 使用教程

前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到教程。 Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新:kettle会自动对比用户设置的对比字段,若目标表…

spoon mysql教程_Kettle-Spoon入门示例

Spoon 是Kettle的设计调试工具 1.驱动: a) 驱动错误 b) 驱动添加 2.端口错误:连接数据库端口不对 3.正常连接 4.表输入 a) 新建一个表输入,获取数据库表的数据 b) 预览数据 c) 当前表数据输出到另外一个同样的表 d) 当前表数据输出到另外一个同样的表 e)…

数据库转换工具 spoon使用

由于项目需求 需要把oracle数据库转换为mysql数据库,所以使用spoon转换,简单快捷 ETL Kettle Spoon简介 ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说&#…

spoon mysql教程_spoon新手入门教程

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。Kettle这个ETL工…

Kettle工具简单使用(spoon)

1、添加测试数据 在navicat中随便找个表当做被转化的数据进行测试,以下表为例: 在SQL server数据库中创建表 2、下载spoon软件 下载路径:https://download.csdn.net/download/qq_57404736/85013576 打开文件夹,双击spoon.ba…

Spoon工具的使用

Spoon工具的使用 第一步 建立中间表 create table table_name ( code varchar(100), name varchar(100) )第二步 新建转换 在核心对象 输入中找到表输入双击, 输出中找到表输出双击 第三步,双击表输入进入该界面 点新建进入如下界面 填写信息后点T…

spoon入门教程

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。Kettle这个ETL工…

Spoon工具使用(kettle进行实时同步数据)

文章目录 Spoon工具使用(kettle进行实时同步数据)安装相关概念转换DB连接步骤和节点连接 作业DB连接作业项目 Spoon工具使用(kettle进行实时同步数据) 安装 解压完Spoon安装包后,双击.bat文件打开 相关概念 转换…

Kettle Spoon入门教程

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。其中,Spoon是Kettle中的一个组件,其他组件有PAN,CHEF,Encr和KITCHEN等。 Spoon通过图形化的页…

nethogs查看每个进程流量

sudo nethogs 找到每个进程消耗流量的pid 通过ps -ef | grep pid 来查看对应的任务。 再如: datanode带宽打满,会导致dn写数据非常慢 参考链接:每天学习一个命令:使用 nethogs 查看每个进程流量

NetHogs下载和监控

转自:http://blog.csdn.net/testcs_dn/article/details/40506225 CentOS6.5下使用NetHogs监控进程网络使用情况 分类: CentOS2014-10-27 13:54 5789人阅读 评论(3) 收藏 举报 目录(?)[] Nethogs 是一个终端下的网络流量监控工具,它的特别之处…

Centos7 部署 Nethogs

可用来按进程或程序实时统计网络带宽使用率 安装依赖包 yum install libpcap libpcap-devel epel-release -y 安装epel源 yum install epel-release -y 安装Nethogs yum install nethogs -y 运行测试 查看版本 nethogs -V version 0.8.5 直接执行nethogs界面如下 监控…

linux 查看使用网络的程序,linux下nethogs查看各程序的网络占用量

一、概述 inux下的流量查看工具很多,如:iptraf、nload、ifstat、sar等。当然每个工具都有各自的优势。不过以上所有工具有没一款都针对服务进程所占用的流量的具体情况给出结果。(我是不知道,如果有以上工具有这方面的功能,麻烦一…

nethogs-iftop等网络监控软件---Linux

一、Linux系统 1、nethogs 1)centos7.1下nethogs安装方法 (1)先安装epel,使用的命令是:rpm -Uvh https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm (2)yum install net…

CentOS下使用NetHogs监控进程网络使用情况

Nethogs 是一个终端下的网络流量监控工具,它的特别之处在于可以显示每个进程的带宽占用情况,这样可以更直观获取网络使用情况。它支持 IPv4 和 IPv6 协议、支持本地网卡及 PPP 链接。 下载: 从Github上下载nethogs-0.8.1.tar.gz 使用wget下…

nethogs命令

性能监测与优化 《Linux就该这么学》是一本基于最新Linux系统编写的入门必读书籍,内容面向零基础读者,由浅入深渐进式教学,销量保持国内第一,年销售量预期超过10万本。点此免费在线阅读。 有很多适用于Linux系统的开源网络监视工…

Linux学习准备,nethogs,htop,nmon,dstat用法

Nethogs用法: 在基于RedHat系统下键入如下命令启动NetHogs工具. # nethogs 要执行NetHogs你必须拥有root权限,即如图所示用sudo命令 $ sudo nethogs 以下就是NetHogs命令行的参数,用’-d’来添加刷新频率参数,device name 用来检测给定的某个或者某些设备的带宽(默认…

nethogs和nload流量监控工具

nethogs和nload流量监控工具 nethogs流量监控工具NetHogs安装NetHogs命令参数 nload流量监控工具nload安装内容解释:参数:实例: nethogs流量监控工具 工具存在部分局限性,如果网卡存在大量网络连接会导致nethogs卡死 NetHogs安装 …