基于kettle部署图形化界面(spoon)

article/2025/10/30 14:56:27

最近使用kettle部署windows,mac、linux服务遇到的坑做一个总结。

1、mac、linux部署:

1⃣️拉取docker镜像

docker pull hiromuhota/webspoon

2⃣️创建并运行docker容器

docker run -d -p 8080:8080 hiromuhota/webspoon --name webspoon --restart=always
#-d 后台映射
#8080:8080 服务器实际端口:映射的容器端口
#hiromuhota/webspoon 要运行的镜像名称
#--name webspoon 容器名设定为webspoon
#--restart=always 容器设定为随docker重启而自动重启
#记得打开服务器的端口防火墙

 3⃣️运行服务: http://localhost:8080/spoon/spoon

4⃣️ 汉化版本:

docker ps# f4bb1f5f06e4 为容器iddocker exec -it -u 0 f4bb1f5f06e4 /bin/bashcd bin/#安装vim
#编辑这个文件 发现 vi: command not found
root@f4bb1f5f06e4:/usr/local/tomcat/bin# vi setenv.sh
bash: vi: command not found
root@f4bb1f5f06e4:/usr/local/tomcat/bin# # 清空/etc/apt/sources.list文件
#执行一下命令1echo > /etc/apt/sources.list#执行一下命令2
echo -e "deb http://mirrors.aliyun.com/debian/ stretch main non-free contrib \ndeb-src http://mirrors.aliyun.com/debian/ stretch main non-free contrib \ndeb http://mirrors.aliyun.com/debian-security stretch/updates main \ndeb-src http://mirrors.aliyun.com/debian-security stretch/updates main \ndeb http://mirrors.aliyun.com/debian/ stretch-updates main non-free contrib \ndeb-src http://mirrors.aliyun.com/debian/ stretch-updates main non-free contrib \ndeb http://mirrors.aliyun.com/debian/ stretch-backports main non-free contrib \ndeb-src http://mirrors.aliyun.com/debian/ stretch-backports main non-free contrib" > /etc/apt/sources.list#执行一下命令3
#更新软件列表 这个过程可能会有点慢 耐心等待
apt-get update#执行一下命令4
apt-get install -y libtinfo5 --allow-remove-essential#执行一下命令5
apt-get install -y vim#再次编辑setenv.sh
cd /usr/local/tomcat/bin
vim setenv.sh#在文件末尾追加配置
CATALINA_OPTS="-Dorg.apache.tomcat.util.buf.UDecoder.ALLOW_ENCODED_SLASH=true"
JAVA_OPTS="-Duser.language=zh -Duser.region=CN -Dfile.encoding=UTF-8"# 查看容器
docker ps# 重启容器
docker restart f4bb1f5f06e4

 5⃣️启动成功(如果连接数据报数据库连接异常)

docker cp mysql-connector-java-5.1.49.jar webspoon:/usr/local/tomcat/webapps/spoon/WEB-INF/lib
#将MySQL驱动复制到容器webspoon的/usr/local/tomcat/webapps/spoon/WEB-INF/lib路径下面docker restart webspoon
#重启以生效,并在浏览器进行数据库连接测试

5⃣️启动成功(如果连接数据报数据库连接异常)

 6⃣️kettle资源配置说明

1、导入 mysql数据库文件https://toscode.mulanos.cn/uxue/dataCollection/blob/master/doc/sql/kettle-rep-mysql.sql
2、系统中配置导入上面脚本的资源库连接信息。
默认资源库账号密码均为admin

在此遇到的问题做一下总结:

大部分都会遇到下面的问题:

问题一:

 原因:查看/usr/local/tomcat/webapps/spoon/WEB-INF/lib下mysql驱动jar在第五步是否遗忘,以及jar的版本号,换了好几次版本号mysql8驱动换com.mysql.cj.jdbc.Driver,原生的jar支持5.1.49之前的版本,所以在此我们选择8版本的

 

问题二:如果jar放进去了试着连接kettle还是存在上述问题

 

关注一下自定义连接URL是不是用的localhost换成ip,博主自己陷进去了一段时间,因为docker不认localhost,外部navicat都能连接,所以关注点刚开始没在这上边

 还有网上的解决方案:仅供参考

1⃣️MYSQL驱动问题:MySQL :: Download MySQL Connector/J (Archived Versions)

2⃣️MY SQL 未设置时区导致:解决办法是登录mysql 修改时区为东八区:

mysql> set global max_allowed_packet=1024*1024;mysql> set global time_zone='+8:00';mysql>flush privileges或者default-time-zone='+8:00'

3⃣️自定义连接mysql8

jdbc:mysql://127.0.0.1:3306/kettle?serverTimezone=GMT%2B8&autoReconnect=true&useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=falsecom.mysql.cj.jdbc.Driver

 

windows部署:
 

        在此不在过多叙述

        

1、下载webSpoon安装包。https://pan.baidu.com/s/1z76Zj7a__2b8_DEzA3_deQ 提取码  fs3s
2、下载tomcat8。
3、将webSpoon安装包解压到tomcat的webapps目录。
4、将kettle客户端的plugins,system两个目录复制到bin目录。
5、启动tomcat即可。

TIPS:关注一下本地.kettle文件,responsitory.xml,以及要删除的几个文件    

 

        以及出现的一些问题:都在这篇文章中得到解决:https://toscode.mulanos.cn/uxue/dataCollection/blob/master/doc/QA.md#oracleicon-default.png?t=N2N8https://toscode.mulanos.cn/uxue/dataCollection/blob/master/doc/QA.md#oracle        

 感谢小伙伴的百忙之中点赞和关注,还有遇到的问题没有解决,可以@我,我会在第一时间给大家解决

参考资料:
        dataCollection与spoon详细docker部署流程

        dataCollection: dataCollection项目在kettle基础开发的可视化任务调度系统,提供简单易用的操作界面,降低用户使用crontab调度的学习成本,缩短任务配置时间,避免配置过程中出错。 - 木兰确实


http://chatgpt.dhexx.cn/article/fQO3Ap9K.shtml

相关文章

数据导入与预处理——1.初步熟悉kettle-Spoon

文章目录 数据文件1.导入2.导出3.分发与复制 提示:以下是本篇文章正文内容,为初步使用spoon软件进行数据的导入导出步骤。 数据文件 1.导入 数据文件的导入 首先建立csv文件格式如下: 打开kettle新建转换: 从输入中找到对应的…

kettle运行spoon.sh启动图形化界面报错处理

一、问题描述: 安装kettle成功后运行spoon.sh显示如下报错: 二、原因分析: 没有安装Xmanager 三、解决方案: 1.下载Xmanager软件,安装教程参考 Xmanager 6标准版详细安装教程_小祥V5的博客-CSDN博客_xmanager安装教程…

问题:Spoon.bat启动不起来

问题:使用kettle进行数据迁移时,Spoon.bat死活启动不起来,尝试各种办法。 运行环境:windows7 64位,jdk1.8及以上,且环境变量配置ok。 检验:cmd->java -version,可以查看。环境变…

Macox kettle安装启动报错:一个未预期的错误发生在Spoon: probable cause:在停止Spoon前,请先关闭其它spoon窗口!

Macox kettle安装启动报错:一个未预期的错误发生在Spoon: probable cause:在停止Spoon前,请先关闭其它spoon窗口! 最近需要从oracle导一批数据到mysql,需要用到kettle,于是下载了mac版的kettle工具,基本步骤如下&…

Kettle spoon 工具实战分享

今天给大家带来一款ETL工具kettle spoon的实践分享 Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。 Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提…

Springboot+Kettle(Spoon)

Springboot集成kettle实战 介绍项目截图javakettle实战代码1 pom.xml2 kettleUtil3 业务层方法a 资源库业务b 转换的相关业务c 完整代码 介绍 kettle就不介绍了,Web界面极其简单、丑陋,生产环境无法投入使用.所以这篇实战内容是springboot结合kettle的web端执行已经…

spoon新手入门教程

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。Kettle这个ETL工…

集线器、交换机与路由器有什么区别?

转发自:https://mp.weixin.qq.com/s/YXWBw3aFTSEFvkg_oN9eQA 我相信我们都玩过一款特别火的游戏:帝国时代。小时候想要玩帝国时代,需要到软件城购买盗版光盘安装(大概3块钱一张左右的样子,当时已经觉得很便宜了&#…

集线器和中继器

首先要明白,集线器和中继器两者都属于物理层的设备。物理层设备和其他层次的设备(如:交换机、网桥、路由器)最大的区别在于:集线器和中继器工作在同一个网段下的,而交换机、路由器等设备是工作在不同网段下的。 网段:…

# 网络中的一些基本概念 网卡、集线器、网桥(自学用)

# 网络中的一些基本概念 网卡、集线器、网桥 1. 网卡 1. 有几个网卡就有几个MAC地址 2. 计算机上的网卡来接收数据,网卡将数据传递给上一层 3. 发送数据:需要知道IP地址,但最终是根据MAC地址(网卡地址),输送…

【计算机网络-数据链路层】集线器、网桥、交换机

本文许多文字和图片使用了湖科大教书匠(高军老师)的 PPT,在此表示感谢。正是他让非科班的我能以奇妙的方式走进网络的世界。 文章目录 1 【物理层】集线器(Hub)——共享式以太网1.1 为什么使用集线器?1.2 …

【计网】(一) 集线器、网桥、交换机、路由器等概念

这篇文章将介绍计算机网络中的一些基础概念,以及生活中我们所常见的一些设备(交换机、路由器等)的作用。 目录 ✅ 互联网的概念✅ 什么是网络协议✅ 网络互联模型✅ 计算机之间是如何通信的🐾 网线直连🐾 同轴电缆(Co…

扩展以太网——集线器

一、集线器 1、集线器组建的以太网其实是一个冲突域,因为其共享信道,会存在信号冲突。 2、集线器是物理层设备,信号经过它的时候直接传输,没有存储再转发的过程。 3、集线器和网线一样工作在物理层。 二、集线器的优缺点 1、…

集线器、交换机与路由器有什么区别和联系?

转载:集线器、交换机与路由器有什么区别? 我相信我们都玩过一款特别火的游戏:帝国时代。小时候想要玩帝国时代,需要到软件城购买盗版光盘安装(大概3块钱一张左右的样子,当时已经觉得很便宜了,谁…

中继器、集线器、网桥、交换机、路由器

全家福 两台主机如何连接起来? 在网络诞生之前,电脑之间都是单机运行,没有网卡、没有网线、没有协议栈,数据传输主要通过软盘、光盘等介质。 网线来了 【网线网卡协议栈】三要素,是组成“最小单元网络”的基础&#x…

集线器、交换机、路由器有什么区别?

作者:薛定谔不在家 来源:https://www.zhihu.com/question/22007235/answer/402261894 帝国时代 我相信我们都玩过一款特别火的游戏:帝国时代。小时候想要玩帝国时代,需要到软件城购买盗版光盘安装,大概3块钱一张左右的…

集线器、交换机和路由器之间有何不同?

集线器、交换机和路由器都是用于构建网络的设备,且分别在不同层次发挥着其作用 。但目前,许多人对集线器、交换机和路由器的认识并不充分,甚至不知道这三者之间有什么区别。下面将重点为您介绍集线器、交换机和路由器,并阐明它们之…

集线器、网桥、交换机、路由器

目录 计算机之间的通信基础 计算机之间的连接方式 网线直连 同轴电缆 集线器(Hub) 网桥(Bridge) 交换机 路由器 本文参照小码哥的网络协议视频记录 计算机之间的通信基础 需要得知对方的IP地址。最终是根据MAC地址&#x…

交换机和集线器的区别是什么?

换机工作在数据链路层,通过MAC地址转发数据。集线器工作在物理层,通过广播的形式转发数据。目前,集线器已经被交换机取代,组网中很少使用集线器了。下文具体说一说。 方法/步骤 区别1:工作层次 集线器工作在物理层…

计算机网络——集线器与交换机

💟💟前言 ​ 友友们大家好,我是你们的小王同学😗😗 今天给大家打来的是 计算机网络——集线器与交换机 希望能给大家带来有用的知识 觉得小王写的不错的话麻烦动动小手 点赞👍 收藏⭐ 评论📄 小…