Java调用kjb文件

article/2025/10/13 19:35:20

目录

一、kjb和ktr文件创建

kjb文件

ktr文件

关联kjb和ktr

变量信息

二、 Java代码调用kjb

引包

放入kjb和ktr文件

三、代码调用

定时任务


一、kjb和ktr文件创建

kjb文件

首先先新建一个Job,如下图所示,这样就新建了一个kjb文件,即一个可以被java运行的job。

 

ktr文件

然后创建一个ktr文件,即如下图所示

 

 

关于其中的元素,不过多的介绍了。

关联kjb和ktr

接着将kjb文件和ktr关联起来,如下图所示,右击,然后编辑作业入口,

在浏览处选择对应的ktr文件,

如果要查看 转换对应的ktr文件,直接双击转换这个节点就行。

变量信息

在kjb文件的空白处双击,出现如下图界面,这是用来设置全局变量的。

 

在ktr文件处也可以双击,设置ktr的文件变量,

 

这些变量可以设置默认值,也可以通过Java代码调用时传递进来。

如果要获取到变量,如下图所示的节点,${auth_code}是获取变量值。

在表输入中就可以使用上面获取的变量来作为入参,如下图所示。

OK,基本的元素就不介绍了,介绍变量是因为Java代码中需要使用,重点还是Java代码如何调用kjb文件。

二、 Java代码调用kjb

引包

肯定是要引入kettle的jar包的,kettle的包就是放在本地,而不是从maven仓库中获取的,

 <dependency><groupId>pentaho-kettle</groupId><artifactId>kettle-core</artifactId><version>9.0.0.0-423</version><scope>system</scope><systemPath>${project.basedir}\src\main\resources\libs\kettle-core-9.0.0.0-423.jar</systemPath>
</dependency>
<dependency><groupId>pentaho-kettle</groupId><artifactId>kettle-engine</artifactId><version>9.0.0.0-423</version><scope>system</scope><systemPath>${project.basedir}\src\main\resources\libs\kettle-engine-9.0.0.0-423.jar</systemPath>
</dependency>
<dependency><groupId>pentaho-kettle</groupId><artifactId>matastore</artifactId><version>9.0.0.0-423</version><scope>system</scope><systemPath>${project.basedir}\src\main\resources\libs\metastore-9.0.0.0-423.jar</systemPath>
</dependency><dependency><groupId>pentaho-kettle</groupId><artifactId>commons-vfs2</artifactId><version>2.2</version><scope>system</scope><systemPath>${project.basedir}\src\main\resources\libs\commons-vfs2-2.2.jar</systemPath>
</dependency><dependency><groupId>pentaho-kettle</groupId><artifactId>jsch</artifactId><version>0.1.54</version><scope>system</scope><systemPath>${project.basedir}\src\main\resources\libs\jsch-0.1.54.jar</systemPath>
</dependency>

本项目搭建的是一个spring boot的工程,所以spring boot的所需jar包也要,还有数据库连接的包,完整的pom.xml文件如下面所示,

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.3.0.RELEASE</version><relativePath/> <!-- lookup parent from repository --></parent><groupId>com.fable.jsst</groupId><artifactId>kettle-server</artifactId><version>0.0.1-SNAPSHOT</version><name>kettle-server</name><description>kettle-server</description><properties><java.version>1.8</java.version><start-class>com.fable.jsst.kettleserver.KettleServerApplication</start-class></properties><dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope><exclusions><exclusion><groupId>org.junit.vintage</groupId><artifactId>junit-vintage-engine</artifactId></exclusion></exclusions></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-jpa</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><optional>true</optional></dependency><dependency><groupId>pentaho-kettle</groupId><artifactId>kettle-core</artifactId><version>9.0.0.0-423</version><scope>system</scope><systemPath>${project.basedir}\src\main\resources\libs\kettle-core-9.0.0.0-423.jar</systemPath></dependency><dependency><groupId>pentaho-kettle</groupId><artifactId>kettle-engine</artifactId><version>9.0.0.0-423</version><scope>system</scope><systemPath>${project.basedir}\src\main\resources\libs\kettle-engine-9.0.0.0-423.jar</systemPath></dependency><dependency><groupId>pentaho-kettle</groupId><artifactId>matastore</artifactId><version>9.0.0.0-423</version><scope>system</scope><systemPath>${project.basedir}\src\main\resources\libs\metastore-9.0.0.0-423.jar</systemPath></dependency><dependency><groupId>pentaho-kettle</groupId><artifactId>commons-vfs2</artifactId><version>2.2</version><scope>system</scope><systemPath>${project.basedir}\src\main\resources\libs\commons-vfs2-2.2.jar</systemPath></dependency><dependency><groupId>pentaho-kettle</groupId><artifactId>jsch</artifactId><version>0.1.54</version><scope>system</scope><systemPath>${project.basedir}\src\main\resources\libs\jsch-0.1.54.jar</systemPath></dependency><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.21</version></dependency><dependency><groupId>com.oracle</groupId><artifactId>ojdbc14</artifactId><version>10.2.0.2.0</version><scope>system</scope><systemPath>${project.basedir}\src\main\resources\libs\ojdbc14-10.2.0.2.0.jar</systemPath></dependency><dependency><groupId>org.apache.commons</groupId><artifactId>commons-vfs2</artifactId><version>2.2</version></dependency><dependency><groupId>com.google.guava</groupId><artifactId>guava</artifactId><version>17.0</version></dependency><dependency><groupId>commons-io</groupId><artifactId>commons-io</artifactId><version>2.2</version></dependency><dependency><groupId>org.apache.commons</groupId><artifactId>commons-lang3</artifactId><version>3.0</version></dependency><dependency><groupId>commons-lang</groupId><artifactId>commons-lang</artifactId><version>2.6</version></dependency><dependency><groupId>net.sf.scannotation</groupId><artifactId>scannotation</artifactId><version>1.0.2</version><exclusions><exclusion><groupId>javassist</groupId><artifactId>javassist</artifactId></exclusion></exclusions></dependency><dependency><groupId>commons-codec</groupId><artifactId>commons-codec</artifactId><version>1.10</version></dependency><dependency><groupId>org.hibernate</groupId><artifactId>hibernate-core</artifactId><version>5.2.12.Final</version><scope>compile</scope></dependency><!--<dependency><groupId>javax.transaction</groupId><artifactId>javax.transaction-api</artifactId><version>1.2</version><scope>compile</scope></dependency>--><dependency><groupId>org.hibernate</groupId><artifactId>hibernate-entitymanager</artifactId><version>5.2.3.Final</version></dependency><dependency><groupId>com.slyak</groupId><artifactId>spring-data-jpa-extra</artifactId><version>3.0.0.RELEASE</version></dependency></dependencies><build><plugins><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId><executions><execution><goals><goal>repackage</goal></goals></execution></executions><configuration><!--包含本地jar包--><includeSystemScope>true</includeSystemScope><mainClass>${start-class}</mainClass></configuration></plugin></plugins></build></project>

放入kjb和ktr文件

此处是为了能让代码找到对应路径,其实也可以在项目配置下路劲即可。

如下图所示,这是我配置的本地调试路径,当然也可以设置为Linux的路径。

文件的话是保存在此处的,

项目部署在Linux上,所以Linux上是如此配置的

application-prod.prpperties

这个application-prod.properties是下面代码调用出的spring boot工程,即kettle-server工程

而组件等是安装在kettle目录下,即kettle工具的linux版,同样kjb和ktr文件也放在此处。

 

三、代码调用

定时任务

/*** 任务:合表*/
@Scheduled(cron = "0 0/30 * * * ?")
public void collectJobTask() {log.info("定时任务合表开始。。。");kettleService.startCollectJob();log.info("定时任务合表结束。。。");
}

一个定时任务的代码,调用service,进行具体的逻辑。

service中有两步,第一步获取参数,刚才在kjb和ktr中设置的参数需要修改,第二就是运行job

/*** 合表*/
@Override
public void startCollectJob() {Map<String, String> params = setCollectParam();log.info("开始执行【合表】任务...");long startTime = System.currentTimeMillis();//todo job 地址需修改runJob(params, env.getProperty("kettle.collect.job.path"));long endTime = System.currentTimeMillis();log.info("【合表】任务结束,耗时{}s", (endTime - startTime) / 1000);
}

第一步获取参数是setCollectParam方法,此方法如下,获取application.properties中配置的数据,放入map中即可。

Map<String, String> params = new HashMap<>();
//  从配置文件读取源(省、市、区)、目标配置
//省
params.put("jlk_ip", env.getProperty("kettle.jlk.ip"));
params.put("jlk_db", env.getProperty("kettle.jlk.db"));
params.put("jlk_port", env.getProperty("kettle.jlk.port"));
params.put("jlk_pwd", env.getProperty("kettle.jlk.pwd"));
params.put("jlk_username", env.getProperty("kettle.jlk.username"));

env是spring的一个类org.springframework.core.env.Environment

第二步是runJob方法,下面的kettle.collect.job.path就是配置在application.prpoerties中的kjb路径,现在就获取了。

kettle.collect.job.path

runJob(params, env.getProperty("kettle.collect.job.path"));

下面这个就是运行的job的方法了,

/*** 运行作业文件** @param params  作业参数* @param kjbPath 作业文件路径,后缀kjb*/
private void runJob(Map<String, String> params, String kjbPath) {try {StepPluginType.getInstance().getPluginFolders().add(new PluginFolder(env.getProperty("kettle.utils.plugins.path"), false, true));KettleEnvironment.init();JobMeta jobMeta = new JobMeta(kjbPath, null);// 配置作业参数for (String param : params.keySet()) {jobMeta.setParameterValue(param, params.get(param));}Job job = new Job(null, jobMeta);// 设置日志级别job.setLogLevel(LogLevel.ERROR);log.info("启动作业...");job.start();log.info("等待作业执行完毕...");job.waitUntilFinished();if (job.getErrors() > 0) {log.info("作业执行出错!");throw new Exception("作业执行出错");}} catch (Exception e) {log.info("作业执行异常!", e);}
}

初始化插件

StepPluginType.getInstance().getPluginFolders().add(new PluginFolder(env.getProperty("kettle.utils.plugins.path"), false, true));

插件就是下图工具中的东西,本地调试可以这么搞,如果是部署在Linux上,那么就要配置安装在linux上的工具插件位置。

kettle环境初始化,

KettleEnvironment.init();

此时此处可以放在Application类中,即运行spring boot时就初始化,没必要每次schedule就初始化一次,费时间。

即下面这样。

@SpringBootApplication
@EnableScheduling
@ComponentScan(basePackages = "com.fable")
public class KettleServerApplication {public static void main(String[] args) {KettleEnvironment.init();SpringApplication.run(KettleServerApplication.class, args);}}

将kjb加载到job元数据类中。

JobMeta jobMeta = new JobMeta(kjbPath, null);

设置参数

for (String param : params.keySet()) {jobMeta.setParameterValue(param, params.get(param));
}

设置Job,即能独立跑的一个类,相当于开个线程,这么理解。

Job job = new Job(null, jobMeta);job.start();


http://chatgpt.dhexx.cn/article/rVDJnbmJ.shtml

相关文章

SpringDataJPA(5)jpql查询

JPQL全称Java Persistence Query Language 这是JPA提供的复杂查询 sql&#xff1a;查询的是表和表中的字段 jpql&#xff1a;查询的是实体类和类中的属性 jpql和sql语句的语法相似 进行sql查询的步骤 1.创建query查询对象 2.对参数进行赋值 3.查询&#xff0c;并得到返回结果…

JPA的查询语言JPQL

JPA的查询语言(JPQL)是一种和SQL非常类似的中间性和对象化查询语言。它可以被编译成不同的底层数据库能接受的SQL&#xff0c;从而屏蔽不同数据库的差异&#xff0c;确保用JPQL查询语言编写的代码可在不同的数据库上运行。比起EJB 2.1的查询语言&#xff0c;EJB3可以运行期构造…

JPQL语句

JPQL语言 JPQL语言&#xff0c;即 Java Persistence Query Language 的简称。JPQL 是一种和 SQL 非常类似的中间性和对象化查询语言&#xff0c;它最终会被编译成针对不同底层数据库的 SQL 查询&#xff0c;从而屏蔽不同数据库的差异。 JPQL语言的语句可以是 select 语句、upda…

jpa之jpql查询

JPQL介绍 JPQL语言&#xff0c;即 Java Persistence Query Language 的简称。JPQL 是一种和 SQL 非常类似的中间性和对象化查询语言&#xff0c;它最终会被编译成针对不同底层数据库的 SQL 查询&#xff0c;从而屏蔽不同数据库的差异。如果会hibernate的hql查询&#xff0c;那…

SpringData JPA进阶查询—JPQL/原生SQL查询、分页处理、部分字段映射查询

上一篇介绍了入门基础篇SpringDataJPA访问数据库。本篇介绍SpringDataJPA进一步的定制化查询&#xff0c;使用JPQL或者SQL进行查询、部分字段映射、分页等。本文尽量以简单的建模与代码进行展示操作&#xff0c;文章比较长&#xff0c;包含查询的方方面面。如果能耐心看完这篇文…

JPA之JPQL

文章目录 什么是JPQL?JPQL怎么用&#xff1f;JPQL的查询demoJPQL的占位符与入参问题修改demo删除demo插入demo 什么是JPQL? 所谓JPQL&#xff0c;就是Java Persistence Query Language的缩写&#xff0c;也就是java持久化查询语言&#xff0e;JPQL是一种可移植的查询语言&am…

JPQL-Query查询实例详解

前面学习了JPQL语言和Query接口。这里学习一下如果通过JPQL和Query接口进行数据的查询、更新和删除。 【1】普通查询 首先说明一下FROM子句和Select…FROM。 from 子句是查询语句的必选子句。 Select 用来指定查询返回的结果实体或实体的某些属性。 From 子句声明查询源实体…

JPQL和SQL的比较

前言 在JAVA EE中&#xff0c;JPQL是专门为Java 应用程序访问和导航实体实例设计的。Java Presistence Query Language(JPQL)&#xff0c;java持久性查询语言。它是JPA规范的重要组成部分&#xff0c;其实它就是一种查询语言&#xff0c;语法类似于SQL语法&#xff0c;但是有着…

【JPQL】--JPQL和SQL的比较

前言 在JAVA EE中&#xff0c;JPQL是专门为Java 应用程序访问和导航实体实例设计的。Java Presistence Query Language(JPQL)&#xff0c;java持久性查询语言。它是JPA规范的重要组成部分&#xff0c;其实它就是一种查询语言&#xff0c;语法类似于SQL语法&#xff0c;但是有着…

JPA - JPQL完成复杂的多表查询

目录 前言示例建表语句Entity实体JPQL多表查询完整代码调用结果 前言 JPA中可以通过设置实体的导航属性 JPQL完成复杂的多表查询&#xff0c;简化SQL的编写。 示例 建表语句 Table CREATE TABLE school (id int(11) DEFAULT NULL,name varchar(50) COLLATE utf8_unicode_c…

JPQL查询

JPQL查询 1 jpql的介绍 sql&#xff1a;查询的是表和表中的字段。 jpql&#xff1a;查询的是实体类和类中的属性。 jpql和sql语句的语法相似。 JPQL全称Java Persistence Query Language 基于首次在EJB2.0中引入的EJB查询语言(EJB QL),Java持久化查询语言(JPQL)是一种可移植的…

JPQL详解

前提 最近在改bug的时候发现了自己的缺点&#xff0c;在改前端bug的时候非常顺利顺手。但是在改后端bug的时候如果遇到不是太难的问题还可以解决&#xff0c;但是一到难点感觉自己就懵逼&#xff01; 所以讲解了关于JPQl相关内容 JPA 在说jpql之前必须要说一下什么是JPA&…

JPA(4) JPQL一些简单的查询语法

JPQL --> JPA Query Language --> JPA的查询语句 (另外HQL:Hibernate的查询语句) JPQL本质&#xff1a;JPA通过antlr-2.7.7.jar将JPQL编译成sql并且封装执行的。 JPQL和SQL区别&#xff1f;&#xff1f; --> 它们查询的关键字都是一样的&#xff…

HPROF内存文件获取

1.命令生成Dump内存文件 命令&#xff1a;am dumpheap 进程名 输出文件目录<文件名.hprof> 如&#xff1a; am dumpheap app …/demo.hprof 2.通过Android Studio获取 在Android Studio中使用Android Monitor里的Memory Monitor工具监视内存使用情况时&#xff0c;可以…

jvm调优-hprof 文件打开

当服务器出现内存溢出的情况&#xff0c;要下载分析dump内存文件“ dump 当前进程的内存信息: 通过命令 jsp获取java进程pid: jsp: 生成dump文件&#xff1a; jmap -dump:formatb,filedump.hprof pid在当前目录xiazaihprof文件到本地。 如何打开hprof后缀格式的文件呢&#…

使用adb命令导出hprof文件

我们可以使用android studio profiler导入hprof文件分析android应用的内存问题。那么如何从手机上面导出这份文件呢&#xff1f; 把应用的heap 区的数据取出来保存在一个hprof文件上&#xff0c;然后把hprof文件导入到可以查看这个文件的工具上&#xff08;如android studio p…

jvisualvm分析hprof文件

jvisualvm是jdk8的bin目录下自带的一个分析工具&#xff0c;在我下载的jdk11下没有这个工具&#xff0c;这个工具我们可以用来分析hprof文件 首先我们可以配置对应的参数&#xff0c;配置文件地址在\jdk8\lib\visualvm\etc\visualvm.conf visualvm_default_options"-J-cl…

android studio 分析 hprof,Android Studio 中的 HProf静态分析

HProf 在 Android Studio 中的展示详解&#xff0c;基于我对其的理解&#xff0c;我将其根据 heap,count,size,其他将其分成了 4 个层次。 第一层 Heap 分类 Heap 共分为&#xff1a; zygote heap: 与 android zygote 进程共享的 heap image heap: 与系统共享的 heap app heap&…

JProfile 分析OOM hprof文件

JProfile 分析OOM OutOfMemoryError 1.JVM组成 首先要明白JVM组成 方法区-非堆 Method Area、No-HeapJava栈-虚拟机栈 VM Stack、Java Stack本地方法栈 Native Method Stack程序计数器 Program Counter Register堆 Heap 1.1 OOM发生在哪里? OOM可以发生在除了程序计数器外…

java如何打开hprof_hprof是什么文件?如何打开hprof?

hprof是什么文件&#xff1f;如何打开hprof&#xff1f; 发布时间&#xff1a;2020-03-26 17:35:24 来源&#xff1a;亿速云 阅读&#xff1a;1195 作者&#xff1a;小新 hprof是什么文件&#xff1f;如何打开hprof&#xff1f;很多人都不太了解&#xff0c;今天小编为了让大家…