该kettle插件功能类似kettle现有的定义java类插件,自定java类插件主要是支持在kettle中直接编写java代码实现自定特殊功能,而本控件主要是将自定义代码转移到jar包,就是说自定义功能的实现改为在eclipse等ide中开发。
设计本插件的原因是直接在kettle中写java代码是很不容易的事,开发体验与eclipse差得远,java语法还要受到限制,调试麻烦。实现点简单的逻辑还行,稍微复杂一点就比较麻烦,需要对java和kettle相关接口很熟悉。而简单的功能可以采用javascript脚本实现,复杂的功能一般人很难直接在自定义java类控件中编写java实现。
有人说可以每次直接开发新插件,虽然说java的插件机制还是很不错的,但开发一个插件还是没那么容易的,需要设计元数据,插件件功能实现,插件操作界面设计等,其中操作界面的调整是我最不愿意花时间的,慢慢调我也能调出常见控件的配置界面,但我觉得没必要,所以要实现一个完善的插件需要做的事情还是很多的。
而本插件综合了以上两种机制,既有自定义java类的简单性,直接编写核心业务代码,操作界面统一使用一个JSON对象作为参数设置途径,所以基于此开发功能,只需继承一个基类而编写一个功能实现类就可以了;又有直接开发插件的便捷性,只需将相关的jar包作为用户类库导入项目,创建一个类,继承基类,就可以在eclipse中尽情的编写你的业务代码了。
该插件已经作为我的另一个开源项目kettle管理平台(http://www.cnblogs.com/majinju/p/5739820.html)的一个子项目开源,相关代码可以从github上那个项目中获取,下面介绍下基于该插件开发实现自己业务的插件。
- 在eclipse中创建用户类库ku,到kettle管理平台项目介绍的博文中下载0.1.0版部署包,然后将部署包的lib目录中的jar全部加入。
- 在eclipse中创建一个java项目,添加上一步创建的用户类库到构建路径,然后新建一个java类,以下是转换步骤实现代码样例。
/** * Project Name:KettleUtil * Date:2016年6月29日 * Copyright (c) 2016, jingma All Rights Reserved. */ package net.oschina.kettleutil.utilrun; import net.oschina.kettleutil.KettleUtilRunBase; import net.oschina.mytuils.KettleUtils; import org.pentaho.di.core.row.RowMetaInterface; import org.pentaho.di.core.row.ValueMeta; import org.pentaho.di.core.variables.VariableSpace; import org.pentaho.di.trans.TransMeta; import org.pentaho.di.trans.step.StepMeta; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONArray; import com.alibaba.fastjson.JSONObject; /** * kettle util 运行示例<br/> * date: 2016年6月29日 <br/> * @author jingma * @version */ public class KurDemo extends KettleUtilRunBase{ /** * 具体处理每一行数据 * @see net.oschina.kettleutil.KettleUtilRunBase#disposeRow(java.lang.Object[]) */ @Override protected void disposeRow(Object[] outputRow) { //设置JOB名称 outputRow[getFieldIndex("JOB_NAME")] = KettleUtils.getRootJobName(ku); } /** * * @see net.oschina.kettleutil.KettleUtilRunBase#init() */ @Override protected void init() { ku.logBasic("初始化插件"); } /** * * @see net.oschina.kettleutil.KettleUtilRunBase#end() */ @Override protected void end() { ku.logBasic("数据处理结束"); } /** * * @see net.oschina.kettleutil.KettleUtilRunBase#getDefaultConfigInfo(org.pentaho.di.trans.TransMeta, java.lang.String) */ @Override public String getDefaultConfigInfo(TransMeta transMeta, String stepName) throws Exception{ //创建一个JSON对象,用于构建配置对象,避免直接拼字符串构建JSON字符串 JSONObject params = new JSONObject(); //设置一个参数key1 params.put("key1", ""); RowMetaInterface fields = transMeta.getPrevStepFields(stepName); if(fields.size()==0){ throw new RuntimeException("没有获取到上一步骤的字段,请确认连接好上一步骤"); } params.put("PrevInfoFields", fields.toString()); //创建一个JSON数组对象,用于存放数组参数 JSONArray arr = new JSONArray(); arr.add("arr1"); arr.add("arr2"); params.put("array", arr); //生成的参数样例 //{ // "array":[ // "arr1", // "arr2" // ], // "key1":"" //} //返回格式化后的默认JSON配置参数,供使用者方便快捷的修改配置 return JSON.toJSONString(params, true); } public void getFields(RowMetaInterface r, String origin, RowMetaInterface[] info, StepMeta nextStep, VariableSpace space) { //添加输出到下一步的字段 addField(r,"JOB_NAME",ValueMeta.TYPE_STRING,ValueMeta.TRIM_TYPE_BOTH,origin,"JOB名称"); } }
3. 以下是作业实体插件实现样例
/** * Project Name:KettleUtil * Date:2016年6月29日 * Copyright (c) 2016, jingma All Rights Reserved. */ package net.oschina.kettleutil.utilrun; import net.oschina.kettleutil.jobentry.JobEntryKettleUtilRunBase; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONArray; import com.alibaba.fastjson.JSONObject; /** * job entry kettle util 运行示例<br/> * date: 2016年6月29日 <br/> * @author jingma * @version */ public class JeurDemo extends JobEntryKettleUtilRunBase{ /** * * @see net.oschina.kettleutil.jobentry.JobEntryKettleUtilRunBase#run() */ @Override protected boolean run() throws Exception { //这里写自己的业务 jeku.logBasic(jeku.getConfigInfo()); jeku.logBasic(configInfo.toJSONString()); return true; } /** * * @see net.oschina.kettleutil.KettleUtilRunBase#getDefaultConfigInfo(org.pentaho.di.trans.TransMeta, java.lang.String) */ @Override public String getDefaultConfigInfo() throws Exception{ //创建一个JSON对象,用于构建配置对象,避免直接拼字符串构建JSON字符串 JSONObject params = new JSONObject(); //设置一个参数key1 params.put("key1", ""); //创建一个JSON数组对象,用于存放数组参数 JSONArray arr = new JSONArray(); arr.add("arr1"); arr.add("arr2"); params.put("array", arr); //生成的参数样例 //{ // "array":[ // "arr1", // "arr2" // ], // "key1":"" //} //返回格式化后的默认JSON配置参数,供使用者方便快捷的修改配置 return JSON.toJSONString(params, true); // return "select * from dual"; } }
4. 开发完成后,打包放入kettle lib中,重启kettle。以下是该插件配置界面,可以修改步骤名称,在类名称处填写你的实现类的完整类路径,然后就可以点击【获取默认配置】按钮,获取你配置的实现类对应的配置信息,根据需要修改即可完成配置。以下分别是转换的插件实现示例和作业实体实现示例截图。
以上就完成了基于该插件的开发使用工作,由上可以看出,执行编写一个类,就可以完成一个插件的开发工作。