ETL工具Kettle

开源etl工具kettle可以进行非常复杂的数据处理，性能非常的优越，可以有效的提升您的工作效率！支持多种应用场景，整个工作流程非常的完善，数据处理结果稳定且精准，欢迎前来下载使用！

kettle软件介绍

Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。纯Java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。

软件功能

1、集群允许转换以及转换中的步骤在多个服务器上并发执行；

2、数据处理功能也很强大，非常适合于各种数据处理功能；

3、可以用来实现数据的剖析、清洗、校验、抽取、转换和加载等各类常见的ETL类工作；

kettle教程

清理数据库连接的方法

1：清理shared.xml中的不用的数据库连接。（他的保存位置一般在用户主目录下边的.kettle目录中）

2：用文本编辑软件打开kjb，ktr文件删除用户到的connection项，保存。

使用方法

Kettle自己有三个主要组件：Spoon，Kitchen，Pan。其中Spoon是一个图形化的界面，用于windows的时候，先设置环境变量：pentaho_java_home，例如：C:\Program Files\Java\jdk1.7.0_25，其实就是你的java安装目录，1.6以上即可。windows下双击Spoon.bat就可以了，界面如下：

这里我建立了资源库，其实可以用文件形式存储，存储的结构都是xml，但是我还是觉得建立一个资源库比较好，以后看job等情况也比较简单，因为数据表的可读性比xml要好得多。建立资源库和文件资源库只需要把右上角的小加号点一下，就会出现如下如的界面：

选择第一个就是建立数据库版的资源库，之后：

之后：

测试通过之后点击OK就回到最开始的界面，这时候选择test数据库连接，然后出入你的工程（我是这么叫的）ID和name，这里要记住，因为以后kitchen调度的时候要输入这个参数。

在接下来弹出的框中都点“是”，然后会出现这个界面：

这步会在你的用户下建立很多表，所以最好单独给资源库建立一个用户，当然这是在oracle下，mysql下和DB2下最好也采用同样的方式，把资源库和其他库分开。

检查一下：

SQL> conn wings/wings@prism

已连接。

SQL> select count(1) from r_repository_log;

COUNT(1)

----------

0

SQL>

表已经建好了。回到最开始的界面，选择test，点击确定，然后就会出现登录对话框，用户密码默认都是admin，以后可以自己改。

接下来就可以开始用这个工具了。

相关介绍

ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程）。该工具支持图形化的GUI设计界面，可以以工作流的形式流转，做一些简单或者复杂的数据抽取、质量检测、数据清洗、数据过滤等方面有着稳定的表现，其中最主要的是可以通过熟练的应用减少非常多的研发工作量，提高工作效率。

Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。作为Pentaho的一个重要组成部分，2020年在国内项目应用上逐渐增多。