Kettle ETL工具

WinWin7小編給大家分享的Kettle是一款純Java編寫(xiě)的工具，可以在Windows、Linux和Unix操作系統(tǒng)上運(yùn)行。它被廣泛應(yīng)用于數(shù)據(jù)處理和抽取的任務(wù)中，具有高效和穩(wěn)定的特點(diǎn)。Kettle的主要功能是處理和轉(zhuǎn)換大量的數(shù)據(jù)。它可以從各種數(shù)據(jù)源中提取數(shù)據(jù)，并進(jìn)行清洗、轉(zhuǎn)換和加載到目標(biāo)系統(tǒng)中。Kettle支持多種數(shù)據(jù)格式，包括關(guān)系型數(shù)據(jù)庫(kù)、平面文件、XML、JSON等。程序員可以通過(guò)簡(jiǎn)單的拖放操作來(lái)定義數(shù)據(jù)處理的流程，而無(wú)需編寫(xiě)復(fù)雜的代碼。Kettle提供了豐富的數(shù)據(jù)處理功能，包括數(shù)據(jù)過(guò)濾、排序、聚合、連接等。

kettle工具干嘛用的

Kettle是國(guó)外免費(fèi)的開(kāi)源輕量級(jí)ETL工具，是基于Java語(yǔ)言開(kāi)發(fā)的，可以在Windows.Linux,UNIX系統(tǒng)上運(yùn)行，且綠色不需安裝，可用于各種數(shù)據(jù)庫(kù)之間的連接。

Kettle工具主要有四個(gè)組件組成，分別是Spoon，Pan，Kitchen以及Carte組件，具體功能如下：      *Spoon為集成開(kāi)發(fā)軟件，用于構(gòu)建作業(yè)和轉(zhuǎn)換，執(zhí)行或調(diào)試作業(yè)和轉(zhuǎn)換，還可以用于監(jiān)控ETL操作性能。

kettle工具功能

1、集群允許轉(zhuǎn)換以及轉(zhuǎn)換中的步驟在多個(gè)服務(wù)器上并發(fā)執(zhí)行；

2、數(shù)據(jù)處理功能也很強(qiáng)大，非常適合于各種數(shù)據(jù)處理功能；

3、可以用來(lái)實(shí)現(xiàn)數(shù)據(jù)的剖析、清洗、校驗(yàn)、抽取、轉(zhuǎn)換和加載等各類常見(jiàn)的ETL類工作；

kettle教程

清理數(shù)據(jù)庫(kù)連接的方法

1：清理shared.xml中的不用的數(shù)據(jù)庫(kù)連接。（他的保存位置一般在用戶主目錄下邊的.kettle目錄中）

2：用文本編輯軟件打開(kāi)kjb，ktr文件刪除用戶到的connection項(xiàng)，保存。

使用方法

Kettle自己有三個(gè)主要組件：Spoon，Kitchen，Pan。其中Spoon是一個(gè)圖形化的界面，用于windows的時(shí)候，先設(shè)置環(huán)境變量：pentaho_java_home，例如：C:\Program Files\Java\jdk1.7.0_25，其實(shí)就是你的java安裝目錄，1.6以上即可。windows下雙擊Spoon.bat就可以了，界面如下：

這里我建立了資源庫(kù)，其實(shí)可以用文件形式存儲(chǔ)，存儲(chǔ)的結(jié)構(gòu)都是xml，但是我還是覺(jué)得建立一個(gè)資源庫(kù)比較好，以后看job等情況也比較簡(jiǎn)單，因?yàn)閿?shù)據(jù)表的可讀性比xml要好得多。建立資源庫(kù)和文件資源庫(kù)只需要把右上角的小加號(hào)點(diǎn)一下，就會(huì)出現(xiàn)如下如的界面：

選擇第一個(gè)就是建立數(shù)據(jù)庫(kù)版的資源庫(kù)，之后：

之后：

測(cè)試通過(guò)之后點(diǎn)擊OK就回到最開(kāi)始的界面，這時(shí)候選擇test數(shù)據(jù)庫(kù)連接，然后出入你的工程（我是這么叫的）ID和name，這里要記住，因?yàn)橐院髃itchen調(diào)度的時(shí)候要輸入這個(gè)參數(shù)。

在接下來(lái)彈出的框中都點(diǎn)“是”，然后會(huì)出現(xiàn)這個(gè)界面：

這步會(huì)在你的用戶下建立很多表，所以最好單獨(dú)給資源庫(kù)建立一個(gè)用戶，當(dāng)然這是在oracle下，mysql下和DB2下最好也采用同樣的方式，把資源庫(kù)和其他庫(kù)分開(kāi)。

檢查一下：

SQL> conn wings/wings@prism

已連接。

SQL> select count(1) from r_repository_log;

COUNT(1)

----------

0

SQL>

表已經(jīng)建好了。回到最開(kāi)始的界面，選擇test，點(diǎn)擊確定，然后就會(huì)出現(xiàn)登錄對(duì)話框，用戶密碼默認(rèn)都是admin，以后可以自己改。

kettle工具優(yōu)缺點(diǎn)

優(yōu)點(diǎn)： 可視化界面支持圖形化GUI設(shè)計(jì)界面，組件多樣性，支持http請(qǐng)求,上手簡(jiǎn)單支持拖拽，支持sql , 可以編寫(xiě) js ,可以編寫(xiě)一些 java 代碼，然后以工作流的形式流轉(zhuǎn)。如果沒(méi)有沖突可以并行執(zhí)行，并行開(kāi)發(fā)。在工具內(nèi)可以查看 讀 寫(xiě) 修改 輸出 更新 拒絕 錯(cuò)誤 等 一些參數(shù)，快速定位和糾錯(cuò)。

缺點(diǎn)： 面對(duì)特別復(fù)雜的業(yè)務(wù)邏輯，受制于 組件的使用情況。性能提升需要不斷優(yōu)化，線上部署多樣式，但是沒(méi)有完美的部署方案，暫定 Jenkins ，線上執(zhí)行  打印日志 只能報(bào) 對(duì)錯(cuò)，不太詳細(xì)。

Kettle具有良好的可擴(kuò)展性和靈活性。用戶可以通過(guò)編寫(xiě)自定義插件來(lái)擴(kuò)展Kettle的功能，以滿足特定的需求。Kettle還支持腳本編寫(xiě)，可以使用JavaScript或其他腳本語(yǔ)言來(lái)實(shí)現(xiàn)更復(fù)雜的數(shù)據(jù)處理邏輯。Kettle是一款功能強(qiáng)大、高效穩(wěn)定的數(shù)據(jù)處理工具。它的純Java編寫(xiě)和跨平臺(tái)特性使得它可以在不同的操作系統(tǒng)上運(yùn)行，而且通過(guò)可視化界面和簡(jiǎn)單的配置，用戶可以輕松地完成復(fù)雜的數(shù)據(jù)處理和抽取任務(wù)。