WinWin7小編給大家分享的Kettle是一款純Java編寫(xiě)的工具,可以在Windows、Linux和Unix操作系統(tǒng)上運(yùn)行。它被廣泛應(yīng)用于數(shù)據(jù)處理和抽取的任務(wù)中,具有高效和穩(wěn)定的特點(diǎn)。Kettle的主要功能是處理和轉(zhuǎn)換大量的數(shù)據(jù)。它可以從各種數(shù)據(jù)源中提取數(shù)據(jù),并進(jìn)行清洗、轉(zhuǎn)換和加載到目標(biāo)系統(tǒng)中。Kettle支持多種數(shù)據(jù)格式,包括關(guān)系型數(shù)據(jù)庫(kù)、平面文件、XML、JSON等。程序員可以通過(guò)簡(jiǎn)單的拖放操作來(lái)定義數(shù)據(jù)處理的流程,而無(wú)需編寫(xiě)復(fù)雜的代碼。Kettle提供了豐富的數(shù)據(jù)處理功能,包括數(shù)據(jù)過(guò)濾、排序、聚合、連接等。
kettle工具干嘛用的
Kettle是國(guó)外免費(fèi)的開(kāi)源輕量級(jí)ETL工具,是基于Java語(yǔ)言開(kāi)發(fā)的,可以在Windows.Linux,UNIX系統(tǒng)上運(yùn)行,且綠色不需安裝,可用于各種數(shù)據(jù)庫(kù)之間的連接。Kettle工具主要有四個(gè)組件組成,分別是Spoon,Pan,Kitchen以及Carte組件,具體功能如下: *Spoon為集成開(kāi)發(fā)軟件,用于構(gòu)建作業(yè)和轉(zhuǎn)換,執(zhí)行或調(diào)試作業(yè)和轉(zhuǎn)換,還可以用于監(jiān)控ETL操作性能。
kettle工具功能
1、集群允許轉(zhuǎn)換以及轉(zhuǎn)換中的步驟在多個(gè)服務(wù)器上并發(fā)執(zhí)行;
2、數(shù)據(jù)處理功能也很強(qiáng)大,非常適合于各種數(shù)據(jù)處理功能;
3、可以用來(lái)實(shí)現(xiàn)數(shù)據(jù)的剖析、清洗、校驗(yàn)、抽取、轉(zhuǎn)換和加載等各類常見(jiàn)的ETL類工作;
kettle教程
清理數(shù)據(jù)庫(kù)連接的方法
1:清理shared.xml中的不用的數(shù)據(jù)庫(kù)連接。(他的保存位置一般在用戶主目錄下邊的.kettle目錄中)
2:用文本編輯軟件打開(kāi)kjb,ktr文件刪除用戶到的connection項(xiàng),保存。
使用方法
Kettle自己有三個(gè)主要組件:Spoon,Kitchen,Pan。其中Spoon是一個(gè)圖形化的界面,用于windows的時(shí)候,先設(shè)置環(huán)境變量:pentaho_java_home,例如:C:\Program Files\Java\jdk1.7.0_25,其實(shí)就是你的java安裝目錄,1.6以上即可。windows下雙擊Spoon.bat就可以了,界面如下:
這里我建立了資源庫(kù),其實(shí)可以用文件形式存儲(chǔ),存儲(chǔ)的結(jié)構(gòu)都是xml,但是我還是覺(jué)得建立一個(gè)資源庫(kù)比較好,以后看job等情況也比較簡(jiǎn)單,因?yàn)閿?shù)據(jù)表的可讀性比xml要好得多。建立資源庫(kù)和文件資源庫(kù)只需要把右上角的小加號(hào)點(diǎn)一下,就會(huì)出現(xiàn)如下如的界面:
選擇第一個(gè)就是建立數(shù)據(jù)庫(kù)版的資源庫(kù),之后:
之后:
測(cè)試通過(guò)之后點(diǎn)擊OK就回到最開(kāi)始的界面,這時(shí)候選擇test數(shù)據(jù)庫(kù)連接,然后出入你的工程(我是這么叫的)ID和name,這里要記住,因?yàn)橐院髃itchen調(diào)度的時(shí)候要輸入這個(gè)參數(shù)。
在接下來(lái)彈出的框中都點(diǎn)“是”,然后會(huì)出現(xiàn)這個(gè)界面:
這步會(huì)在你的用戶下建立很多表,所以最好單獨(dú)給資源庫(kù)建立一個(gè)用戶,當(dāng)然這是在oracle下,mysql下和DB2下最好也采用同樣的方式,把資源庫(kù)和其他庫(kù)分開(kāi)。
檢查一下:
SQL> conn wings/wings@prism
已連接。
SQL> select count(1) from r_repository_log;
COUNT(1)
----------
0
SQL>
表已經(jīng)建好了。回到最開(kāi)始的界面,選擇test,點(diǎn)擊確定,然后就會(huì)出現(xiàn)登錄對(duì)話框,用戶密碼默認(rèn)都是admin,以后可以自己改。
kettle工具優(yōu)缺點(diǎn)
優(yōu)點(diǎn): 可視化界面支持圖形化GUI設(shè)計(jì)界面,組件多樣性,支持http請(qǐng)求,上手簡(jiǎn)單支持拖拽,支持sql , 可以編寫(xiě) js ,可以編寫(xiě)一些 java 代碼,然后以工作流的形式流轉(zhuǎn)。如果沒(méi)有沖突可以并行執(zhí)行,并行開(kāi)發(fā)。在工具內(nèi)可以查看 讀 寫(xiě) 修改 輸出 更新 拒絕 錯(cuò)誤 等 一些參數(shù),快速定位和糾錯(cuò)。
缺點(diǎn): 面對(duì)特別復(fù)雜的業(yè)務(wù)邏輯,受制于 組件的使用情況。性能提升需要不斷優(yōu)化,線上部署多樣式,但是沒(méi)有完美的部署方案,暫定 Jenkins ,線上執(zhí)行 打印日志 只能報(bào) 對(duì)錯(cuò),不太詳細(xì)。
Kettle具有良好的可擴(kuò)展性和靈活性。用戶可以通過(guò)編寫(xiě)自定義插件來(lái)擴(kuò)展Kettle的功能,以滿足特定的需求。Kettle還支持腳本編寫(xiě),可以使用JavaScript或其他腳本語(yǔ)言來(lái)實(shí)現(xiàn)更復(fù)雜的數(shù)據(jù)處理邏輯。Kettle是一款功能強(qiáng)大、高效穩(wěn)定的數(shù)據(jù)處理工具。它的純Java編寫(xiě)和跨平臺(tái)特性使得它可以在不同的操作系統(tǒng)上運(yùn)行,而且通過(guò)可視化界面和簡(jiǎn)單的配置,用戶可以輕松地完成復(fù)雜的數(shù)據(jù)處理和抽取任務(wù)。
上一篇:黑鳥(niǎo)播放器電腦版