ETL是將業務系統的數據經過抽取、清洗轉換之後加載到數據倉庫的過程，目的是將企業中的分散、零亂、標準不統一的數據整合到一起，為企業的決策提供分析依據。 ETL是BI項目重要的一個環節。 通常情況下，在BI項目中ETL會花掉整個項目至少1/3的時間,ETL設計的好壞直接關接到BI項目的成敗。

　　ETL的設計分三部分：數據抽取、數據的清洗轉換、數據的加載。在設計ETL的時候我們也是從這三部分出發。數據的抽取是從各個不同的數據源抽取到ODS(Operational Data Store，操作型數據存儲)中——這個過程也可以做一些數據的清洗和轉換)，在抽取的過程中需要挑選不同的抽取方法，儘可能的提高ETL的運行效率。ETL三個部分中，花費時間最長的是“T”(Transform，清洗、轉換)的部分，一般情況下這部分工作量是整個ETL的2/3。數據的加載一般在數據清洗完了之後直接寫入DW(Data Warehousing，數據倉庫)中去。

　　ETL的實現有多種方法，常用的有三種。一種是藉助ETL工具(如Oracle的OWB、SQL Server 2000的DTS、SQL Server2005的SSIS服務、Informatic等)實現，一種是SQL方式實現，另外一種是ETL工具和SQL相結合。前兩種方法各有各的優缺點，藉助工具可以快速的建立起ETL工程，屏蔽了複雜的編碼任務，提高了速度，降低了難度，但是缺少靈活性。SQL的方法優點是靈活，提高ETL運行效率，但是編碼複雜，對技術要求比較高。第三種是綜合了前面二種的優點，會極大地提高ETL的開發速度和效率

核心亮點(億信華辰ABI）

1 程序設計人性化，操作更易用

一般情況下，ETL過程設計需要用到大量的代碼，且重複利用率較低。億信ABI中的ETL功能充分結合大量項目人員實施習慣，操作敏捷易用，可以快速的建立起ETL工程，屏蔽複雜的編碼任務，提高速度，降低實施難度。

億信ABI的ETL過程支持批量創建，數據抽樣，開發過程支持多人協同定義，共享資料庫，使得數據處理過程更高效。在此基礎上，系統內部封裝大量清洗轉換規則，極大程度的降低技術門檻，只需簡單的拖拽配置，即可玩轉數據處理。

2 豐富的數據處理組件

億信ABI中的ETL組件豐富多樣，面向數據分析師精心打造，滿足各種各樣的數據處理場景。之前的一個簡單的數據處理需求，前期在技術人員這裡可能徘徊2，3天的樣子，更何況還有後期的修改，有了豐富的可視化ETL組件，複用率高，操作簡單，數據處理更高效。

億信ABI中內置組件包括：輸入輸出組件，轉換組件，流程組件，統計組件，數倉組件、腳本組件、大數據組件、其他組件。

以轉換組件裡面的清洗組件為例，清洗組件支持記錄級清洗和字段級清洗，內置50多種規則，支持在一個組件中完成多次清洗轉換設置。支持清洗前後結果預覽。

3 靈活的調度任務

用戶只需簡單操作，即可實現複雜的調度任務。億信ABI的ETL調度導向，深度考慮各使用場景，在便捷易用的同時，滿足數據處理時不同的用戶需求。

• 支持基於時間或事件的調度機制,如:任意事件週期、文件到達、腳本事件等；
• 調度設置支持crontab表達式；
• 調度設置能指定到月份、星期、日期、小時、分鐘的粒度；
• 支持設置調度的時間窗口，重調時間間隔等；

4 隔離設計，應用更穩定

為保證運行環境的穩定可靠，提供了設計區與運行區隔離的機制，所有作業的修訂和更改通過在設計區完成調試和試運行後，通過發佈機制，發佈到穩定的運行環境，保證開發和運行兩不耽誤。

總結：億信華辰的億信ABI成功將兩者合在一起，節省人力物力，提高工作效率。

閱讀更多 宋懵懵的數據生活 的文章

關鍵字: Microsoft 數據倉庫 設計