DB2 10.5 BLU：Hadoop和記憶體資料庫殺手來臨?

由IBM研究和開發實驗室開發，BLU(此開發代號代表“big data, lightning fast, ultra-easy”)整合了柱狀處理(columnar processing)、重複資料刪除、並行向量處理(parallel vector processing)和資料壓縮等技術。

BLU的重點是使資料庫“記憶體最佳化”，IBM資訊管理軟體CTO Tim Vincent說，“它將會在記憶體中運行，但你不必把一切都放入記憶體之中。”並且BLU還可以大量消除提高SQL查詢效能所需要的手動調節。

IBM聲稱，由於BLU整合了大幅改善分析能力和簡化管理的一系列技術，DB2 10.5能夠將資料分析速度提高25倍以上。這一改進可以消除企業購買一個單獨的記憶體資料庫(例如甲骨文的TimesTen)的需求，為了快速的資料分析和交易處理工作。

在網上，IBM提供了一個例子，32核心系統如何使用BLU技術，可以在不到一秒鐘的時間內對一個10TB的資料集執行查詢。“在10TB之中，你[可能]只有25%的資料互動用於日常運作。你只需要保持這25%的資料在記憶體之中，” Vincent說，“你今天可以以低於35,000 美元的價格買到一個擁有1TB的RAM和5TB固態儲存的伺服器。”

此外，使用DB2可以削減運行一個單獨的資料倉儲的勞動力成本，可用的資料庫管理員通常都比資料倉儲專家要多。在某些情況下，它甚至可以作為一個更易於維護的替代Hadoop的資料處理平台，Vincent說。新的技術之一的壓縮演算法，能夠以這樣的一種方式儲存資料，即在某些情況下，資料的讀取無需首先進行解壓縮的工作。Vincent解釋說，資料壓縮的順序就是它的儲存一致，這意味著謂語操作，如添加 Where子句的查詢，不用先行解壓縮資料集就可以執行。讓資料在整個分析過程中保持壓縮狀態，能夠大大縮短分析所需要的時間。

節省時間的另一個訣竅：該軟體儲存一個中繼資料表，其中列出了每個資料頁或每列的資料高低關索引值。因此，執行查詢時，資料庫可以檢查，看看是否有任何尋找的值在資料頁上。“如果該頁面不在記憶體中，我們並不需要將其讀入記憶體;如果它是在記憶體中，我們不必把它通過匯流排帶到CPU，並燒毀CPU挨個分析頁面上的所有值，”Vincent說，“這使我們能夠更有效地利用我們的CPU和頻寬。”通過柱狀處理，查詢可以只拉進在資料庫表中選定的列，而不是所有的行，那樣將會消耗更多的記憶體。Vincent表示：“我們已經開發出了一種演算法，對確定哪些列和列的哪些範圍你想要緩衝到記憶體中非常有效。”

在硬體方面，軟體內建並行向量處理的能力，這是一種發出一個單一的指令到多個處理器的方式，採用SIMD(單一指令多資料流)指令集，可用在英特爾和PowerPC晶片。因而該軟體可以運行一個單一的查詢針對多列，可以分析跨處理器的並聯資料，系統可以放在寄存器。“寄存器是系統記憶體利用方面最有效率的。”Vincent說。

據悉，在測試過程中，結合使用BLU加速的創新功能，很多查詢功能在單項分析負載中運行速度比以往要快到1000倍以上。

在研究新的途徑將大型資料庫塞入到伺服器記憶體的道路上，IBM並不孤單。上周，微軟宣布它的SQL Server 2014也配備了多項新的技術，統稱為Hekaton，包括以最大限度地利用運行記憶體，以及借用Excel的PowerPivot技術的柱狀處理技術。

Monash Research的資料庫分析師Curt Monash指出，隨著IBM DB2 10.5版本的發布，Oracle現在是唯一一個沒有真正的柱狀處理能力的主流關聯式資料庫管理系統(DBMS)供應商。

IBM自己使用DB2 10.5的 BLU組件作為DB2 SmartCloud基礎設施即服務(IaaS)的基石，以增強資料報告和分析工作的能力。另外，BLU技術還可以插入到IBM其他的資料存放區和分析產品，比如Informix。

編輯精選】

1. 讓資料庫變快的10個建議
2. 20個資料庫設計最佳實務
3. 用 DB2 pureXML 管理 Protein Data Bank
4. 任重道遠遷移路之DB2到Oracle
5. 任重道遠遷移路之Oracle到DB2