Laxcus大資料管理系統2.0（14）- 後記

標籤：

後記

　　Laxcus最早源於一個失敗的搜尋引擎項目，項目最後雖然終止了，但是項目中的部分技術，包括FIXP協議、Diffuse/Converge演算法、以及很多新的資料處理理念卻得以保留下來，這些成為後來研發Laxcus的基礎。此後又經曆過一些海量資料處理項目，因為時代和行業的變化，用關聯式資料庫做底層存取已經越來越無法滿足不斷擴張的業務需要，於是希望改用能夠支援海量資料處理的軟體，然後在其之上結合實際應用做進一步整合。項目完成後，在推廣和使用中遇到了很多阻礙。這裡面除了產品本身的一些問題外，更多的困難來自於使用者本身，當使用者已經熟悉了關聯式資料庫，習慣了SQL的資料表達方式，再讓他們去適應一種新的資料產品和新的處理方式，其實是很難的一件事情。同時，使用者普遍的想法是少花錢多辦事，希望在即有硬體基礎設施不變、不增加或者少增加成本的情況下，得到更多更強的資料處理能力。這些情況都最終促成了開發Laxcus的動因，被納入了開始的設計中。在隨後的開發過程中，又逐步融入了一批新的技術和設計理念，比如多個域叢集並行、負載自適應、混合資料存放區、分布描述語言、分布工作群組件、交易管理、各種容錯處理、安全管理。在過去幾年裡，陸續推出了幾個版本，並且一步步發展而來，成為今天這樣一個比較完整和通用的大資料管理系統。

　　Laxcus針對的是目前普遍存在的大規模資料處理，且著眼於未來的超大規模資料處理環境。為了實現易用性，設計中很重要的一項要求就是簡約化的資料操作處理。這包括了更低成本的硬體、快速的布署、容易的維護、簡單的開發和操作。使使用者能夠以輕鬆的心情完成大資料處理，在使用體現上，感覺更接近於資料庫，而不是什麼新的資料產品。以此減少學習壓力，提高使用效率。另外，還有非常重要的一項要素是，現實世界的事物之間是存在“關係”的，資料的本質就是這種“事物”和“關係”的關聯反映，從“關係”的角度去理解、組織、處理資料，更符合人的思維習慣和定勢。

　　因此，與當下很多巨量資料產品不一樣的是，Laxcus一開始就著力於實現下一代的大規模資料處理，要求在一個產品裡做到大資料功能的全體系整合，提供超大規模的儲存和計算能力，輕量化的管理和易操作性，所有這些都促使其本身有著很多屬於自己的特點。

　　比如，Laxcus使用即時映像系統來管理元資訊，進行元資訊的動態即時映像，來實現叢集節點間的資料互動。元資訊在系統運行中產生，在網路之間傳遞，在記憶體裡駐留，不會寫入磁碟，被不定時地被重新整理，總是保證處於最新狀態。且因為它的資料量小，在運行過程中不會對運行環境構成什麼影響，因此能夠做到即時的資料追蹤和資料處理。

　　Diffuse/Converge網路計算演算法在Laxcus體系中佔有很重要的位置，這是實現分布環境下的大規模並行計算的關鍵。目前已經實現了抽象和模組化處理，使用者只需要調用API介面，就可以很容易地得到分布的、大型資料的處理能力。在減輕了開發人員工作的同時，也減少了運行中出錯的機率。除非對演算法運行機理本身有興趣，可以直接去看原始碼。

　　分布計算過程中的資料量平均分配的問題也得到妥善解決，資料量平均分配後，體現出的效果就是處理時間的基本一致性。讓每一個使用者快速脫離計算環境，將計算資源留給後續業務，這對保證叢集高效處理來說十分關鍵。另外，資料轉送採用“拉（pull）”，而不是“推（push）”的處理方式，是保證資料平衡很重要的一條準則。

　　目前在Diffuse/Converge演算法介面的基礎上，已經提供了多種分布計算工作，其中包括嵌套檢索(SUB SELECT)和串連(JOIN)服務。

　　在Laxcus體系中，索引的概念保留下來，被賦予新的含義。其中一部分融入到中繼資料中，實現了叢集環境下的快速的資料定位，另一部分運用在資料存放區模型中。

　　基於對“關係”的這項重要指標的考量，Laxcus同時採納了行/列兩種儲存模型。行儲存基本是延續了關聯式資料庫的即有方案。列儲存則進行了大的改進，實際上取消了索引這個在資料檢索時的中間環節，達到了減少了資料存量和提高檢索效率的目的。在資料計算時，行/列儲存按照指令要求在儲存層面進行多種邏輯關係的複合檢索處理，資料能夠以列為單位自由分割組合，最大限度減少輸出時的冗餘資料。還有，Laxcus通過以多叢集的協同並行工作方式來提高儲存計算數量、資料格式全部採用二進位提高計算效率、延續了資料庫的組織體繫結構、即時的全網資料處理，這些在實際應用中都是非常重要的。

Laxcus大資料管理系統2.0（14）- 後記