NewSQL登堂入室 資料庫廠商掘金行業大資料

一提到大資料，很多人首先想到的是互聯網公司，比如Google、百度、阿裡巴巴等。 互聯網企業在大資料分析方面確實走在了業界前列，其光環也遮住了行業大資料的光芒。 IDC以「4個V」來定義大資料：Volume代表更大容量，Variety代表資料種類多樣化，Velocity代表更快的處理速度，Value意味著大資料能創造更多價值。 天津南大通用資料技術有限公司(以下簡稱南大通用)首席技術官武新表示，如果按「4V」的標準來衡量，行業大資料與互聯網大資料在資料量、資料種類和資料處理速度方面處於同一級別， 惟一的不同是行業大資料比互聯網大資料的資料價值密度更高。 因此，行業大資料給資料庫廠商帶來的商業機會也多於互聯網大資料。

資料庫三分天下

如果回溯資料處理架構變革的源頭，那麼就要從美國著名資料庫科學家邁克爾•斯通佈雷克(Michael Stonebraker)的一篇論文說起。 邁克爾•斯通佈雷克在論文中指出，行業技術的發展趨勢是由一種架構支援所有應用轉變為用多種架構支援多類應用。 在大資料和雲計算的背景下，這一理論導致了資料庫市場的大裂變：資料庫市場分化為三大陣營，包括OldSQL(傳統資料庫)、NewSQL(新型資料庫)和NoSQL(非關聯式資料庫)。

從技術角度看，OldSQL的典型特徵是行存儲、關聯式和SMP(對稱多處理架構)。 OldSQL的代表產品包括TimesTen、Altibase、SolidDB和Exadata等。 OldSQL所代表的傳統關聯式資料庫已經不能滿足大資料對大容量、高性能和多資料類型的處理要求。 為了更好地滿足雲計算和大資料的需求，NewSQL和NoSQL脫穎而出，並且大有後來者居上的架式。

NoSQL的技術主要源于互聯網公司，如Google、Yahoo、Amazon、Facebook等。 NoSQL產品普遍採用了Key-Value、MapReduce、MPP(大規模並行處理)等核心技術。 在互聯網大資料應用中，NoSQL佔據了主導地位。

武新認為，NewSQL資料庫具有極高的商業價值，必將成為一個主流的資料庫產品類別。 「在大資料需求的推動下，資料庫行業正處於技術變革的轉捩點。 在全球範圍內，至少有30家新興的資料庫廠商和大約50款新產品湧入市場，傳統的由幾家資料庫廠商壟斷市場的局面終將被打破。 」武新表示，「NewSQL在保持關係模型的基礎上，對存儲結構、計算架構和記憶體使用等核心技術進行了創新。 未來，NewSQL和NoSQL將改變OldSQL一種架構服務于所有應用的局面，三類產品將各自擁有適用的應用類型和客戶群。 」

使用者對高處理性能的強烈需求推動了資料庫行業的創新。 為了進一步提升產品的性能，NewSQL、NoSQL和OldSQL三大陣營的廠商都不同程度地採用了一些新技術，比如分散式運算、分散式檔案系統、記憶體計算技術等，同時積極採用一些新的硬體，包括大記憶體、快閃記憶體和高速網路連接技術( 萬兆乙太網和InfiniBand)。 相比之下，NoSQL和NewSQL在技術上的改進更能滿足大資料的需求，比如NewSQL產品普遍採用了列存儲技術，而NoSQL產品普遍採用了Key-Value技術。 武新介紹說：「NoSQL和NewSQL在處理海量資料時都表現出了較強的擴展能力。 NoSQL的主要優勢體現在對非結構化資料的處理上，而NewSQL對於全資料格式的支援正日趨成熟。 此外，NewSQL在即時性、複雜分析、即時查詢和可開發性等方面也比NoSQL更具優勢。 」

傳統的關聯式資料庫不易擴展，也不能實現並行處理，因此在處理海量資料時顯得有些捉襟見肘。 在行業大資料應用中，像南大通用GBase 8a這樣的分析型資料管理系統將替代傳統的資料庫。 當前，大量的公有雲資料庫都是基於NoSQL技術構建的，例如Hbase、Bigtable等。 這些產品的非線性、分散式、橫向擴展等技術特點非常適合互聯網行業的雲計算和大資料處理，但是應用類型相對簡單。 行業大資料應用要求資料庫具有複雜資料的多表關聯分析能力，可以在任何情況下保證資料的一致性，同時還要便於使用。 這種需求直接推動了基於雲架構的新型資料庫技術的發展。 這種新型的資料庫在傳統資料庫的基礎上採用了Shared-Nothing集群，提高了系統的伸縮性，其代表產品包括EMC Greenplum、HP Vertica和南大通用的GBase 8a MPP Cluster等。

武新對資料庫未來的發展趨勢進行了預測：對全資料類型提供更好的支援，採用更大規模的MPP和資料管理集群技術，實現跨平臺融合，大資料一體機將流行。

中國大資料廠商的機會

資料庫市場成形于上個世紀80年代。 在過去30多年中，全球資料庫市場基本由美國廠商(其資料庫產品主要以事物處理為主)壟斷，不僅中國資料庫廠商很難找到突破口，就連德國和日本的廠商也舉步維艱。 隨著雲計算、大資料的興起，以處理分析類應用為主的新型資料庫日益受到關注。 大資料讓中國資料庫廠商找到了一個向傳統資料庫廠商發起挑戰的機會。

2013年是大資料應用元年。 據記者瞭解，中國的三大電信運營商、建行總行、郵儲銀行、華夏銀行、中石油等單位都已經完成或將在今年上半年完成大資料的技術選型、產品測試和應用規劃。 武新向記者透露說：「我們的大資料庫產品GBase 8a已經進入了上述這些專案的測試名單。 」

在中國市場上，互聯網大資料與行業大資料兩個市場並存，且都有巨大的發展空間。 互聯網市場和以金融、電信等企業為代表的企業級市場其實是涇渭分明的兩個市場。 「互聯網企業與商業企業對IT的需求大相徑庭。 」一位伺服器廠商的負責人告訴記者。 通常情況下，互聯網企業都擁有一大批自己的研發人員，無論是硬體還是像大資料這類的軟體都傾向于自己開發，而且對開源軟體情有獨鍾。 以南大通用為代表的中國資料庫廠商，已經習慣了與商業企業打交道，並且專注于關聯式資料庫，因此很難在短時間內在互聯網大資料超市上找到突破口。 從另一個角度說，行業大資料超市本身規模足夠大，可以給像南大通用這樣的廠商大量的機會。

武新將行業大資料超市分成四類：經營類、管理類、監管類和專業類。 以經營類為例，電信話單、金融票據、電力調度、智慧電網等都屬於以結構化資料為主的大資料應用。 中國移動一個省的話單資料每年就要新增300TB。 由此可見，行業大資料超市大有可為。

企業使用者最挑剔的還是資料庫的性能。 區別于傳統的資料處理，大資料分析的一個主要特徵就是對資料進行即時處理。 南大通用的GBase 8a大資料平臺的定位是分析類應用和全資料處理，其最大的亮點就是具有高性能。 GBase 8a之所以能夠實現高性能，主要依靠兩項技術：一是列存儲資料庫，二是新型的Shared Nothing+MPP架構技術。 與行存儲資料庫不同，GBase 8a列存儲資料庫中表的每一列在物理上是分開進行存儲的，每一列以資料包為單位進行組織，只有訪問和查詢到的列才產生I/O。 因此，表的列數越多，GBase 8a列存儲資料庫的I/O效率越高，性能優勢體現得越明顯。 此外，GBase 8a的MPP Cluster架構是最適合處理大資料的架構。 與傳統的Shared Disk架構相比，它具有更強的橫向擴展能力和更高的性能，並且可以動態伸縮。

互聯網大資料中90%以上的資料屬於非結構化資料，而行業大資料還是以結構化資料處理為主。 與那些從誕生之日起就不得不面臨大資料挑戰的互聯網企業相比，傳統企業現在面臨的大資料壓力更大，資料結構更複雜且多變。 在行業大資料應用中，關聯式資料庫依然是主流，只是其技術內涵有了新的變化，列存儲資料庫、分散式運算等新技術開始得到廣泛應用。

武新表示，從產品角度看，國產新型資料庫與國外同類產品在技術上處於同一起跑線，而在成本、本機服務和方案定制化等方面比國外產品更具優勢;從行業大勢上看，「x86+Linux」架構與雲計算逐漸被行業使用者所接受， 更多中國企業開始在本地尋找更具成本效益的解決方案，從而減少對國外產品的依賴;從資訊安全、自主創新的角度看，國產大資料解決方案在政府行業的一些大專案中也越來越受到青睞。

相關連結

南大通用進行最大規模NewSQL集群方案演示

3月8日，南大通用在天津海泰綠色發展基地舉辦了「國產新型大資料平臺開放日」活動。 南大通用向客戶及合作夥伴展示了其GBase 行業大資料大規模集群處理平臺，並進行了多種經營分析業務場景演示，其中200TB行業資料處理方案演示尤為引人矚目。 這次演示共使用了80台中高端伺服器、5台萬兆交換器，橫跨7個機櫃。 武新告訴記者，該測試平臺無論從網路部署、測試複雜度還是資料量等方面衡量，都堪稱國內規模最大的NewSQL集群環境。 測試結果顯示，該平臺可支撐PB級的資料查詢與分析，是應用於行業大資料分析的可靠平臺