【雲先鋒】星環TDH：性能大幅領先于開源Hadoop2的技術架構賞析

星環科技的核心開發團隊參與部署了國內最早的Hadoop集群，團隊領導人孫元浩在國際領先的軟體發展領域有多年經驗，在英特爾工作期間曾升任至資料中心軟體部亞太區CTO。 近年來該團隊潛心研究大資料和Hadoop的企業級產品，並在電信、金融、交通、政府等領域的落地應用擁有豐富經驗，是中國大資料核心技術企業化應用的開拓者和實踐者。

Transwarp Data Hub（簡稱TDH）是國內落地案例最多的一站式Hadoop發行版本, 是國內外領先的大資料基礎軟體，性能大幅領先于開源Hadoop2。 TDH應用範圍覆蓋各種規模和不同資料量的企業。 通過記憶體計算、高效索引、執行優化和高度容錯的技術，使得一個平臺能夠處理10GB到100PB的資料，並且在每個數量級上都能比現有技術提供更快的性能；企業客戶不再需要混合架構，TDH可以伴隨企業客戶的資料增長， 動態不停機擴容 ，避免MPP或混合架構資料移轉的棘手問題。 以下是對星環資訊技術（上海）有限公司創始人兼CTO 孫元浩的採訪實錄。

CSDN：首先請你介紹一下自己、公司及技術團隊，目前貴公司關注的重點？

孫元浩：大家好，我叫孫元浩，是星環資訊科技（上海）有限公司的聯合創始人，之前有10年IT行業從業經驗，從事過BIOS、驅動程式、作業系統、編譯器和分散式系統的研發。 星環科技是一家大資料領域的高科技公司，致力於大資料基礎軟體的研發，平台產品名為Transwarp Data Hub（簡稱TDH），是一站式Hadoop和Spark大資料平臺，提供完整的SQL支援、 豐富的R語言挖掘能力以及更快的性能。 之所以說是一站式平臺，是因為TDH在處理大中小資料時，性能都可以比傳統資料處理技術更快，使用者就不需要在多個平臺之間遷移，也不需要混合架構了。

星環資訊技術（上海）有限公司創始人兼CTO  孫元浩

星環科技的技術開發團隊來自Intel、Microsoft、IBM, NVidia、百度等知名科技公司，以及南京大學、復旦大學、上海交通大學、中國科學技術大學、美國普林斯頓大學等多個知名學府， 也包括放棄海外知名企業優厚待遇回國創業的成員。 星環科技的核心團隊參與部署了國內最早的企業級Hadoop集群。

目前公司關注的重心在產品研發和團隊建設上。 研發投入在持續加強，歡迎有激情並且喜歡大資料基礎軟體研發的青年加入星環。

CSDN：為什麼選擇大資料行業創業，是看到什麼樣的市場機會？ 初衷是什麼？ 有沒有背後的故事分享給大家？

孫元浩：IT行業每過5~10年會出現一次技術革命，而分散式系統和大資料技術正在從底向上重構整個資料處理軟體的生態系統，並以很快的速度被企業所接受，從早期的互聯網公司到今天的各個行業的企業，都在嘗試和使用新技術。 在過去將Hadoop技術應用到傳統企業的過程中，我們也發現Hadoop自身的一些弱點以及企業在應用這些新技術方面的困難，很少企業有財力和實力購置上千台伺服器來完成單一的任務，企業需要功能更豐富、性價比更高的技術。

尤其在中國，因為使用者數眾多，中國企業的資料量普遍要多於國外企業一個數量級；中國企業的應用場景也非常複雜，很少有國外產品不經修改在中國能夠不出故障地運行。 中國的電信運營商、銀行、交通等領域，資料量和複雜程度要遠超國外同類企業，急需新一代資料處理技術來解圍。 這就是我們創立星環科技的初衷，致力於提供優秀的大資料基礎軟體，來解決這些問題。

另外一個大背景是國內大部分企業的核心資料庫系統大都來自國外公司的產品，我們預計在未來的10年內，企業資料中心領域會湧現出一批國內企業和優秀產品，並逐漸取代外國公司的地位。 而借助Apache Hadoop和Spark，我們可以和國外公司站在同一個起跑線上，同步開發產品，同時開展競爭，我們有信心和能力做出優秀的產品，為中國客戶提供更好的服務。

CSDN：你們的TDH是國內落地案例最多的Hadoop發行版本，能否給我們詳細談談TDH的技術架構，這個版本的構建過程，用到哪些技術？ 區別國內外其他發行版本的優勢？

孫元浩：TDH產品已經發展到第三個大版本。 目前的TDH3.3由四部分組成, 包括TranswarpHadoop基礎版、Transwarp Inceptor互動式分析引擎、Transwarp Hyperbase即時資料庫和Transwarp Stream流處理引擎。 下圖比較清楚地顯示了這個版本的元件。

其中我們對Hadoop的改進主要集中在HDFS和YARN之上，主要提供了高速Erasure Code編碼方式，適合near-line storage類應用，可以降低一倍磁片容量需求，同時提高一倍容錯性能。 這個功能主要是為擁有PB級別的客戶所設計和實現，例如電信業的話單資料、交通/電力行業的感應器資料、銀行業的歷史交易記錄等。 在YARN上的主要改進是為了使YARN能夠更全面的管理CPU/記憶體等資源，以及更有效地支援Spark和Map/Reduce應用集群，因為我們的產品是缺省建立在YARN之上的，包括Spark， 所以YARN是TDH中最核心的部件之一。

我們在Hadoop之上提供三個產品。 其中目前的主打產品是基於Spark的互動式分析和挖掘引擎Inceptor，有三層架構（見下圖），最下面是一個分散式緩存（TranswarpHolodesk）,可建在記憶體或者SSD上，中介層是Apache Spark計算引擎層，最上層包括SQL’99和PL/SQL編譯器、統計演算法庫和機器學習演算法庫，提供完整的R語言訪問介面。 這個引擎的主要特點是高性能、SQL支援完整、以及很好地支援R語言。

我們對Spark本身以及SQL引擎做了大量的優化。 對Spark本身的優化集中在DAG執行調度和Shuffle優化上，使Spark能夠處理大資料量；當然Holodesk以及索引的引入也需要對Spark做改進。 我們開發的SQL引擎可以自動識別HiveQL，SQL1999和PL/SQL語法。 同時我們為SQL引擎開發了各類優化器，包括CBO。 與其他發行版本的Hadoop相比，當資料在磁片上時，Inceptor的性能比標準Hadoop快2到5倍。 當資料在分散式記憶體或SSD上時，一般會有5到10倍的加速比。 採用流行的報表工具例如Tableau連接Inceptor時，我們通常把要分析的全量資料（通常是TB級別）裝載到記憶體或SSD上，性能非常流暢，可以實現真正的互動式資料分析。

與Cloudera Impala相比，我們的性能互有短長，TPC-DS的99個case中，大部分case我們比Impala快，有9個比Impala慢，但我們的優勢是能夠處理的SQL要多很多，有些SQL中間結果的聚合率比較低 ，導致中間結果過大，由於類Dremel架構的缺陷，這種場景Impala還沒有高效地處理，這就導致Impala在資料分佈發生變化或者資料量變大時會常常無法運行得出結果。

Inceptor支援在SSD固態盤上建列式存儲（稱為holodesk columnar store），這個分散式緩存跟Tachyon有本質不同，存儲格式缺省就是表結構，並且帶本地索引。 由於記憶體、SSD和機械硬碟的速度比大致是100:10:1，而同樣容量的記憶體、SSD、硬碟的價格比也是100:10:1。 實際測試發現，採用SSD替代記憶體作為Inceptor的列式緩存，性能沒有顯著下降，因此可以用同樣的價格買到容量大10倍的SSD作為緩存，一方面可以提供跟純記憶體緩存接近的性能， 另一方面也可比純記憶體資料庫或者ApacheSpark處理大10倍的資料。 目前還沒有任何一個其他hadoop發行版本具備這個功能。

第二個優勢是SQL支援比較完整，我們目前支援完整的SQL1999，正在實現更複雜的PL/SQL語法，包括預存程序、函數、游標等功能。 Cloudera最新發佈的Impala 2.0 roadmap，到2014年底實現的SQL功能我們的Inceptor在今年上半年就已經具備了。 SQL支援的完整程度比性能更加重要，大量的資料倉儲/資料集市應用中都採用了較為複雜的SQL99語法，沒有這些語法支援，要想把現有應用遷移到Hadoop上來是不可行的。

第三個優勢是跟R語言進行整合,我們提供R語言的介面直接調用底層的機器學習演算法和資料採礦演算法，也可以在分散式資料集上並行運行R語言的現有串列演算法。 相對於單機版的R語言來說，能夠處理的資料量變大了，可以對全量資料進行分析，而不是採樣資料。 R語言是一個非常強大的資料採礦和統計語言，本身也包含功能強大的繪圖庫。 我們已經在一些客戶中使用R語言建立線上推薦系統，相對於基於SQL統計和協同過濾的傳統推薦方法，新演算法精確度更高，大家在近期會看到這方面的案例報導。

Hadoop之上的第二個產品Hyperbase是建立在Apache HBase基礎之上，具備多種索引技術、分散式交易處理、全文即時搜索、圖形資料庫在內的即時NoSQL資料庫。 Hyperbase可以高效地支援企業的線上OLTP應用、高併發OLAP應用、批次處理應用、全文檢索搜尋或高併發圖形資料庫檢索應用。 另外一個具有特別優勢的地方是我們的Inceptor SQL引擎支援Hyperbase，使用者可以用SQL99來訪問Hyperbase中的資料，性能與API相比有一定損失，但SQL執行的併發度和性能仍然非常優秀。

我們目前採用Hyperbase為企業創建可擴展線上運營資料庫（OperationalDatabase）或者即時分析型資料庫(ODS - Operational Data Store)。 目前與Hyperbase功能集相類似的產品是矽谷創業公司Splice Machine的基於HBase的資料庫產品，技術上他們的SQL引擎是通過Derby改造而來。 Salesforce開源的Phoenix也提供了部分SQL功能，不過成熟度還遠不足以支撐真實應用。

Hadoop之上的第三個產品是TranswarpStream即時流處理引擎，這個引擎以Spark Streaming為基礎，整合了Kafka分散式佇列，提供了豐富的流計算表達能力，支援複雜的應用邏輯。 當前的這個版本主要是提供一個穩定的，可7x24小時不間斷運行的流處理框架。 我們正在開發的功能是利用SQL來描述流處理應用邏輯，使開發人員更容易開發新的流處理應用。 與Apache Storm相比，Spark Streaming創新地把流式即時資料按時間切片，對每個短小時間間隔內的資料進行批次處理，當這個時間間隔小到100毫秒時，效果跟流處理系統很接近。 Spark Streaming的一個巨大優勢是可以把複雜分析任務輕易地用在流資料上，甚至可以進行流式的機器學習。 這在Storm等以事件驅動為計算模型的流處理系統上是非常難實現的。

CSDN：主要應用場景有哪些？ 目前在國內的使用方式和客戶規模等？ 能否給我們分享一下實際的應用案例？

孫元浩：自從星環成立以來，我們已經有近百個客戶部署了我們的軟體，有數十個簽約並上線運行的客戶，這裡不包括我們團隊以前服務過的客戶。 這裡我簡單舉幾個應用場景的例子。

1. 運營商流量經營分析： 在我們的一個客戶中，每天的流量資料在2TB~5TB左右，這些資料被拷貝到HDFS上，通過我們的Inceptor互動式分析引擎產品，運營商能運行幾百個複雜的資料清洗和報表業務， 總時間比類似硬體設定的小型機集群和DB2快2~3倍。 在這個應用中，由於SQL極為複雜，很難翻譯轉換為開源Hadoop目前支援的SQL，因此星環的InceptorSQL引擎體現出較大優勢，可以輕易地運行這些複雜SQL，並且性能比較突出。 2. 大型網站Web伺服器的日誌分析：我們為一個CDN廠商建設了一個日誌分析系統，這個廠商的緩存設備支援著國內一個大型網站的Web伺服器集群，這些Web伺服器每5分鐘收錄的點擊日誌就高達800GB左右， 峰值點擊每秒達到900萬次。 我們每隔5分鐘將這些資料裝載到記憶體中，高速計算網站的熱點URL，並將這些資訊回饋給前端CDN快取服務器，以提高緩存命中率。 命中率提高後為CDN廠商增加了收入。 這個系統是7x24小時不間斷運行的。 3. 城市交通卡口視頻監控資訊的即時分析：另一個7x24不間斷運行的案例是在智慧交通行業，我們採用Transwarp Stream進行全省範圍的交通卡口通過視頻監控收錄的資訊進行即時分析、告警和統計（計算即時路況）， 對全省範圍內未年檢車輛或套牌車的分析延時在300毫秒左右，可以做出即時告警，所以開車的朋友最好要按時年檢。 4. IPTV收視統計與點播推薦：有一個國內著名的IPTV運營商採用我們的產品建設了一個即時收視率統計和點播推薦系統，可以即時收集使用者的遙控器操作，提供即時的收視率榜單；並且根據內容推薦和協同過濾演算法，實現了點播推薦服務。

CSDN：針對TDH，目前客戶關心最多的問題是什麼？ 你們有什麼針對的解決措施？

孫元浩：對於目前TDH的客戶，對TDH的性能、SQL支援程度和我們的服務是比較滿意的，有一些客戶不滿足于只是用TDH來做SQL統計分析，他們關心用TDH還能做什麼全新的應用。 這是一個探索新應用的過程，同時也是一個市場教育的過程。 針對這種情況，一方面我們成立了一個團隊，專門説明客戶去探索全新的應用，例如在離線分析領域，我們在開發更多的統計演算法和機器學習演算法來支撐新應用,並協助客戶應用全新的機器學習演算法進行資料的深度分析。 另一方面，我們也在建立生態系統，跟更多的合作夥伴合作，支援合作夥伴開發新的應用解決方案。

CSDN：作為分散式架構大師，你在大規模Hadoop集群構建方面有沒有好的經驗分享給大家？

孫元浩：這個問題比較大，可以寫一篇文章了：）我後面再寫吧！

Cloud Edge：中國「雲先鋒」系列報導 序號 公司名稱 成立時間 CEO/CTO 官方微博 公司產品/方向 1. 雲適配 2012年 陳本峰


網站適配 2. 友友 2010年 


姚宏宇


@友友微博 C、C++、JAVA產品研發 


3. 聚合資料


2010年


左磊 


@聚合資料管 移動資料服務 4. Anchora 2009年 魯為民       





MoPaaS和InPaaS 


5. 夠快 2012年


蔣爍淼 @夠快科技 


雲存儲


6. 文思海輝


2012年 吳凱


@文思海輝 OpenStack公有雲       


7. 搜狐雲 2011年 邱英波


SendCloud                  


8. 聯想雲存儲 2009年 羅予晉


雲存儲 9. 南京訊之智 2012年 謝晚霞


大資料即時分析 10. 上海聖何賽 2012年 


金劍 





雲管理、雲存儲                


11. 國雲科技 


2010年


季統凱


@國雲科技 雲作業系統                


12. SSO365 2012年 趙健                





雲安全、雲身份認證 


13. ClouDil雲方案 2001年


葉濱 @世紀鼎利 


通信運營商                


14. 多備份 


2013年 胡茂華            


@木浪 雲備份                 


15. 上海越誠軟體 2011年 王煒                  


基於雲的建站軟體超市 


16. 雲智慧 2009年 殷晉 @監控寶 雲監控、基於大資料APM 17. 深圳澤雲 2012年 何巨彬


高性能存儲系統 18. 深圳智冠 2004年 盧慧莉  


手靜脈生物識別、虛擬化 19. 北京沃安科技 2009年 曹學武 @沃安科技 移動視頻技術供應商 20. 星環資訊科技 2013年 孫元浩 @星環科技 大資料分析平臺 備註：2014年9月5日更新，持續更新中......