Sybase攜美地森打造雲資料倉儲

大資料時代為數據存儲帶來壓力，越來越多的組織需要在雲計算的技術基礎上搭建起能夠存儲大量結構化和非結構化資料的存儲平臺。 雲存儲應「雲」而生。

所謂雲存儲，是指通過集群應用、網格技術或分散式檔案系統等功能，將網路中大量各種不同類型的存放裝置通過應用軟體集合起來協同工作，共同對外提供資料存儲和業務訪問功能的一個系統。 而實現適應使用者需求的雲存儲，關鍵在於選擇強大的基於應用與部署需求的資料架構。

日前，業界領先的企業級和移動軟體公司 Sybase攜手國內第一家雲計算基礎架構與平臺服務提供者美地森，共同打造全共用架構與無共用架構完美結合的雲存儲平臺。 Sybase IQ與美地森雲存儲軟體通過了中創信測的苛刻的功能和穩定性測試，打造了全球領先的雲架構資料倉儲解決方案。

該方案擁有如下優勢：

兼具Shared Nothing(無共用)和Shared Everything(全共用)架構的技術優勢;

兼具列式存儲和雲計算架構的優勢，滿足超大資料量應用對基礎平臺的性能需求;

採用雲計算集群體系架構，擁有卓越的擴充性和高可靠性;

無需採購SAN存儲，採用x86架構取代小型機，因此大幅降低系統TCO成本;

該方案為超大資料量分析平臺等資料密集和運算密集的應用提供了全球領先的技術架構，解決了「大資料」分析應用所遇到的技術挑戰。 該方案成本可控，技術領先，支援結構化和非結構化資料，可廣泛服務于金融行業、電信行業、政府行業、廣電、能源行業、航空、製造行業、煙草、零售等行業。

Sybase IQ ——支援全共用MPP架構

目前業界最常用的資料架構便是Shared Nothing(無共用)以及Shared Everything(全共用)。

Shared Nothing架構中的每一個節點都是獨立、自給的，而且整個系統中沒有單點競爭。 有些系統需要集中保存大量的狀態資訊——資料庫、應用伺服器或是其他類似的單點競爭系統。 Shared Nothing體系使資料庫穩定增長，隨著事務數量不斷增加，增加額外的CPU和主存就可以保證每個交易處理時間不變。

伴隨著雲計算技術的發展，越來越多的企業希望將企業資源虛擬化，實現資訊共用，由此帶來Shared Everything(全共用)架構的發展。 從「用戶端」角度來說，Shared Everything架構的核心內容就是把計算發展成為一種公共設施，就像我們日常所使用的水和電一樣;從「伺服器端」來考慮，Shared Everything是計算資源的虛擬化或者說是計算資源的匯合，並實現資訊共用、高可用性和安全性。

Sybase 在其IQ 15.3產品中引入了基於「大規模並行處理」(MPP)架構的PlexQ分散式查詢平臺，通過將任務分散到網格配置中的多台電腦，加速了高度複雜查詢的速度。 與傳統無共用MPP架構相比，Sybase IQ 15.3 PlexQ分散式查詢平臺擁有更出色的併發性、自助式即席查詢功能和計算及存儲資源的獨立擴充性。 有了這一架構，PlexQ能夠通過簡單、靈活的資源配置，將節點合併成統一模組，分配到不同的應用配置中，從而超越服務水準協定(SLA)的要求。

與傳統的無共用(Shared-Nothing)的MPP架構不同，PlexQ採用全共用(Shared-Everything)方法，能夠動態地管理和平衡Sybase IQ MPP配置中所有計算節點之間的查詢任務負載。 PlexQ的自動化工作負載等化器積極主動地運行，避免使用者爭搶系統資源，從而為一系列並行工作負載提供可預測的高性能。

Sybase IQ 15.3——重新定義雲架構

基於企業不斷變化的存儲與分析需求，Sybase IQ 使用了獨特的列式存儲方式，在進行分析查詢時，傳統的關聯式資料庫需要緩慢的讀取整個表的每一行，這種讀取方式通常會阻塞I/O通道、記憶體和磁片，而Sybase IQ 僅需讀取查詢所需的列，其垂直分區策略不僅能夠支援大量的使用者、大規模資料，還可以提交對商業資訊的高速訪問，其速度可達到傳統的關聯式資料庫的百倍甚至千倍。 同時，在存儲大資料方面，Sybase IQ 能夠存儲海量的複雜資料，與傳統資料庫相比，其存儲能力可多達10倍以上。

另外，Sybase IQ 所採用的Multiplex技術，充分利用了單個伺服器(節點)在執行特定功能時可進行磁片存儲共用並通用的優勢。 也就是說，存儲是共用的、壓縮的、列分區存儲的，它們通過一條高速的光纖通道與Multiplex架構中的所有伺服器節點互聯。 這些伺服器節點既可以作為資料讀節點也可以作為寫節點(或者兩者都是)運行，支援所有連接到共用資料來源的併發的資料載入和查詢。 這一技術使得Sybase IQ 可以在大量的使用場景中游刃有餘，比如快速的並行分析和報表，同時支援高速的即時資料載入、批量資料整合任務、即席用戶端載入和查詢等等(見下圖)：

Sybase IQ 15.3 PlexQ分散式查詢平臺解決方案擁有以下優勢：

Ÿ 卓越的性能：使用者能夠利用Sybase IQ PlexQ環境中多個計算資源的優勢，同時處理要求最苛刻的查詢;

Ÿ 增強的可擴充性：隨著使用者資料和查詢複雜度的增加，系統管理員能夠簡單、低成本高效地使用任何常見的硬體來擴展Sybase IQ PlexQ節點;

Ÿ 架構靈活性：系統管理員能夠快速、簡單地將計算資源的子集合並為邏輯實體，以回應不斷變化的使用者要求。

(Sybase IQ 15.3 PlexQ分散式查詢平臺工作原理及優勢如下圖)

美地森浩存雲存儲產品

美地森科技是業界領先的雲存儲、雲計算系統供應商，擁有雲存儲產品浩存、雲一體機系統麒雲兩大產品線，以及針對廣電、互聯網、電信、教育、政府、IDC在內的眾多行業雲存儲、雲計算解決方案。

浩存是美地森科技自主研發的雲存儲產品系列，內置了自主研發的YFS雲檔案系統。 通過YFS雲檔案系統，可將多台普通X86 架構伺服器上的本地磁片管理起來，形成一個大的存儲池，實現存儲虛擬化。 此外，浩存提供了標準的iSCSI主機介面。 浩存雲存儲產品專為需要按需擴容、高可用、注重存儲效率和性能的應用而設計，非常適合虛擬化、海量資料存儲、OLTP業務、存儲資源整合等應用環境，可廣泛運用於電信、政府、教育、互聯網、金融等行業。

因其具備「高可靠性」、「易擴展」、「高隨機讀取性能」、「易於管理」、「自動精簡佈建提升存儲資源利用率」以及「當地語系化支援與定制」等特點與優勢，浩存目前已為湖南衛視金鷹網、VeryCD、 安博教育等國內知名企業提供了高品質的存儲方案和服務。 (軟硬體設定如下圖)

Sybase與美地森實現完全意義的雲存儲架構

北京中創信測是國內電信監測領域著名的高科技企業之一，其監測系統由於性能穩定、安全可靠、功能全面豐富、技術先進而獲得了國家科技進步二等獎，在IT監測特別是電信信令監測領域具有較高權威。

2010年，中創信測公司在中國移動No.7 信令監測系統二期建設中便以Sybase IQ 為核心平臺，存儲和管理海量話單資料，實現了在大資料量即時載入的同時進行統計、分析和查詢的系統需求，並節省了大量的硬體存放裝置。 以Sybase IQ為核心存儲平臺的No.7信令監測系統已經在中國移動公司上海、新疆、河南等10余省進行了建設，其系統整體性能和可靠性得到了實際驗證。

著眼于Sybase 在資料庫管理與分析領域的領導地位，以及在電信領域的成功應用，美地森將旗下自主研發的雲存儲產品系列浩存與Sybase IQ 15.3 進行結合，並共同通過了北京中創信測科技股份有限公司的聯合測試。 憑藉Sybase IQ 15.3 PlexQ分散式查詢平臺的MPP共用架構，以及美地森浩存在雲存儲方面的強大功能，雙方攜手實現雲存儲領域的強強聯合。

Sybase IQ 15作為信令系統的資料庫，承擔對信令系統資料的處理。 採用Mutiplex架構和PlexQ的Sybase IQ，實現了對信令系統中大資料的快速查詢和高效壓縮。 在中創信測最近的技術測試中，美地森浩存的作用就是作為Sybase IQ的「陣列」，通過MDS的雲存儲技術將分散在x86機器上的本地硬碟虛擬為一個統一的大存儲，提供對上層軟體的資料存儲支援。 對於Sybase IQ 來說,就是採用多台PC Server取代了Sybase IQ傳統上的主機+陣列模式。

Sybase IQ 的資料處理結果就通過MDS分散式檔案系統存儲到廉價的PC Server上，並根據需要採取一定的冗余量，保證了資料的有效性和可靠性，從而實現了Shared Everything計算節點和Shared Nothing存儲節點的完美結合。 另外，通過採用虛擬機器、虛擬集市、分散式查詢、分散式存儲等技術適應了當前雲技術的要求，極大的提升了架構的靈活性，資源配置的合理性，方便使用者做出選擇和調整。

通過雙方產品的優勢互補以及雙方技術力量的配合，使得該專案在中創信測的測試中取得了極大成功。 Sybase IQ 與美地森浩存雲存儲軟體的合作，已經通過了穩定性測試，實驗室環境5節點下可以做到2個節點宕機情況下不遺失資料，並且能夠在物理資源增加的情況下，實現處理性能的線性遞增。

經過3個月的努力，Sybase IQ與美地森雲存儲軟體的強強聯合實現了完全意義的基於X86架構的雲架構解決方案，其快速資料載入、海量資料高速查詢、群集線性擴展以及對Hadoop的支援為企業打造應對大資料挑戰的雲存儲平臺。