大資料和雲端運算的鞍馬情-【軟體和資訊服務】2014.08

來源:互聯網
上載者:User

標籤:大資料 雲端運算 vmware hadoop

自從VMware在2013年的全球使用者大會上推出vSphere Big Data Extention(BDE)以來,大資料這匹駿馬越來越受到大家的追捧。當然BDE主要針對是Hadoop的大資料應用,其實大資料不僅僅是Hadoop,即使只算Hadoop也還有不同的發布版本。但是無論Hadoop的哪個版本或者哪個大資料平台,都蜂擁開始追隨雲端運算,就像好馬配好鞍一樣重要,那怎樣的雲端運算平台才是大資料的好鞍呢?

運行環境平台:多租戶、資源供應和管理

  在過去幾個月的客戶溝通中,我聽到了運行大資料的多種不同平台,包括Twitter使用的Mesos、Fedex使用的虛擬化和Yahoo使用的Yarn。而不同的雲端運算平台特效能解決大資料應用的不同問題。比如:Yarn的目標是支援Hadoop上的非M-R應用。而Twitter使用的Mesos則可以支援混合的負載,並且會利用作業系統的虛擬化。由於企業的大資料應用情境往往是多樣的,所以需要選擇一種平台適合不同的應用情境,這包括:

  • 部署新的大資料應用極其簡單:可以通過自動化和自助服務來完成;

  • 可以支援多種不同的負載:也就是能運行多種大資料應用,不僅僅限於Map-Reduce,還可支援一些Hadoop生態圈應用、SQL服務和其他跨平台 app;

  • 可靠的安全隔離:如果需要將某些敏感資訊隔離,該平台有能力確保資料集和環境安全;

  • 安全的資源隔離:為了能夠提供足夠的資源來滿足整體SLA要求,可以將吵鬧的鄰居隔離來確保效能;

  • 多版本支援能力:能運行多個不同版本的運行環境,滿足不同使用者、開發人員要求;

  • 企業級的可用性:確保整個系統的強壯性,提供企業等級的可用性。

網路的挑戰

  對網路而言,挑戰和機遇並存。今天兩層核心彙總交換網路不能跨機架提供足夠的頻寬。機架內的頻寬應該沒有問題,經常可以達到每秒幾百Gbit,但機架間的頻寬往往十分有限,為此往往需要最佳化流量到本地,也就是資料和計算完全整合的模式。幸運的是,新的網路拓撲,包括CLOS和主幹加分支設計都提供了很好的解決方案。使用這些新型的網路拓撲,可以在整個叢集延時基本恒定的情況下確保足夠的頻寬,無論是機架內還是機架間都不會有頻寬問題。

儲存平台的選擇

  隨著儲存技術的不斷髮展,大資料的儲存選擇越來越豐富。當然Hadoop的HDFS處於最核心圈,但其他的儲存平台也可以提供跟Hadoop類似、隨插即用的相容能力,並且提供了某些獨特的價值。幾個主要的儲存選項如下:

  傳統的SAN或者NAS:這應該算是支撐大資料應用的最佳儲存選項,因為目前大量的資料中心都可以提供這樣的儲存選項,並且也包括了各種儲存服務,例如:快照、歸檔、複製等;

  伺服器內建磁碟構建的軟體定義程式儲存:這方面HDFS是主要的代表,其他的選項包括CEPH、Gluster和MAPR,他們都可以建立檔案系統,滿足大資料的應用;

  橫向擴充儲存方案:很多獨具特色的新興公司提供了可以替代HDFS橫向擴充儲存,很好解決了成本和頻寬問題。比如Isilon的橫向擴充儲存方案,提供了3到144個節點的解決方案,可以擴充到15PB、每秒85GB吞吐能力,成為橫向擴充儲存的典型代表。

通過vSphere平台運行大資料

  VMware推出的BDE方案也在不斷進步中,為各種不同版本的Hadoop運行提供了強大的支撐。目前BDE已經可以和vCloud Automation Center結合來提供Hadoop叢集的自助建立,藉助vSphere平台讓終端使用者可以快速自助建立應用,大資料的部署難題迎刃而解。大資料平台具有了自動化、自助服務能力,讓大資料再也不是極客的專利,任何大資料應用的開發人員、管理員都只需要專註自己的大資料應用本身,而無需關心底層的架構。

註:本文已經發表在《軟體和資訊服務》2014年8月刊上,如果想瞭解@雲界漫步 對雲端運算的最新觀點,請直接訂閱“中國雲夢”公眾號。也可掃描下面的二維碼,直接訂閱。訂閱”中國雲夢“後,直接回複”20007“閱讀該文。

650) this.width=650;" src="http://s3.51cto.com/wyfs02/M02/47/09/wKiom1P1yAOxyy5qAACGFE8oO9s729.jpg" title="12cm.jpg" alt="wKiom1P1yAOxyy5qAACGFE8oO9s729.jpg" />

本文出自 “中國雲夢” 部落格,請務必保留此出處http://virtualman.blog.51cto.com/200540/1543278

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.