用微伺服器處理海量資料——你敢嘗試嗎？

近日，提供線上網路聊天服務的eHarmony公司採購了一批內置Intel Atom處理器的SeaMicro伺服器，用它們來運行基於Hadoop結構分散式運算服務。

如果是在幾年前，eHarmony在伺服器上採用Atom處理器的行為無異于自殺，畢竟Atom的性能實在有限，況且業界也並沒有一個完整的微處理器解決方案。 但是現在SeaMicro和Calxeda（主要採用ARM處理器的微伺服器）廠商所開發的伺服器，已經能夠大大降低建造成本，並能節省能源。

不過業界普遍認為，如何滿足應用程式和大客戶的需要是這些微伺服器普及之前首先需要解決的問題。 而對於大資料處理來說，類似Atom這樣的處理器則需要將以上兩個問題都解決——

Calxeda：採用ARM原因在於沒有歷史負擔

雖然Calxeda公司所生產的ARM架構微型伺服器在處理器結構上與SeaMicro公司的X86架構微型伺服器存在很大不同，但Evans所總結的前兩個優勢同樣適用于SeaMicro的X86架構產品。

Calxeda公司CEO Barry Evans表示，「對於海量資料來說，有三個關鍵因素說明ARM架構伺服器將是非常適合的。 首先，海量資料的處理本身就具有向外擴展的特性，需要眾多高效處理器來進行處理。 其次，海量資料處理作為一個新興的市場，其所要面對的歷史遺留問題很少。 最後，目前針對這一領域的軟體對ARM架構的支援程度很好。 」

Hadoop on microservers

Hadoop作為一種分散式運算結構，對於很多公司和組織來講都是一個全新的領域，而他們大多沒有專門應對這一應用的硬體。 分散式運算需要眾多的scale out擴展結構來提升整個系統的並行處理能力。 而對於分散式運算的每個節點，Hadoop並不要求其性能能夠與高功耗、高性能的專用處理器相媲美，相反，其對性能的要求是非常低的。 而微型伺服器則能夠憑藉眾多的物力核心和相對較小的體積來很好的滿足Hadoop計算的需求。

Atom節點最低功耗僅5瓦

SeaMicro的微型伺服器可以在10U機架的體積內提供512個Intel Atom核心並產生1.28TB/s的計算能力，而相對於傳統伺服器來說，其能耗卻降低了75%。 而Calxeda公司的微型伺服器產品則可以在2U的體積內提供120個4核心ARM Cortex A9架構處理器，而每個處理器節點的功耗只有5瓦。 知名記者Stacey Higginbotham在談論Calxeda計畫時表示，「Intel和AMD基於x86架構的四核心處理器功耗在80至130瓦之間，節能版本的x86晶片也有30瓦的功耗。 對於堅持使用傳統伺服器晶片的使用者可考慮Dell公司銷售的cloudscale微伺服器，它採用Intel Xeon處理器，功耗為30瓦。

Evans的理論和eHarmony公司的實例都證明，微型伺服器對於Hadoop這種大資料計算來說卻是非常合適。 而在使用微型伺服器之前，eHarmony公司也曾使用雲服務來滿足其需要，不過他們發現，當他們進行大量平行計算並與雲服務其交換大量資料時，這一方法就會變得非常昂貴。 而作為一家之前沒有任何伺服器硬體投資的公司來說，eHarmony公司可以很輕易的轉投至微型伺服器架構中。 Data Center Knowledge的Rich Miller也表示「微型伺服器可以為CTO每月減少數萬美元的運營費用，使成本降低74%。 」

由於在eHarmony案例上的成功，我們可能很快就會看到像SeaMicro和Calxeda這樣的公司與Cloudera（目前最大的分散式運算軟體供應商）達成OEM協定。 當然，隨著微型伺服器在這一領域的迎頭趕上，我們也很有可能看到軟硬體一體化解決方案的供應商。

微伺服器的未來

可以看到，微伺服器的宣導者之所以如此樂觀，主要是受到了近年來互聯網和雲計算市場蓬勃發展的影響。 像Facebook的技術主管就表示，該公司並不準備融入 伺服器虛擬化的潮流，而是希望將微伺服器作為一種廉價增長和快速容錯移轉方式。 目前，Facebook已經測試了微伺服器，並且有意將其用於大規模的資料 中心。

有資料顯示，Facebook在2010年6月時，其伺服器數量超過了6萬台，而2008年4月為1萬台，即使到了2009年底也才是3萬多台。 而等今年俄勒岡資料中心開放後，Facebook的伺服器數量將接近10萬台。

Facebook或許是一個特殊的例子，但它確實代表了高速發展的新興互聯網企業的一種趨勢。 未來，當新興互聯網業務和雲計算需求徹底被喚醒的時候，或許才是微伺服器真正的春天。

最新的消息是，在未來的幾天內，包括美國麻省理工學院著名教授Anant Agarwal， 同時也是Tilera公司的創始人和CTO。 以及惠普實驗室的Partha Ranganathan將開始深入討論新一代的分散式體系結構，而此次會議的目的也主要在於探討將將大量低功耗處理器壓縮為小規模處理器的概念，以獲得在外部具有海量資料的應用程式（主要是網路應用）。

(責任編輯：admin)