Ruby中的類Google Map/Reduce架構Skynet介紹_ruby專題

Skynet是一個很響亮的名字，因為它是阿諾施瓦辛格主演的經典系列電影《終結者》裡面的統治人類的超級電腦網路。不過本文的Skynet沒這麼恐怖，它是一個ruby版本的Google Map/Reduce架構的名字而已。

Google的Map/Reduce架構實在太有名氣了，他可以把一個任務切分為很多份，交給n台電腦並存執行，返回的結果再並行的歸併，最後得到運算的結果。據說Google一個搜尋結果會Map到7000台伺服器並存執行，這麼多麼可怕的分布式運算能力阿！有了Map/Reduce，程式員就可以在無需關注分布式架構的情況下，用簡單的代碼寫出來健壯、並行的分布式應用程式，並且可以充分發揮電腦群集運算的能力。

如今能夠實現Map/Reduce演算法的架構已經有好幾個了，其中最有名氣的可能就是Yahoo發起的開源項目Hadoop，不過Hadoop並不是用ruby編寫的，但在ruby的世界，Adam Pisoni已經開發出來了ruby版本的Map/Reduce架構，這就是Skynet。

Adam Pisoni開發Skynet的初衷是因為Adam Pisoni的公司Geni.com是一家定位於家族SNS的互連網網站。網站提供的新聞推送功能要求能夠從大量的使用者產生的資訊當中提取特定使用者感興趣的內容，推送給使用者。這實際上是一個分布式運算模型，要能夠把任務分布到多台伺服器上面執行，最後把任務歸併回來。Adam Pisoni沒有找到合適的架構，最終自己開發了Skynet，運用Map/Reduce演算法來提供這個分布式運算平台。

用Skynet開發Map/Reduce的分布式應用程式非常簡單，讓我們舉一個簡單的例子看看吧：假設有一個1GB的文字檔，我們的任務是要統計該檔案當中每個單詞出現的次數統計。傳統的做法當然很簡單，順序讀入檔案內容，進行單詞統計就行了，但是毫無疑問，執行速度會很慢。如果我們有一個1000台伺服器的運算群集，我們可以如何利用Skeynet來並發執行這個程式，從而縮短統計時間呢？

Map/Reduce演算法的過程是：

1、Partition(劃分資料)
把資料劃分為1000份，這個過程由Skynet自動完成

2、Map
除了劃分資料，還需要把運算該資料的代碼也Map到每個運算節點上面去並發執行。這1000個節點各自執行自己的任務，執行完畢以後把執行結果返回

3、Partition
這1000分執行結果需要歸併，於是我們再次劃分資料，比方說劃分為10份，這個過程也是Skynet自動完成的

4、Reduce
把Reduce代碼和Reduce資料分發到10個節點執行，每個節點執行完畢返回資料。如果需要再次Reduce可以再次執行。最終Reduce為一個總共的結果。

其實Map/Reduce演算法的原理是很簡單的，好了，看看Skynet下面，我們怎麼實現呢？其實我們需要編寫的代碼只有兩個方法：一個map方法，告訴skynet如何執行每份資料，一個reduce方法，告訴skynet如何歸併每份資料，所以這個並行演算法最終用Skynet來寫的話，也非常簡單：

複製代碼 代碼如下:

  class MapreduceTest
    include SkynetDebugger
           
    def self.map(datas)
      results = {}
      datas.each do |data|
        results[data] ||= 0
        results[data] += 1
      end                
      [results]     
    end
   
    def self.reduce(datas)
      results = {}
      datas.each do |hashes|
        hashes.each do |key,value|
          results[key] ||= 0
          results[key] += value
        end
      end
      results
    end
  end

這個就是一個最簡單、但是完整ruby版本的Map/Reduce代碼了。我們需要編寫一個map方法，告訴skynet去統計每個單詞的出現次數，我們還需要編寫一個reduce方法告訴skynet去歸併每個map的統計結果。好了，剩下所有的工作都歸Skeynet接管了，是不是很簡單！

當然要讓這個Map/Reduce跑起來我們還需要做一些工作，比方說安裝skynet，配置skynet的並行節點等等，這些瑣碎的工作可以看看skynet自己的文檔：http://skynet.rubyforge.org/doc/index.html，就不詳述了。

值得一提的是Skynet可以和Rails架構良好的整合起來工作，你可以把Rails當中一些非常耗時、可以Map/Reduce的工作丟給Skynet去非同步後台執行，比方說：

複製代碼 代碼如下:

MyModel.distributed_find(:all, :conditions => “created_on < '#{3.days.ago}'”).each(:some_method)

把最近3天以來所有的model查詢處理以後要執行的耗時操作some_method交給Skynet，讓Skynet動用他強大的運算網路去執行。

還可以非同步執行：

複製代碼 代碼如下:

model_object.send_later(:method, options, :save) 

把耗時的任務交給Skynet去非同步執行。

對於擁有強大運算網路、並且需要進行大量耗時運算的web2.0網站來說，Skynet真是一個很棒的工具，他可以讓程式員很簡單的編寫處理健壯而高效的分布式應用程式！