說說這些年做的雲端運算和大資料項目

標籤：雲端運算   大資料   視頻上傳   視頻分享   mp4格式   電腦   

       入行十幾年了，做了不少分布計算、並行計算、記憶體計算、海量資料處理的項目，按照現在的分類，這些都屬於雲端運算/大資料範疇。今天說說我做過的其中三個項目，只三個。         第一個是我們接到的視頻分享網站的視頻轉碼的訂單，網站名字就不說了，有替人宣傳嫌疑。他們情況是這樣，視頻網站的內容用MP4格式在網頁上播放，但是上傳的格式多種多樣，我們必須把這些視頻統一轉換成MP4格式，視頻轉碼的工作想必大家都在自己的電腦上試過，通常一個100M左右的視頻轉碼需要20分鐘以上（CPU是Pentium IV）。為了提高轉碼效率，讓使用者以接近即時得到結果，必須在收完視頻後，立即將一個視頻拆分成多個單元，分散到多台電腦上進行轉碼，然後回收所有轉碼視頻，按照順序再次組合成一個新視頻。我估計現在視頻網站都是這個套路。我們這個團隊最早是做流媒體起家的，工作沒什麼難度，輕車熟路，很快就完成了。只要機器足夠多，視頻差不多可以以接近即時的狀態完成轉碼。後來又再一次改進，從使用者上傳視頻開始立即進行轉碼，收到一段轉一段，使用者的視頻上傳完畢，我們的轉碼工作也完成，使用者可以馬上看到自己上傳的轉碼後視頻，基本上是零延時，並且穩定性、效率都高於對方提出的要求。做完這個，合作方老闆很滿意，接著又給了一個CDN的項目。現在我們仍保持著合作的關係。            

       第二個有點玄乎，項目可以寫一篇論文，題目是《關於空中移動目標運行軌跡和落點的問題》。這個項目是XXX發下來的，實質就是炮彈打飛彈，大概是想看看能不能打著，論證技術可行性。當時人還在某單位，因為研究領域和空氣動力學毫不相關，所以這方面的知識基本屬於文盲，知道的也就是那麼幾個有限的名詞和數學公式，但是這正好符合XXX的要求，不需要我們懂這些高深的理論，他們派人和我們合作這個項目。我們的工作就是把很多感應器（他們沒明說，但是地球人都明白這東西應該是雷達）接收的資料，包括當前多少公裡範圍內的空氣的風速、風向、地表的曲面率，還有其它一些指標在收集後（這些瞬間產生的三維資料的資料量非常大），分散到一大堆電腦上去執行（測試時準備了100個節點），並且要很快計算出結果（必須比空中運動的目標快）。這其實和現在的SPARK、STORM做的工作很象，要依賴大記憶體、高效能CPU、和高速網路，跳過硬碟這個瓶頸，才能得以實現快速計算。這個項目花了很長時間，主要是與合作方的溝通改進，然後是再溝通再改進，迴圈往複，周而復始。後來終於完成了，據說做了實驗，可行性很高，上面領導很滿意，還擺了慶功酒。反正我沒見著也沒喝著。其實他們怎麼計算的，我到最後也沒有搞明白，問過一次，說是秘密。         

       第三個和兩桶油的頁岩氣有關。當前的背景是在四川涪陵（這個地方還產榨菜）發現了大面積的天然氣，按照自然規律，油氣是共生的，所以兩桶油想通過採集頁岩樣本，分析這個地區地下有沒有石油資源，如果有，是不是具有開採價值。這套程式原本已經是有的，艾克森.美孚石油公司開發的，跑在CARY-1向量機上。那套機器是上世紀七八十年代的超級電腦，在當時已經不能滿足需要，屬於進博物館之列。有些資料分析理論已經過時，需要調整。兩桶油最不滿意的還是速度太慢，計算一次要幾小時幾天才能出結果。這一次又是合作，兩桶油出熟悉採油的技術專家，我們出並行計算的碼農，前前後後合作弄了大半年，算是完成了。這次我們用了新的並行演算法，效率提高了一大截。和上次炮彈打飛彈一樣，整個項目靜悄悄開始，靜悄悄結束，後面怎麼樣就不知道了。

說說這些年做的雲端運算和大資料項目