雲端運算平台實踐心得

 

    有段時間沒寫文章了，很快就大學畢業了，放鬆了一段時間，大四的生活過得有些愜意，放鬆的太久了，重新緊起

來有些難，但是內心一直在不斷的鞭策自己，今天忍不住了，決定重新開始寫文章。告訴大家這個部落格還要繼續更新，

沒有荒廢掉。

 

    這篇文章簡單記錄一下我的雲端運算平台實踐，雲端運算這個概念，總是被不斷的提起，在大三的時候就關注過一段時

間，但是當時一直停留在理論階段，沒有做什麼實際的東西，所以就一直沒有寫任何關於雲端運算的東西，因為我一向是

先實踐，然後總結，再寫文章。大四前半段，帶著我的團隊把一個項目的二期開發做完，然後下半段先是考了一個煩人

的考試，然後才著手將我的雲端運算平台實踐出來，平台的功能很少，因為只是自己做著玩，初衷是希望能夠為學校實現

一個雲端儲存平台的，統一學校的資料來源，方便學校今後的網路建設和科研，為學校多做些貢獻。但是學校手頭也緊，公

費買個伺服器都困難，只想安於現狀。所以後來只能自己做著玩了，不能因為沒有實際需求就不做了。

 

這個雲端儲存平台是服務即平台模式的實踐，提供WebService和API供其他應用系統調用，實現了20個介面，因為只

是類比用的，資料模型做了簡化，只保留核心欄位。架構基於Hadoop+Hbase+EJB，大二的時候學了EJB但一直沒有實

踐過，一是因為沒有遇到必須用這個技術的項目；二是考慮到技術門檻，不方便後面的維護。實現平台過程中遇到一個數

據節點不能為0的錯誤，因為報錯實在是不太明確，讓我一直以為是設定檔的問題，困擾了一段時間，後來發現是關於

使用者權限的linux間無密碼互訪有問題造成的，這個問題本身簡單，但是因為報錯不明確，誤導了我的判斷。

 

雲端運算技術還在發展中，隨著很多公司的採用，已經趨於成熟。任何技術都需要通過實踐來發現問題解決問題。目前

來看，雲端儲存一定程度上可以取代關係型資料庫，關於資料庫事務和進階查詢可以藉由第三方組件實現。鬆散的資料結構

更加利于敏捷實踐，資料模型的欄位可以更靈活的變更，我的雲端儲存平台資料就是把教務系統的一些關係型資料模型過渡

到基於索引值對的鬆散結構中的。對於一些本身就具有映射關係的欄位，甚至可以簡化到一個索引值對關係中來。把所有關係

型資料都打散成為鬆散資料，確實是很顛覆傳統思維的。但是有的時候逆向思維正是解決瓶頸問題的辦法，比如關係型數

據庫很難低成本的做到在限定時間內從幾TB的資料中，排序並拿出TOP50W的資料。

 

Hbase本身的一些機制，可以從分布式檔案儲存體層面就為所有資料提供緩衝，對於一次寫入多次讀取的資料效果尤其

顯著。我雖然沒有看過twitter的資料層實現，但是如果讓我設計，我會把最佔用儲存空間的資料部分，也就是一次寫入多

次讀取的微博和評論內容部分寫入NoSQL中，穩妥起見把其他對安全性要求高的隱私資料部分寫入MySQL，但是我仍然

可以把常用欄位也同步到NoSQL中去以便提高系統效能。這可以看做是雲端儲存最常見的一種實踐方式。雲端儲存的另一種常

見實踐則是基於文檔化的分布式儲存，把視頻，圖片，音樂，檔案以索引值對的形式儲存，這些媒介的共同特點都是佔用空

間大，一次上傳，多次讀取。這兩者其實可以歸為一類。即使是多次寫入，少量讀取的資料也可以實現一個資料緩衝層，

應對頻繁變更，然後定時定量持久化資料。所以存取比重不會影響對雲端儲存的使用，因此才有了我之前把關係型資料模型

完全轉化到鬆散型的做法。

 

利用Hbase本身的一些設計特點可以讓我們從鬆散表結構設計上提高系統的效能，比如family列相同的部分會在物理上

儲存在更近的節點上，所以在從關係型到鬆散型過渡的時候，可以把family列設定為表名，把label子列設定為屬性欄位，

這樣同一個表的資料可以在物理上更加緊湊，便於系統更快的取出同一資料模型的相關屬性。family列的定義和修改需要對

Hbase作類似於傳統資料庫的資料定義，而label列則不需要定義直接可以使用，通過這個特性可以使表結構欄位動態化，從

而在資料持久層面實現動態化。對於功能獨立的本身具有索引值映射關係的屬性則可以不使用上述的做法，而採用family列存

儲鍵屬性名稱，label列儲存鍵屬性值，value列儲存值屬性的值的方法。這是鬆散模型設計可以採用的一種實踐策略。

 

在商務服務層面分離成兩個層，一個層作為資料操作層，負責對資料操作和交易處理，另一個層作為商務服務層，負責

商務邏輯的拼裝、資料驗證、身分識別驗證等工作。介面設計方面要保證介面的合理性，清晰性，重用性。目前能想到的就是這

些了。

   

架構

 

 

雲端運算實踐心得介紹到這，有些朋友挺關心我接下來的計劃的，在此簡單說一下，俺打算畢業後先準備另一個考試，忙

完了以後找個地方工作一年，然後繼續念書，因為知識越學越覺得自己會的太少，所以希望繼續深造提高，謝謝朋友們的關

心，我會一直努力下去的。期待與更多喜愛技術的朋友合作與交流。