AWS協助Dummi Studio以低成本部署HPC項目進行科學研究

標籤：aws   亞馬遜   雲端運算   dummi studio   

關於Dummi Studio

Dummi Studio是由中科院和北郵等研究院所的學生組織的一個科研小組，完成由中科院和北郵研究所共同承擔的密碼學方面的研究項目。該小組專註於嘗試和實踐最新最酷的技術。目前該小組在移動互連網、雲端運算、社交網路、LBS等領域進行多種探索

挑戰

作為一個由研究生構成的團隊，Dummi Sdudio通過對電腦前沿科技研究和驗證，為電腦科學發展提供支援。Dummi Studio有著很多的科研項目，不少集中在可網格化的HPC應用。隨著項目的進展，研究小組需要能隨時根據研究進度去部署HPC實驗項目。從成本角度考慮，由於單獨科研項目經費有限，很難支撐團隊為單個項目購買伺服器，或者租用固定的裝置進行運算實驗工作。從人力資源角度考慮，這是一個由學生組織的小組，成員都專註在各個科研項目的推進，沒有專門的後勤支援小組，如：IT技術服務人員，為每個項目的實施提供IT基礎架構的支援；IT實施需要每個科研項目團隊自己去推進和管理。因此，對於Dummi Studio的各個科研團隊而言，他們需要尋找一個服務提供者，既能滿足他們高效能運算叢集的需求，又需要能很好地控製成本、並能在相對較短的時間裡完成項目的實驗工作。

為什麼使用AWS

作為科研團隊，Dummi Studio對於實施項目的運算實驗主要從如下幾個角度進行考慮：成本、效能、易用性、以及響應速度。經過深入的調查和分析，Dummi Studio認為：AWS可以滿足項目實驗所需要的高效能運算叢集的需求；同時，AWS所提供的競價型執行個體模式，具有價格低廉的特性，還能方便進行部署實驗，無需通過購買昂貴的機器進行計算實驗。經過綜合的調研，以及快速比對多個雲端服務平台，Dummi Studio最終選定採用AWS雲平台服務，相關服務主要包括：Amazon EC2 On-demand Instance & Spot Instance、Amazon Virtual Private Cloud、Amazon Simple Notification Service等。在選擇AWS時，Dummi Studio主要基於以下幾方面的考量：

便利的雲端運算服務和獨特的競價型執行個體
AWS為廣大使用者所提供的一項基礎服務就是計算和連網服務。Amazon EC2是AWS所提供的一項web服務，可在雲中提供大小可調節的計算容量。其Web服務介面非常簡單，使用者能非常輕鬆地擷取和配置容量。通過使用Amazon EC2，使用者可以縮短擷取並啟動新伺服器執行個體所需要的時間。在計算要求發生變化的時候，可以快速擴大或縮小計算容量。而計算服務收費方面，Amazon EC2則實現了按照實際使用的容量收費，能確保費用的有效支出。Amazon EC2提供了三種收費模式：預留執行個體、按需執行個體、競價型執行個體。其中，競價型執行個體是基於供求關係的、可實現自動確定。使用者對系統中其他使用者未使用的EC2容量進行競價，系統基於供求關係產生一個現貨價格，系統自動判定哪位競價者獲得競價成功；對於Dummi Studio而言，當他們給出的競價高於現貨價格時，系統開啟執行個體；當現貨現貨價格高於競價的時候，系統停止執行個體；在不考慮時間因素的情況下，它可以為Dummi Studio提供最優惠的價格，並能確保執行個體的可用性和可連續性，非常適合大規模和動態工作量的處理。而Dummi Studio日常進行的高效能運算的特點是細粒度的網格化，從而讓計算應用的實施受到系統停止執行個體的影響較小。

無作業系統界限
由於AWS對操作平台沒有限制，Dummi Studio可以實現在SUSE/Amazon Linux上使用gcc和AVX彙編進行高效能運算，簡化了工作內容。

易實施
Dummi Studio首先嘗試在一台執行個體上部署程式，得到了較為不錯的成果。隨後，Dummi Studio編寫指令碼嘗試在10台執行個體上批量部署程式並測試效能。然後小組分為三個方向：對執行個體進行效能調優、對程式進行效能最佳化、完善並調試管理指令碼群；在運行期間，Dummi Studio繼續進行自動化指令碼群的迭代，加入檢測使用率、SNS警示對策、自動申請競價型執行個體等新特性。由於AWS的易用性以及組員的努力，從嘗試AWS方案到開始整個項目的正式運行僅用了3天。

收益

按照每台雙路E5伺服器2萬元的部署成本計算，為了在3個月內完成項目計算，Dummi Studio需要部署大約500台機器，成本高達1000萬。而Dummi Studio為AWS競價型執行個體僅支出了不到50萬。自主運營的成本大概是採用AWS服務的20倍。

Dummi Studio聯合創始人楊煜堯表示：“通過採用AWS競價型執行個體，我們不僅在有限的時間裡完成了項目計算，還節省了大量科研經費。使用AWS服務與自主運營的費用相差高達20倍。我們為我們做出的正確選擇感到非常高興。”

更多資訊
欲瞭解更多AWS對教育機構的解決方案，請參考AWS的頁面：http://aws.amazon.com/cn/education/