曙光攜手同濟大學應對大資料 發揮最大效能

在硬體高速革新和軟體高度智慧化的今天，以「大資料」為代表的新一輪教育資訊化建設浪潮推到了我們面前。 為了滿足爆炸式增長的使用者和資料量，同濟大學攜手國內領先的IT整體解決方案和服務提供者中科曙光，在全面整合雲計算平臺和現有資產的基礎上，採用DS800-F20存儲系統、Gridview集群管理系統， 以及Hadoop分散式運算平臺構建出了業內領先的大資料柔性處理平臺，使得同濟大學在資訊學科及其交叉學科研究領域邁上一個新臺階。

基礎平臺需要更具靈活性 高效能才能提供差異化服務

創校百年的同濟大學，是一所擁有理、工、醫、文、法、哲、經濟、管理、教育9大學科門類的綜合性大學。 作為研究型大學，同濟大學是首批被國務院批准成立研究生院的高校之一，同時也是國家「211工程」和「985工程」重點建設的高水準學府。 但隨著使用者規模的擴大，類型的多樣化，層次的差異化，高性能計算作為雲計算主要的基礎設施，其傳統的使用模式已經不能完全滿足使用者日益增長的服務需求，並制約了雲服務品質的提高。

據介紹，在傳統高性能計算中，所有的服務都運行在高性能電腦服務結點上，導致了結點負載過大，容易出現癱瘓，從而影響使用者的正常使用。 另外，在這種開放共用的運行環境下，無法滿足不同使用者的差異化環境設置需求與使用者資源顆細微性使用的需求，也無法保障使用者資訊的安全。 另外，由於軟硬體的部署和操作都很複雜，針對個體需求搭建完成之後，幾乎不具備重複使用的能力，造成了極大的人力和時間成本浪費，影響了其易用性和使用效率。

同濟大學相關負責人表示：「正是因為這些難題的存在，我們的新一代高性能計算平臺就應該更符合大資料環境下的工作流程，在設計、實施、管理中都必須提供足夠的柔性，來滿足不同應用的需要。 在與不同的應用系統進行交互時，要提供足夠的靈活性。 而同濟大學要建設的柔性大資料處理平臺，需要具備可反復重構的硬體、軟體，同時還需要對原有投入的IT資源進行整合，避免資訊化投資的浪費。 」

充分整合現有資源 真正實現柔性建設標準

針對以上需求，曙光公司與負責承建工作的同濟大學電信學院緊密合作，對現有資產和網路狀況進行了多次研究分析。 最終，同濟大學使用了基於曙光公司為其構建的柔性處理平臺。 平臺採用了分區方式，其應用將涵蓋三個服務分區和一個共用存儲中心，即網路資訊服務、交通資訊分析、醫療資料分析和存儲中心。

【同濟大學大資料柔性處理平臺】

本方案基於分區方式構建，全面整合了雲計算平臺和同濟大學現有資產(IBM、Dell和HP伺服器)，其它分析節點和服務節點均採用曙光高效能伺服器。 其中集中存儲系統採用曙光DS800-F20構建，該產品支援FC-SAN/IB-SAN兩種架構，並採用雙冗余的控制器，支援高效能8GbFC以及高頻寬的20GbIB主機介面，穩定且高效。 另外，伺服器管理基於曙光在各個雲計算中屢經考驗的大規模集群管理系統Gridview，在穩定性與可用性方面表現突出。

為保證整個平臺工作流程的通順安全，Gridview在每個計算節點上實行四大邏輯層次，分別為：硬體資訊採集層、資源整合共用平台層、核心模組層和服務交付層。 四層邏輯有條不紊地對從各監控節點系統採集來的資訊資源進行優先管理。 資訊通過採集層向上層提供資源資訊時，資料資訊被分類存儲在資料庫中，作為中繼資料向上層提供資料服務。 各模組之間獨立開發，共用整合的公用平臺資料資訊，可以對中繼資料進行自由裁剪，以適應模組開發的柔性需求。 並且可以按照需求，增加新的模組到平臺中，做到各模組之間的有效相容，向使用者提供統一的Web介面，實現對集群的管理和運維，將整合的資源資訊以Portal形式表現，對歷史資料進行分析，為使用者提供統一的作業調度介面。

由於曙光公司採用了Hadoop技術搭建分析集群和集中存儲系統，消除了資源孤島，各結點能夠按照業務強度均衡互聯;同時，其獨特的可伸縮性使平臺能夠隨著資料膨脹而擴展，達到真正柔性計算平臺標準。

大幅降低管理成本 分區管理高性價最高

在解決方案部署之後，化解了原有IT平臺存在的支撐能力不足、管理難度較大等諸多問題，同濟大學的領導和各學科負責人對大資料柔性處理平臺給予了高度評價。 通過對應用效果進行總結，可以發現柔性處理平臺帶來很多具體層面的收益：

Ø 充分整合包括雲平臺、伺服器在內的現有資源，全面保護了原有投資;

Ø 分散式搜尋引擎架構採用分區形式，使得系統各個元件之間充分解耦，上層軟體部署更加靈活，極大的方便科研使用者進行各種系統的調整和部署;

Ø 針對不同元件採用分區管理，分區配置物理機和虛擬機器資源，強調資源的優化配置，獲得了極高的性價比;

Ø 資料網和業務網分離，這樣就達到了資料通信和業務通信運行時互不影響的目標;

Ø 管理網通信負載較輕，管理操作依託資料網構建，實現全網統一管理，同時管理網不必在配置交換器等其他基礎設備，降低了採購和管理成本。

同濟大學專案負責人表示：「同曙光公司攜手建立的大資料柔性處理平臺，改變了資訊化建設中的尷尬狀況，增強了對更多新興應用的支撐能力。 其分區設計和應用實現了該平臺的價值最大化，同時也為資訊學科及其交叉學科研究領域提供了更高效靈活的應用流程。 」