2013年9月至11月,全專案共產出七個重要的階段性成果,包括:大雲2.5正式發佈,協辦CCF第一屆大資料大賽,NoSQL通過驗收,江西綜合查詢庫上線,福建大資料中心啟動,BCH社區開始運作和公有雲試商用啟動集成等。
成果1:大雲2.5正式發佈
l成果描述
2013年12月4日,移動互聯網大會上正式發佈了大雲產品2.5版本。 Bill主持了發佈儀式,工信部電信研究院余曉輝總工做嘉賓致辭,廣東省南方基地總經理林湧雙和江西業支副總經理黃震代筆大雲使用者致辭,研究院雲計算系統部總經理孫少陵介紹了2.5版本新特性。
大雲2.5重點推出了分散式關聯式資料庫BC-RDB和分散式彈性塊存儲系統BC-EBS兩款新產品,在BI-PaaS和BC-Hadoop兩款產品的功能上也有重大突破,並且發佈了BC-Hadoop開源社區,號召各方加入社區,共同研發適合電信運營商的 Hadoop版本。
l成果具體產出
《大雲2.5發佈介紹》
l成果落地和結合一線情況
大雲2.5發佈的產品BC-RDB已經在江西得到商用,BC-EBS將在南方基地公眾服務雲上應用。 BC-Hadoop已經在安徽、福建得到應用,未來還將支援集團的經分集中化平臺。
成果2:協辦CCF第一屆中國大資料技術創新大賽
l成果描述
中國移動研究院雲計算系統部作為協辦單位,出色完成第一屆中國大資料技術創新大賽的賽題貢獻、參賽集群環境支撐、結果評定、技術評審等重要工作。 中國移動兩道賽題的五個入圍隊伍,分獲兩個二等獎和三個三等獎。 針對中國移動經分中校園學生使用者識別專題、網管中尋呼黑洞分析兩個典型大資料場景遇到的瓶頸,獲獎隊伍成果為現網應用提供了可直接借鑒的優秀解決方案。 競賽階段,研究院雲計算系統部依託大規模計算實驗室、採用自主研發的中國移動大雲平臺BC-EC和BC-Hadoop產品,為248支參賽隊伍,提供共計744個虛擬機器和大資料處理所需的BC-Hadoop、Hive、HBase、 impala等分散式集群環境,為大賽提供了有力、可靠的保障,得到主委會和參賽隊伍的一再致謝。
l成果具體產出
競賽題目《社交圈構建和特定類型使用者識別》和《尋呼黑洞分析》
《社交圈構建和特定類型使用者識別》29支成功參賽隊伍的結果、原始程式碼、技術方案等
《尋呼黑洞分析》7支成功參賽隊伍的結果、原始程式碼、技術方案等
l成果落地和結合一線情況
針對中國移動經分中校園學生使用者識別專題、網管中尋呼黑洞分析兩個典型大資料場景獲獎隊伍提供的技術方案、程式、原始程式碼可直接在各省公司的現網中部署應用。
成果3:NOSQL資源池通過系統驗收
l成果描述
根據NoSQL設備規範、介面規範的需求進行軟體的開發和自測。
12月份通過工建處的接受度測試,測試案例通過率為100%。
l成果具體產出
《NoSQL 系統測試報告》
l成果落地和結合一線情況
BC-HugeTalbe中標南方基地一級私有雲的NoSQL系統,即將為彩雲業務提供存儲和處理能力。 目前正式通過接受度測試,等待著與彩雲業務的進一步集成。
成果4:江西公司去「IOE」應用試點
l成果描述
結合 「大雲」BC-RDB產品,在江西移動的綜合查詢庫系統和終端進銷存系統中引入分散式的交易型資料庫產品,取代oracle,降低系統建設維護成本,增強系統可擴充性。
l成果具體產出
BC-RDB新的發行版本本:BC-RDB 2.0.12版本
l成果落地和結合一線情況
綜合查詢庫系統一期已成功上線運行2個多月,運行穩定,未出現嚴重bug,在此期間完成了多次功能更新。 二期正在導入資料,準備壓測。
終端進銷存系統已完成了部署、與應用的功能對接、導入資料、壓測,性能基本滿足業務要求,準備上線。
成果5:福建大資料中心建設啟動
l成果描述
在福建大資料平臺部署BC-Hadoop2.0;對福建公司和集成商新大陸進行了BC-Hadoop2.0的培訓;對大資料平臺的配置進行檢查和調優;支援大資料平臺上線前的測試。
l成果具體產出
培訓材料
成果落地和結合一線情況
目前大資料平臺共部署了24個節點, 154TB可用空間,用於上網日誌處理。
成果6:大雲BCH開源社區啟動
l成果描述
啟動大雲BCHadoop開源社區,針對中國移動IT系統對Hadoop的需求,以開源社區模式定制化開發BCHadoop,聯合亞信聯創、華為的Hadoop開發者形成BCHadoop開源社區的核心成員,開展億陽、斯特奇、新大陸 、北郵、東北大學、中科院計算所等商業及高校作為使用者,協作推進BCHadoop。
l成果具體產出
BCHadoop社區:包括成員、BCHadoop發佈主頁,BCHadoop協作空間、制定BCHadoop基線版本等
l成果落地和結合一線情況
在多個省公司以開源模式推進BCHadoop的落地,包括安徽大資料平臺、福建大資料平臺以及遼寧、河北、江蘇等。
成果7:公有雲試商用啟動集成
l成果描述
中國移動公眾服務雲平臺採用大彈性計算系統BC-EC和物件存儲系統BC-Onest作為基礎能力,提供雲主機和雲存儲業務。 針對公眾服務雲在2013年底試商用上線的需求,BC-EC和BC-Onest專案針對現網的需求進行持續開發,BC-EC新增虛機遷移,線上備份,高可用和IP統一管理等約20項新功能,完成了系統高可用,性能優化,運維工具, 監控告警等16項新功能開發,並全力支援現網的升級改造。 BC-oNest對依賴的底層ZK/Hadoop/HBase進行升級,採用具有HA功能的版本;對oNest自身元件進行升級,提高自身元件服務可用性。 新增關鍵進程監控和告警需求,邏輯機架分佈等需求,加強系統運維能力。 新增Windows用戶端軟體,優化業務使用門戶需求,提升使用者體驗。
l成果具體產出
BC-EC2.5 軟體產品及開發和升級文檔, BC-Onest軟體產品及開發和升級文檔等
l成果落地和結合一線情況
完成了公眾服務雲試商用的升級,並提供持續的三線支援。