大資料：電信行業的戰略方向

隨著IT和通信技術全面融入社會生活，每天產生的海量資料中蘊藏了巨大價值，資料正在成為企業的戰略資產。 從海量資料中獲得新的認知、方法，從而創造新的價值，是各行業，尤其是電信行業的戰略方向之一。

電信運營商有望成為大資料領航者

大資料給我們的第一個感覺就是大，那麼大資料到底有多大呢？ 一組名為「互聯網上的一天」的資料可以給我們一些參考。

一天之中，互聯網產生的全部內容可以刻滿1.68億張DVD；發出的郵件有2940億封（相當於美國兩年的紙質信件數量）；發出的博客帖達200萬個（相當於《時代》雜誌770年的文字量） ；賣出的手機為37.8萬台，高於全球每天出生的嬰兒數量37.1萬...... 並且這些數位還在不斷上漲。

截至2012年，資料量已經從TB（1024GB=1TB）級別躍升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB（1024EB=1ZB）級別。 國際資料公司（IDC）的研究結果表明，2008年全球產生的資料量為0.49ZB，2009年的資料量為0.8ZB，2010年增長為1.2ZB，2011年的數量更是高達1.82ZB，相當於全球每人產生200GB以上的資料。 而到2012年為止，人類生產的所有印刷材料的資料量是200PB，全人類歷史上說過的所有話的資料量大約是5EB。 IBM的研究稱，整個人類文明所獲得的全部資料中，有90%是過去兩年內產生的。 而到了2020年，全世界所產生的資料規模將達到今天的44倍。

那麼大資料只意味著大麼？ 不，它更意味著，水面下的冰山即將露出水面。 目前資料中蘊藏的價值金山已受到廣泛關注。 2012年3月美國奧巴馬政府宣佈投資2億美元啟動「大資料研究和發展計畫」，將發展大資料上升為國家意志，對未來的科技與經濟發展必將帶來深遠影響。

那麼究竟何為大資料呢？ 廣義上講，大資料是指那些超過傳統資料庫系統處理能力的海量資料，它的資料規模和傳送速率要求很高，或者其結構不適合原本的資料庫系統。 確切的講，大資料具備四大特徵，即資料量大（Volume）、資料種類多樣（Variety）、即時性強（Velocity）以及其蘊藏的商業價值大（Value）。

既然大資料有著如此大的價值誘惑，那麼他能夠使得眾多「英雄」競折腰也不足為奇了。 目前開展大資料價值挖掘技術的「英雄」包括電信運營商、互聯網廠商、金融企業等等。 在眾多英雄中，因為互聯網廠商的大投入，使得他們在大資料領域已經佔據了較為領先的位置。 但是，運營商因為擁有電信網路中最全和最完整的資料，而一躍成為開展大資料跨行業應用最有力的競爭者。 今後，隨著運營商的持續大力投入，他必將成為這個領域的領航者。

運營商網路中的資料大致有如下一些類型：各類終端的型號資料、使用者位置資料、互聯網業務資料、使用者基本屬性資料和使用者消費資料。

中興通訊認為，大資料將成為各行業，尤其是電信行業的戰略發展方向。

對電信行業，當前同質化競爭嚴重，有強烈願望尋找經營藍海。 由於網路管道化促使企業升級和轉型其盈利模式，通過本身擁有的海量核心資源——網路資料，進行分析利用，從而提高運營水準、找到創新點，是運營商的出路之一。

對政企行業而言，隨著日益社會化的資訊交互，企業使用者有更多的選擇餘地，留住使用者變得更困難。 企業需要通過經營資料深入研究消費群體，持續改善產品和服務體驗，才能生存發展。 而資訊化水準的提高，也使得產品、服務更快地被競爭對手模仿學習。 總體上，資訊化推動了市場競爭，企業必須通過有效利用資料的潛在價值，才能生存和持續發展。

作為資深的電信領域方案和產品供應商，中興通訊認為，電信行業發展大資料的立足點在於最有價值的位置、語音、網路流量、視頻大資料的處理、分析和挖掘，在四個層次上支撐企業更高水準的運營和創新。 一是大資料的收集預處理（ETL、雲存儲）；二是資料資訊化（統計、檢索、查詢）；三是深度分析挖掘（使用者分群、行為分析）；四是預測（產品、資費、使用者的趨勢）。

在政企領域，基於運營資料（大企業話務中心資料、零售業店鋪資訊、交通路況資訊、政府部門資料等）自身的收集處理、分析挖掘，並可以結合電信行業資料（手機使用者位置等），能夠通過對大資料的分析利用，直接支撐和推動政企運營水準的提高。

創新技術是大資料發展的基石

要想實現對大資料的價值挖掘，大資料技術無疑是基石及助推器。 而在大資料技術發展的整個過程中，分散式運算的精髓被體現得淋漓盡致，其中Apache的Hadoop分散式開源架構是大資料的助推器，為包括IBM、阿裡巴巴及中興通訊在內的眾多大資料公司所採用.

大資料採礦的邏輯流程如圖所示。 在不同的應用過程和領域依託于不同的技術。

中興通訊大資料價值挖掘技術邏輯圖

中興通訊的資料採礦技術可以分為三個階段、八個環節。 其中從資料獲取和存儲以及檢索彙聚是資料的預處理階段；資料處理、分析、挖掘和模型預測為資料採礦階段；最後為結果輸出階段。

在資料預處理階段，中興通訊使用ETL工具，負責將分佈的、異構資料來源中的資料如關係資料、平面資料檔案等抽取到臨時中介層後進行清洗、轉換、集成，最後載入到資料倉儲或資料集市中，成為線上分析處理、資料採礦的基礎。

資料採礦階段為整個過程最為關鍵的階段，中興通訊採用CEP（複雜資料處理）和MapReduce等技術，其中CEP將資料流程抽象為事件序列，使上層應用能夠即時掌握運行狀況並採取行動。

最後是輸出呈現階段，目的是是更加智慧、簡便及順暢的呈現資料採礦的各種成果。 中興通訊採用的技術有雲計算、標籤雲、關係圖等。

整個過程中，大資料涉及到的技術繁多，同時也日新月異，技術總在不斷地演進。 中興通訊作為通信行業中的標兵，一直致力於大資料技術的研發工作，為大資料整體技術的演進起到了推動作用。 在大資料的的演進中，中興通訊認為以下趨勢會日趨明顯：

在資料存儲和管理上，高效存儲成為存儲技術主要的研究方向，關係資料庫和分散式資料管理方式逐步走向融合。

大規模資料處理分析需求的多樣性，導致離線批次處理、即時流處理、分散式記憶體計算、圖計算框架等多種計算框架並存。 需要靈活採用混搭架構滿足應用需求。 同時，多模式計算框架走向融合。

對自然語言理解的需求推動語義WEB技術發展，跨媒體的資料融合業務推動多維多模態資訊融合與處理，大資料視覺化成為快速理解大資料的最佳途徑。

電信智慧資料應用沿「MSS至BSS至OSS至電信網元」路徑發展深入，應用場景大大豐富，同時不同領域的資料存在交叉融合。

大資料平臺技術更能直觀地體現大資料採礦技術的組成。 大資料平臺是介於資料整合和應用之間的，具備資料預處理、處理、分析挖掘以及對外介面共用等功能。 其中資料處理包括了即時流處理（CEP技術）和離線批次處理（包含了Hadoop的檔案系統HDFS和資料處理MapReduce等關鍵技術）。 在資料採礦中，中興通訊針對各種應用開發出了不同的元件，包括人流分析元件、使用者行為分析元件等。 這些元件的開發，充分體現了中興通訊致力於大資料的實際應用開發的智慧和能力。

HadoopMapReduce是離線批次處理中的主流技術，Hadoop發展過程中一個重大的變化就是引入了YARN，將MapRedcue中的資源管理調度剝離出來，為多計算架構融合打下基礎。 Hadoop的開源促進了大計算技術快速的應用，但是開源系統的不完善也是實際使用過程中需要解決的問題。 中興通訊在高可用性、性能優化、管理優化等方面做了大量的工作。

即時流處理CEP採用事件觸發機制，對於輸入的事件在記憶體中及時處理。 CEP支援規則以滿足靈活的事件處理要求。 CEP採用分散式記憶體資料庫、消息匯流排等機制來實現快速即時回應。

大資料應用正逐漸豐富成熟

大資料業務應用呈個人化、社交化、智慧化的趨勢，人機交互的需求推動智慧問答發展和應用。

大資料的應用已廣泛深入我們生活的方方面面，涵蓋通信、醫療、能源、經濟、交通、零售業等各種行業：

SetonHealthcare是採用IBM最新沃森技術醫療保健內容分析預測的首個客戶，該技術允許企業找到大量病人相關的臨床醫療資訊，通過大資料處理，更好地分析病人的資訊。

維斯塔斯風力系統，依靠的是BigInsights軟體和IBM超級電腦，然後對氣象資料進行分析，找出安裝風力渦輪機和整個風電場最佳的地點。 利用大資料，以往需要數周的分析工作，現在僅需要不足1小時便可完成。

NTTdocomo把手機位置資訊和互聯網上的資訊結合起來，為顧客提供附近的餐飲店資訊，接近末班車時間時，提供末班車資訊服務。

零售企業也監控客戶的店內走動情況以及與商品的互動。 它們將這些資料與交易記錄相結合來展開分析，從而在銷售哪些商品、如何擺放貨品以及何時調整售價上給出意見，此類方法已經説明某領先零售企業減少了17%的存貨，同時在保持市場份額的前提下，增加了高獲利率自有品牌商品的比例。

而對於我們特別關注的通信市場來說，運營商在大資料上的應用主要體現在如下四個層面。

在市場層面，運營商可以利用大資料為自身的產品服務，通過大資料分析使用者行為，改進產品設計，並通過使用者偏好分析，及時、準確地進行業務推薦，強化客戶關懷，這樣就可以不斷改善使用者體驗，增加使用者的資訊消費以及對運營商的黏度；

在網路層面，可以通過大資料分析網路的流量、流向變化趨勢，及時調整資源配置，同時還可以分析網路日誌，進行全網路優化，不斷提升網路品質和網路利用率；

在企業經營層面，可以通過業務、資源、財務等各類資料的綜合分析，快速準確地確定公司的經營管理和市場競爭策略；

在業務創新層面，可以在確保使用者隱私不被侵犯的前提下，對資料進行深度加工，對外提供資訊服務，為企業創造新的價值。 這樣，大資料將助運營商實現從網路服務提供者，向資訊服務提供者的轉變。

總之，運營商正在尋求對自有資料最大化的價值變現，提高運維效率，降低運維成本，提升使用者關懷品質；提升運營能力，開拓業務市場，加速ICT融合。

作為大資料技術的引領者，中興通訊主要基於運營商資料和行業資料，在大資料的應用開發上橫跨了電信、金融、交通、互聯網等行業，開發出了一整套業界領先的大資料應用。

以商鋪選址為例，融合使用者位置資料和使用者畫像的商鋪選址，克服了傳統人工選址的局限，説明商業使用者以低成本快速、精准選址，實現運營商增值業務和商業客戶的深度捆綁，提升價值客戶黏性。

又如將大資料應用於客流分析，即時採集使用者位置信令資料，動態呈現區域客流密度和人群流動軌跡、發現和預測人群活動規律，滿足市政部門道路交通規劃和應急安全管控等需求。

還有智慧運營應用，基於大資料的新型網規網優解決方案以精細化運營為導向，以客戶體驗提升為目標，以網規網優性能指標量化、科學評估預測和精准資源投放為抓手，通過引入新型的資料來源和採用基於大資料的海量資料處理方式， 為網路建設規劃和優化提供有力的支撐和保障。