解決20%的大資料問題

標籤：中興通訊   大資料   dap   平台   行業   定製   

一個採用模組化設計的大資料平台可以解決80%的大資料問題，而解決另外20%的問題就要靠大資料平台廠商結合行業客戶的特殊需求進行定製化開發。中興通訊DAP 2.0大資料平台就具備了這方面的能力，能夠為行業客戶帶來實實在在的價值。

　　大資料的本質在於，可以提升人類活動的準確性，減少傳統方式下的試錯成本，從而提升社會的整體效率。比如，現在熱門的精準營銷就是通過大資料提高廣告的準確性，減少對無效客戶的推送，以提高資訊傳播的效率。中興通訊股份有限公司(以下簡稱中興通訊)中心研究院副總裁陳堅表示：“歸根結底，大資料通過提高人類活動的準確性來提高整個社會的生產效率。”

　　平台化、模組化架構更靈活

　　中興通訊在大資料方面已經進行了多年研究，其研發的DAP大資料平台在電信、金融、智慧城市、公安等行業廣受使用者好評。在近日舉行的第四屆大資料世界論壇(BDWF 2014)上，中興通訊的大資料平台DAP 2.0榮獲了“最佳大資料平台管理方案獎”。

　　中興通訊中心研究院總工王德政將DAP 2.0的特點歸納成三個方面。

　　第一，DAP 2.0採用貨架式架構和企業匯流排ESB技術，可以靈活地對各個組件模組進行裁剪和拼裝，以滿足整合與被整合的要求。當前，各個行業已有大量的生產系統線上運行，完全重構這些系統無論是從經濟成本還是時間成本上來衡量都是使用者無法承受的。因此，大資料系統必然要同時承擔整合與被整合兩種角色，即大資料系統既可以作為原有生產系統的一個子系統被整合，也可以作為主系統去整合原有的生產系統。DAP 2.0的貨架式架構可以靈活適應各類整合與被整合的應用情境，在不影響生產系統穩定性的前提下，與原有生產系統無縫整合。

　　第二，在資料分析和挖掘層面，DAP 2.0具有智慧產生的特徵，可以提高企業活動的準確性。大資料系統是否具有智慧，從而替代人類專家，將是區分大資料系統與傳統IT系統的關鍵特徵。一個無法產生智慧的系統，無論資料量有多大，充其量也就是一個大型的傳統IT系統，而不是大資料系統。DAP 2.0通過有針對性的挖掘演算法改進，可以提出超越人類專家經驗與直覺的智慧建議，從而提升人類活動的準確性，提高社會生產力。

　　第三，DAP 2.0具備平台的特性。DAP 2.0作為中興通訊公司級的大資料平台，聚焦於資料的儲存、處理時效和挖掘演算法，為上層應用破解大資料應用的技術痛點與障礙，並可根據上層應用的需求，快速進行定製開發，在很短的時間周期內，以更低的研發成本推出新的大資料應用。未來，DAP 2.0還將向第三方開放，以支撐第三方的大資料業務開發。

　　現在市場上有許多巨量資料產品，其中很多是開源軟體。因此有人認為，只要下載一個大資料開源軟體，自己編譯一下就可以用，無需開發專用的大資料平台軟體。“其實，對大資料的初始認知與大資料的工程實踐之間有很大差距。大資料處理看上去似乎很容易，但如果涉及幾百台裝置的大資料真實環境，並不是每個企業都有能力自己完成大資料項目的實施。”陳堅告訴記者，“將相關的開源軟體、商用軟體和自己開發的軟體進行整合，特別是實現統一、高效的管理是對大資料廠商的一個最基本要求。另外，大資料平台還要根據不同行業客戶的需求進行專門的最佳化和改進，這也要求大資料廠商具備極強的技術能力。中興通訊在大資料方面投入了大量人力和物力，不僅可以實現對相關軟硬體的整合，而且可以針對不同行業的需求對大資料平台進行最佳化。”

　　王德政補充說：“DAP 2.0從技術架構上保證了大資料項目實施的可靠、穩定和高效。比如，DAP 2.0採用模組化的架構，改動其中任意一個模組並不會影響整個系統的功能和穩定性。另外，我們可以針對不同行業的具體需求進行大資料平台的定製，而這個具有行業特徵的大資料平台一旦在某個行業的一個使用者中成功實施，就可以在整個行業中複製和推廣。”

　　大資料平台有明顯的行業特性。一個通用的大資料平台並不能被行業使用者直接採用，而是要根據行業需求進行建模和演算法最佳化，才能發揮其應有的作用。打個比方，如果一個通用的大資料平台能夠滿足客戶80%的需求，那麼另外20%的工作就是要結合客戶的具體需求進行二次開發和最佳化。

　　大資料平台水到渠成

　　大資料處理技術，特別是雲端儲存與雲端運算技術的成熟與廣泛應用，為大資料的儲存與處理提供了技術可能性。企業可以利用生產系統和管理系統中產生的大量資料，對自己的生產活動進行更為準確的預測與指導，從而提高企業生產活動的準確性。另一方面，企業還可以通過對資料價值的挖掘，創造出更多新型業務。

　　電信行業是大資料應用最典型的一個行業。比如，電信電訊廠商可以通過智能終端採集的大量資料瞭解網路啟動並執行狀況或判別網路故障，以便及時進行最佳化，從而改善客戶的應用體驗。智慧城市是另一個大資料應用的典型情境。智慧城市的其中一個職能就是將海量資料收集上來，以改進城市基礎設施，方便百姓生活。陳堅表示，大資料就是將以前只有少數專家才做的資料分析和挖掘，通過建模和演算法更加高效、方便地實現，讓廣大消費者受益。

　　中興通訊作為電信領域的專家，可以針對電信大資料進行專家級的建模。中興通訊的大資料平台DAP 2.0可以利用雲端儲存與雲端運算等技術，對海量的資料進行儲存、挖掘和分析，以協助企業充分挖掘資料的價值。

　　陳堅表示，中興通訊進入大資料領域其實是水到渠成的事。10多年前，中興通訊做網管軟體其實就是在進行大資料的處理。之後，中興通訊開始了對雲端運算、雲端儲存技術的研究，並將不同時期的相關技術進行整合，包括Hadoop、即時分析技術等，才逐漸形成了今日的DAP大資料平台。另外，DAP還融入了中興通訊對開源軟體的深刻理解，同時包含了中興通訊在工程實施方面的多年實踐經驗。因此，陳堅認為，中興通訊的大資料平台是一個技術的集大成者，也是技術自然演化的產物。

　　雖然中興通訊大資料平台的產生與中興通訊在電信領域的技術積累和實踐經驗密不可分，但是陳堅明確表示，DAP大資料平台是一個通用的組件化的產品，各個層次與模組之間是松耦合的關係，能夠廣泛應用於不同的行業和應用情境。

　　一個標準化的大資料系統，通常包括三個層次：最底層是資料擷取層，中介層是資料存放區、加工和挖掘層，最上層是資料建模與應用程式層。對於大資料平台來說，其聚焦點是資料存放區和分析挖掘，而對於大資料應用來說，其聚焦點是資料擷取與建模應用。談到DAP大資料平台未來的發展方向，陳堅概括說：“我們的重點將放在計算、儲存、分析和挖掘領域，目標是讓資料採礦更容易，分析更方便。另外，在資料擷取層，我們希望實現更有效資料接入，讓資料的交換和共用更容易。在應用程式層，我們的策略是開放介面，與行業使用者一起建模，以便更好地挖掘行業資料。”

　　降低大資料的應用門檻

　　雲端運算從概念的炒作到應用落地，中間經過了幾年時間。與雲端運算需要尋找適合的應用切入點和商業模式不同，大資料的概念從提出到轉化為應用的速度非常快。這是因為，資料處理和挖掘是行業使用者的必然需求，而以前只是因為工具的限制，抑制了行業使用者的需求。隨著大資料技術的成熟和工具的豐富，行業使用者的大資料需求一下子爆發出來。陳堅也認同此觀點：“大資料平台可以提升資料處理和挖掘的效率，為使用者帶來實實在在的價值，最典型的例子就是精準營銷。資料擁有者本來就具有大資料處理的衝動，這在智慧城市、公安等領域表現得十分明顯。”

　　目前國內外的電信電訊廠商，還有金融、智慧城市、公安等行業的客戶都已經部署了中興通訊的大資料平台。陳堅舉了一個電信行業的大資料案例。當客戶對電信運營的服務品質不滿意時，往往只有少數使用者會撥打客服電話投訴。而這些不滿意的客戶，很可能會在自己的親友中傳播大量的負面情緒。電信電訊廠商如果通過客服系統主動、大面積撒網去消除這種負面影響，需要付出高昂的代價。而通過收集電信系統中的過程信令資料，加以分析和挖掘，就可以發現客戶體驗最差的客戶群，並對這些特定客戶進行主動關懷，從而提高關懷行為的準確性，以較低的代價，主動***影響。

　　中興通訊除了可以提供大資料平台軟體以外，還提供方便中小企業使用者使用的易擴充的大資料一體化解決方案。王德政表示，大資料的落地要考慮兩方面因素：一是技術可行性，二是經濟可行性。從目前情況看，與大資料相關的技術問題已經基本解決，而降低大資料應用的門檻，讓大資料真正給客戶帶來商業價值是行業客戶在部署大資料時要著重考慮的問題。

本文出自 “郭濤的儲存世界” 部落格，請務必保留此出處http://gtstorageworld.blog.51cto.com/908359/1535638