一方面,以「大資料」為主題的研討會不斷召開,各類企業宣稱進軍大資料,另一方面,基於大資料的技術業務寥寥,一些簡單的嘗試都還沒有能實現大資料的技術。 那麼是誰在不斷歡迎著「大資料」時代?
從收益方來看,應用軟體企業尋找到了新的工具,而開發出來的初步應用也在被客戶接受,他們的價值逐步得到體現;而業務公司也開始出現龐大資料分析的需求,急需技術支援;最後是硬體公司,無論是伺服器還是存儲, 大資料都對硬體有更多的採購需求。
不過,大資料在中國遠沒有落地,而有著龐大新生資料的公司成為行業的嘗鮮者。
何為大資料
按照現在較為普遍的定義,大資料是誕生於各類終端中產生的龐大的分結構化資料,而擁有存儲、分析該資料的能力就是大資料技術。
根據IDC的定義,高容量、多樣化、持續性和高價值是大資料的四個特點,包括基礎架構、資料管理、分析挖掘和決策支援四個層面。
物聯網、雲計算、PC、平板電腦、感應器都是這些資料的來源。 如果說雲計算等佈局首先是滿足資料的收集,那大資料技術就等於是資料分析能力的升級。
這個最早從麥肯錫報告出現的詞彙變得非常熱門。 IDC預測,到2015年,全球大資料超市將達到170億美元規模。
大資料技術探索實例
中國聯通就在使用大資料技術。 據中國聯通研究院副院長黃文良介紹,聯通部署了一套Hadoop系統的大資料平臺,可以實現使用者查詢自己的3G流量使用方式。
隨著3G使用者的增加,智慧手機可能出現各類大流量,而使用者並不清楚自己的流量去處,存在很多投訴,聯通這個平臺就是統計3G流量清單的一個嘗試。
據他介紹,支援使用者查詢3G上網記錄需要大量的資料,而用傳統的資料庫無法滿足百億條資料的快速搜尋能力,這一套新的平臺就是研究院的一個嘗試。
該系統部署在北京,用了178台基於英特爾處理器的刀片伺服器,每台配了14TB的記憶體,加上Name節點,然後用Hadoop發行版本實現了對資料的管理。
該系統可以讓聯通使用者隨時查清每天的流量情況,包括使用位置、3G還是2G,起始時間等。
另一個開始用大資料技術的是國內安防類領頭企業海康威視。 海康威視副總裁兼CTO蔣海清介紹,目前全國在部署平安城市的應用,而城市視頻監控的記錄都是海量的存儲,而大資料平臺實現了智慧化監控。
據介紹,海康威視開發的城市智慧交通應用典型解決方案,一個城市為例,年過車資訊資料達到百億級,從資訊中提取車牌、車身顏色,就可以很快查出車牌、號碼、軌跡、違章等,而接下來的關聯分析就是基於大資料的基礎展開。
海康威視還在嘗試做面向公眾的視頻監控服務,出現報警情況就可以用手機通知業主,而平臺會判斷是否為誤判,這樣大基數資料的使用就需要新的技術。
另外還有北京億贊普這樣的企業,這家企業為全國各類實業企業提供工廠直接傳遞到使用者的資訊平臺,使廠商可以通過碎片化的資訊分析目標市場。
大資料並不是一個全新的技術,但從目前的嘗試來看,大資料技術還只是開始實現資料的存儲和管理,深入分析能力還達不到行業的預期。
IDC對大資料的十大預測
IDC對大資料未來的發展做出了十大預測,也代表了行業對大資料熱點的預期。
預測包括:一、走向商業化;二、部分早期的Hadoop專案面臨挑戰;三、開源軟體帶來機遇;四、大資料加劇軟體公司間的並購;五、針對大資料的Appliance市場迅速增長;六、大資料的網路資料處理走向企業級;七、 大資料催生更多市場區隔;八、打包的大資料行業分析應用出現;九、基礎架構向Scale Out發展;十、中國成全球最重要的大資料超市。
IDC預測,大資料發展最快的首先是軟體行業,而基於開源平臺的分析類應用軟體將快速發展。 有能找到合適的需求而很快做出預期性能的企業將出現並購能力。
IDC中國企業級系統與軟體研究部高級研究經理周震剛還認為,中國將成為全球最重要的大資料超市,而中國企業在其中有著巨大的發展機會。
全球性IT巨頭都開始關注大資料的機遇,IBM、微軟、英特爾、甲骨文等都在開發基於大資料需求的IT架構,而其中硬體供應商有更大的市場動力,因為大資料的應用都意味著更多的IT採購。
發展契機是應用本身的進步
雖然有巨頭的躍躍欲試,但真正符合大資料預期的仍是以應用為主。 微博和Facebook時代的到來可以說為大資料提供了最好的土壤。 對於一個商業公司,一個能基於社交網路龐大資訊庫的消費者偏好分析系統的吸引力遠大於一堆IT設備,而這樣的應用才是大資料真正的吸引力。
和基於經驗的傳統決策不同,大資料時代的決策可以提供統計理論上的依據,而之前的行業經驗也在被逐漸搬移到自己的大資料系統中。
英特爾軟體與服務事業部中國區總經理何京翔認為,電信運營商利用大資料技術對使用者的行為習慣進行分析,就能更有針對性地制訂市場行銷計畫或開發出更多全新的商業模式和服務 ;金融行業能借該技術更快速地分析在金融機構之間交換的行銷與交易資料,以確保交易的安全可靠和防欺詐;智慧城市及物聯網領域則可借大資料技術更快實現智慧交通監控、智慧公共安全、氣象和污染變化的智慧監控及預測等應用。
而這些應用對軟體企業意味著巨大的機遇。 因為它們都是行業應用或定制化應用,目前還沒有一個通用產品能實現這一切。 分析認為,隨著企業的投入,新的行業領先者將開始誕生。
(責任編輯:蒙遺善)