「世界的本質是資料「,大資料時代的預言家維克托·邁爾-舍恩伯格此話擲地有聲。 然而置身于在大資料的浩瀚海洋中,我們不得不承認這樣一個事實,人類的技術水準目前還沒有達到隨心所欲地處理一切資料的地步。
清華大學蘇州研究院大資料處理中心技術總監趙勇,同時也是聚雲浩海(蘇州)資訊科技有限公司的技術總監則直言,在資訊處理技術的步伐沒有跟上之前,每日都在激增的大資料帶來的是問題,而不是能夠產生價值的資源。 趙勇在他即將出版的新書《架構大資料-大資料技術解析 》中寫道:「傳統的資訊技術架構,已無法處理大資料問題,需要以現代雲計算的手段和技術來解決大資料問題。 」無可辯駁,大資料要為我所用,處理分析資料的需求也催生了一批創業公司,風投資本的青睞助推了其雨後春筍般的成長速度。
《證券日報》:為什麼說大資料的爆發是資訊發展過程中遇到的棘手問題? 大資料平臺的搭建又有什麼意義?
趙勇:資訊技術為人類步入智慧社會開啟了大門,帶動了互聯網、物聯網、電子商務、現代物流、網路金融等現代服務業發展,催生了車聯網、智慧電網、新能源、智慧交通、智慧城市、高端裝備製造等新興產業發展。 現代資訊技術正成為各行各業運營和發展的引擎。 但這個引擎正面臨著大資料這個巨大的考驗。 各種業務資料正以幾何級數的形式爆發,其格式、收集、儲存、檢索、分析、應用等諸多問題,不再能以傳統的資訊處理技術加以解決,對人類實現數位社會、網路社會和智慧社會帶來了極大的障礙。 在實踐中,一些地方政府和企事業單位一般會將採集到的資料選取一段時間內的或者異常的資料進行部分存儲,或者乾脆不存儲。
大資料爆發帶來的瓶頸需要以現代雲計算的手段和技術來解決。 雲計算與大資料是相輔相成、辨證統一的關係,雲計算、物聯網技術的廣泛應用是我們的願景,而大資料的爆發則是發展中遇到的棘手問題。 大資料技術的突破不僅能解決現實困難,同時也會促使雲計算、物聯網技術真正落地並深入推廣和應用。
由於雲計算並沒有真正落地,現在在各個行業、各個機構之間形成了很多資訊孤島。 國內有不少側重于大資料應用的公司,但是從事基礎層面的資料獲取、存儲、計算、分析和展示業務的公司較少,如果僅僅從應用層面來做的話,基礎資料很難實現互通互聯,這就需要一些平臺型的架構將資料關聯起來。 比如要建設智慧城市,就必須跨部門、跨行業進行資料共用交互,這就需要從大資料平臺和介面入手。 平臺搭建好之後,再選擇性地做應用。
《證券日報》:大資料時代資料的多維價值正在被逐步發現,整個市場的規模將會無法想像。
趙勇:是的,2012年被稱為大資料元年,今年大資料超市正處在井噴式發展階段,未來五年全球大資料超市價值將高達幾百億美元。 2012年初,大資料相關軟體、硬體和服務的收入總和只有約50億美元。 但隨著企業對大資料價值的認識和相關產品技術及應用模式的不斷成熟,大資料相關產業和服務將獲得長足發展,大資料將逐漸落地,並在未來幾年保持驚人的增長速度。 國內因為傳統的資訊手段和技術都迫切需要轉型升級,大資料超市實際上就是雲計算在各個領域和行業的應用市場,所以綜合市場規模在最近幾年將達千億元量級。
《證券日報》:國內外通過搭建資料平臺來發掘經濟價值的公司是怎樣的情況?
趙勇:國內此類的創業公司還正在起步,國外已經有一些運行良好的做資料服務業務的公司了。 比如位於西雅圖的BlueKai,它建立了一個資料管理平臺(DMP),用來説明使用者組織並分析資料,同時也建立了資料交換中心,連通資料需求的兩端。
《證券日報》:資本的嗅覺總是十分靈敏,一切能產生價值的地方總能看到資本的身影。 請簡要介紹一下國內外大資料領域的創業型公司及風險投資的動向?
趙勇:大資料概念的普及,也帶動了資本市場對大資料技術創業公司的高度關注,國外多家頂級風投和早期投資機構都對大資料行業青睞有加。
另一方面,大資料問題出來之後,國際互聯網行業巨頭得益于人財物的優勢,可以快速提供解決方案,但由於他們所運用的還是傳統產品,目前還沒有殺手鐧級別的新產品出來,也也給大資料創業公司提供了機會。 可以說從資料的採集、存儲、分析,直到最上層的資料展示,每一個層面都有可供大資料創業公司發掘的機會,也為資本提供了很好的投資標的。
例如,風投機構Accel Partners針對這一行業設立了一支總額高達1億美元的基金;大資料分析公司Splunk,在Nasdaq首日IPO即上漲109%;其他大資料軟體服務商如MapR、10Gen、 DataStax等近期都完成了千萬美元級的融資。
在國內,互聯網行業「去IOE」的呼聲漸高(IOE分別是IBM、Oracle、EMC,更確切地說是IBM小型機、Oracle資料庫與EMC存放裝置的組合,這三駕馬車構成了一個從軟體到硬體的完整商用資料庫系統), 很多大資料創業公司躍躍欲試,湧現了一批大資料分析、挖掘、展示、廣告方面的創業公司。 我們清華大資料處理中心在成立前期就是在四家感興趣的風投公司中選擇的一家,近期我們又在智慧教育、智慧旅遊、車聯網等方面發力,正在吸引新一輪融資。 以雲計算和大資料為引領的新一代資訊技術在各個領域都能帶來模式、內容、路徑方面的創新,會形成諸多新興市場的藍海。 (www.ccstock.cn)