2013年,大資料在中國異常火爆,有人認為2013年是中國的大資料元年,結合自己的學習和瞭解,談幾點心得。
一、大資料應用的分類和實例
目前業界對大資料的描述五花八門,但其實大資料應用主要分為兩大類:一類是通過大資料來治理國家,這方面宣導的主要以學者塗子沛為主流;另一類就是大資料商業應用,提高商業效益和價值。
塗子沛先生先後寫了兩本書《大資料》、《資料之顛》;這兩本書在國內的政商界引起過較大的反響。 但看完他的書,通篇講的是美國的資訊開放、美國採用資料治理國家的過程及感想。 結合他的這兩本,以及本人近期看的《藍血十傑》中的案例,簡要說明一下大資料治國的案例。
美國是大資料治國做得最好的,其最早的應用就是人口普查,為什麼要進行人口普查呢? 主要是為了分配參議院的權利席位,每10年開展一次全國人口普查,然後對各州的參議院席位按人口比例進行分配;後來由於農業、工業生產的需要,逐步將普查擴展到農業、工業等多個領域。
美國是一個發現問題後很善於解決問題的國家,二戰剛開始時,前線作戰指揮官連戰爭中死亡和殺敵的資料都無法精准掌握,後勤補給更是一團亂麻,於是就有藍血十傑之一的桑頓牽頭,通過哈佛商學院定制培養,組建5000多人的統計管制處, 這個部門其實就是用大資料的方法,對美國空軍的各種飛機、備件、彈藥武器等進行統計分析,並精准的投放到前線,有力的保障了前線的作戰;深層次的就是精准分析那種飛機的作戰性能,得出B17比B19更適合轟炸日本,為作戰提供參謀, 其實他們應用的就是今天所說的大資料。
還有一個案例就是911發生後,小布希緊急問周邊的人員世貿大廈裡面有多少人上班,死亡多少人,周邊沒有一個人能精准說出來,有人說13000多,有人說 3000多。 911後,美國政府就建立了一個資訊系統,這個系統能精准統計每個企業辦公位址,企業的人員分佈,每個住宅樓的家庭人數,這個系統後來為人口流動能提供依據,如果再次發生911,美國就能知道哪個大樓裡面大致有多少人在辦公, 晚上哪個住宅發生火災,那個樓裡面大致住著多少人,這個系統通過對人員的流動還能預測經濟運行健康情況等。
在大資料商業開發應用方面,目前主導的很多企業都在開展這些工作,特別是互聯網公司走在行業的前列,如Google的無人駕駛汽車,Google、Baidu、Taobao等開展精准行銷、還有沃爾瑪的尿布與啤酒的故事, 淘寶對經濟危機的提前預測、Goole對流行病的提前預測等。 這些都是基於海量資料等歸納統計分析的結果。
二、大資料應該也必將走下神壇
大資料概念被吵得很熱,很多人覺得很神秘,很高深,甚至有專家呼籲國家層面加大產業的投入,不能讓大資料的技術落後,其實我倒是覺得大資料沒有那麼神秘高深,它必將走下神壇。
我認為,大資料是以「化石能源」為基礎的這波工業經濟發展到頂峰之後,人口紅利已到盡頭,靠規模取勝的時代已去,其他手段都難以大幅提升效益的情況下,通過精細化、精准化的資料分析做精做細就成了產業發展的必然。
任何事物發展都是倒置的抛物線,當整個全球經濟、一個國家、一個產業處在爆發增長階段,靠規模效應就能獲得好的收益,就像20~10年前通信行業一樣,發展一個使用者就100%贈錢,誰會提精細化運作、流量經營。 只有當使用者發展遇到天花板、競爭異常激烈之後,大家才發現,粗暴式發展不行了,就需要經營出效益,就需要精細化。
當前的國際、國內無論是治國、還是工農商經濟發展都遇到了瓶頸,各行各業大量的產能過剩,靠提高產量發展獲得經濟收益的時代一去不返了,所以一些經濟學家提出了大資料。
大資料說白了,就是對過去的大量資料進行精准分析,歸納統計,精耕細作,他是改變過去那種粗獷的發展模式,向精細化要效益。 所以它壓根就不神秘,不高端,只是一個思維和行動方式的轉變。
基於這種考慮,國家與其給錢扶持,不如給政策扶持,可以學習美國奧巴馬政府,完善立法,如頒佈《資訊公開法》,引導國家機器、企業、個人強化精細化的意識,完善資料獲取、共用、開放、應用的產業環境。
三、大資料是一個細緻的技術活
基於上面我的分析,大資料是其他手段都用盡,而採用的從內部要效益的技術活,所以大資料還真是一個難度很高的技術活。
這個就好比一個學生,從60分努力提升到90分相對比較容易,而從90分提高到100分就是很難的活了。
而大資料就是一個從90分提高到100分的活,大家要想到,當前國際產業屆,從60分提到90分的事情大家都想完了,早就幹了。
這就好比,汽車行業,其實燒汽油讓熱能轉化成動能讓汽車跑起來這活,能量轉化效益已提高到極致了,誰都難以找到一個好的辦法將能量轉化效益再提高10%,除非進行能源革新,在汽油這事上可能性不大了。 所以從節省能源的角度就有人提出無人駕駛,智慧控制,減少因為人的原因造成的能源損失,當然節省能源只是無人駕駛汽車目的的一個方面。
四、大資料將應用到各行各業
當今社會,國家的競爭最主要的是經濟實力的競爭,所以將治國和經濟生活的界線其實很難劃分的,治國也是為了經濟服務,特別是目前國內的環境,我覺得中國的大資料可能最先在商業領域應用,然後倒逼應用到國家的治理之中,將來, 我們的衣食住行都離不開大資料,因為當社會解決了生產力與人民需要之間的矛盾,國家發展到一定富裕階段,人們的物質文化生活需要得到極大滿足之後,靠人口紅利的粗獷式發展模式必將轉變,這就是政府提出的產業轉型, 其實轉變的方式就是各行各業做精、做深、做細,因此所謂的大資料的思維模式必將在我們的農、工、商各行各業應用。
農業:國家現在的食物生產完全是粗獷式的,豬肉、蔥、姜暴漲暴跌,如果應用大資料,這些問題將大幅減少,政府可以將全國、各個地區的各種食材需求、消費、生產、流通建立資料庫,公開上網,可以精准指導各個地區的生產、調配、消費。 這個事美國政府早就幹了,可喜的國內生豬養殖已開始這麼做了,所以近幾年豬肉沒有像以前那樣暴漲暴跌了。
工業:現在國內的各行各業生產過剩,鋼筋、水泥等都過剩,溫氏內閣不是通過抑制產能,而且通過擴大應用消耗來救市。 如果應用大資料,其實可以將各個地區的鋼筋、水泥需求量化的,將這些資訊公開就可以很好的指導工業生產了。 美國其實也是這麼幹的。
商業:這方面的例子就更多了,最典型的就是電商的崛起對電腦城、家電連鎖、傳統商場、超市的衝擊了。 現在去電腦城,那個蕭條簡直讓人無法相信。 這些商業資訊的公開,其實是有利於政府對商圈的規劃、商業機構的招商、資金資源的最優流動和配置。
五、大資料將帶來幾個行業快速發展
首先是IDC行業的發展,目前中國的資料總量是250PB,而歐洲是4000PB、美國是3500PB。 而且未來隨著移動互聯網、物聯網、車聯網、各種感應器的應用,資料獲取存儲處理的需求空間十分巨大。
其次是帶來資料採礦領域的崛起,有人嘲笑「現在有一台伺服器就叫大資料」,其實這種以資料規模來衡量大資料是片面的,未來的大資料將應用在各行各業,比方說全國的不動產統計系統可能就很龐大,而未來針對個人的健康監控系統規模就很小, 將來每個人可以將自己每天的吃喝拉撒睡資料進行統計分析,即時監控個人的健康情況,這個也是大資料啊。
再就是與資料相關的各種智慧:如人工智慧、無人駕駛、智慧城市等,這些東西就是通過資料處理、分析、應用來替代人工,提高行業效益。
六、仍重道遠、且行且珍惜
奧巴馬政府對大資料異常重視,將其定位為國家戰略,從立法、政策制定、組織匹配、產業扶持等各個方面推動大資料的應用。
而我國政界目前仍是「雷聲大、雨點小」,可喜的是這屆政府比較開明,有幾個可喜的事件:1、今年三月習總帶隊七常委考察中關村,重點聽取李彥宏、雷軍講解大資料;2、主管工業的汪洋副總理多次提到大資料,其在廣東主政期間, 大力推動政務公開;3、北京市政府已開始開放部分資料資訊,開資訊開放先河。
當然國內的環境還很不健全,主要是法律、政策等方面很不健全,民間出現信任危機,導致資訊公開、共用、合作的氣氛不健全。
最後用兩句流行的話做結語:「前途是光明的,道路是曲折的」,「且行且珍惜! 」