如果真像知名風投家馬克?安德里森所說的那樣,軟體正在吞噬世界,那麼大資料就應該是在拯救世界,對吧?
近兩年來,「大資料」這個詞已然濫殤于報端。 它一般代指用來分析令常規工具望洋興嘆的海量資料的一系列技術。 「大資料」的火爆令許多高管不禁躊躇自己的公司是否也要來上這麼一套東西。 這種現象從很多方面看很像上個世紀60年代——當年仍處於繈褓階段的電腦雖然異常昂貴,但它所具有的未來主義色彩仍令眾多大企業心折不已,遂紛紛把它看成一種有利於競爭的工具。 那麼現在的企業面對大資料浪潮該何去何從? 是該害怕它,還是勇敢地擁抱它? 另外,究竟誰才真正需要這個東西?
為了透過熱鬧看門道,《財富》雜誌將電話打到了高拉夫?迪隆在加州聖馬特奧市的辦公室。 如果你覺得迪隆這個名字很耳熟,那是因為迪隆曾擔任過Informatica公司的創始人兼首席執行官。 Informatica公司的總部位於加州的紅杉市,市值將近40億美金,主要業務是替大企業管理資料庫。
迪隆于2009年就任資料整合公司SnapLogic的首席執行官。 他認為大資料對於大企業來說蘊含著豐富的商機——但僅限於某些行業。 他把這種情形稱為大資料應用的「啞鈴」現象。 以下是這次電話專訪的文字記錄,為清晰起見進行了部分編輯和精簡。
《財富》:去年可能再沒有比「大資料」更火的詞了,幾乎到處都能看到這個詞——比如在科技峰會的主題演講裡,在各種簡介材料和展板裡,在關於各種行業的新聞文章裡...... 大家都覺得自己需要搞大資料。 不過,大資料是個非常專門的計算技術的類型,是吧? 還是說,它只是個噱頭?
迪隆:我在資訊技術行業從業22年,也有一些自己的觀點。 2002年的時候,我用「資訊海嘯」一詞來描述它。 現在我們又有了一個新名詞。
我認為現在需要管理的資料量的確越來越大了。 這個行業最初發端于上個世紀,而且是在互聯網發明以前,起初是要處理零售業的條碼和UPC代碼資料。 對這些資料的早期分析孕育了後來的資料存儲行業。 後來這個行業帶動了市場決策、定價決策、零售預測等等方面。
大資料的火爆趨勢還會繼續下去,不會突然發生轉變。 一位科學家曾說過:「科學每一次都提前埋葬了一點過去。 」所以我認為我們還能夠繼續享受利用資料進行決策,以及利用大資料進行更合理的決策所帶來的效益。
我們需要處理的資料的確「變大了」。 當然,我家車庫裡也比十年前裝了更多的東西,隨著時間的推移,大家的東西都會越來越多。
但是有意思的是,大資料具有資料科學的元素,我認為這是比較重要的一點。 首先它從大資料中擷取出小資料,然後在小資料中尋找信號,來理解我們下一步該做什麼——比如誰將贏得大選? 氣候和語言之間有什麼相關性? 也就是我們現在能做一些靠上個世紀的運算能力沒法處理的事。 而且現在Hadoop和其它一些工具已經讓大資料走向大眾化。 所以,現在大資料計算的價格和性能都發生了根本的變化。
在有些案例中,大資料的效益很明顯;在其他一些案例中,大資料的作用被誇大了,它的效益可能不會那麼明顯。 隨著許多東西的電子化程度越來越高——比如超市、橋樑、汽車、公路等,大家有了它們的感應器資料,就會獲得大量的資訊。 但更多的資料並不會讓人變得更聰明,它只是意味著大家要花更多錢用來儲存這些資料。 正是這個方面會讓有些公司被甩出這個市場——也就是大資料的效益方面。
在有些領域,比如零售、定價、金融方面,大資料的效益很明顯。 但在有些行業裡,把錢投在大資料或是投在研發和市場上,哪個帶來的效益更多,答案並不明顯。 我不是要告訴你大資料是個萬靈丹,而是要告訴你管理這些資料...... 不同的人獲得的效益是不一樣的。
上周新更新的一集美劇《廣告狂人》(Mad Men)裡,那家名叫Sterling Cooper & Partners的廣告公司購買了一台新的IBM 360大型主機放在原來的一間會議室裡。 劇中的有些角色為了讓公司獲得競爭優勢而想買這台電腦;還有些人支援買這台電腦是因為他們把它看成未來的一種趨勢。 另外還有一些人擔心這台電腦會取代他們的工作。 這就是人們看待大資料的一般看法嗎?
對電腦的恐懼不僅僅是他們有。 剛畢業的大學生、2000年後畢業的人以及我的孩子(一個13歲、一個6歲)這一代人,他們並不害怕電腦——他們雖然可能不是搞程式設計的,但他們對科技上手很快,個個都是民間高手。 而《美國隊長2》(Captain America: The Winter Soldier)裡九頭蛇密謀顛覆世界的「洞察計畫」渲染的全是大資料的陰暗面。 實際上如今各大企業想的都是「我們不能落在後面」,所以紛紛在這個領域開展軍備競賽。 雖然社會上有人擔心大資料會導致「洞察計畫」這樣的陰謀成為現實,但企業界沒有這種擔憂。 不過在企業界裡也存在獲取了錯誤的資料或是沒能真正理解資料含義的問題——這和五六十年前的情況如出一轍。 在SnapLogic公司,我們現在就正在嘗試完成一下一些未完成的業務。 為什麼到了2014年它還是這麼難?
我感覺許多行業都在熱情擁抱大資料——比如製造業和金融服務業,因為人們已經有了熟練操作電腦的能力。 但是我覺得人們急著想要看到的是,大資料應用在他們的生活中會給他們帶來哪些好處。 他們對大資料還是比較關心的,而且他們確實只想享受大資料給他們帶來的好處。 這需要做大量的工作。 而現在的資料學家還是太少了,像Hadoop這樣的公司更是鳳毛麟角,你還得需要一個電腦科學專業的研究生來把這些東西建立起來。 大資料已經從根本上改變了資料儲存的單位比特成本,這是一個結構性的變化。
現在圍繞大資料已經能清晰地看到一個「啞鈴」態勢的形成。 服務業和資訊密集型產業等具有大量知識型員工的行業明顯會從大資料中獲得巨大的效益。 還有零售業、酒店業、股票交易...... 如果你有發現趨勢的能力,你就能發現你所在業務的分界點,然後採取相應措施。 如果你發現了如何利用市場中的某些事件隨勢而動,那麼你肯定可以把它轉化成現金。 這就是啞鈴的其中一端。
啞鈴的另一端是工業互聯網。 我覺得它特別特別的有趣。 通用電氣公司(GE)有一篇文章寫道,你不僅要能賣飛機引擎,還要賣飛機引擎的周邊價值。 所以要圍繞大資料激發一些行動。 比如對於通用電氣來說,就是對已經賣出去的引擎做預防性的維護。 這個理念對通用電氣、西門子(Siemens)以及其它任何一家製造企業都具有重大意義。 你可能認為大資料只是知識方面的一項業務,但是在工業方面,它也是一個非常有意思的「啞鈴」。
但對於其他行業來說...... 你能預測時尚行業的趨勢和流行的顏色嗎? 什麼元素可以讓一季時裝獲得成功? 或許大資料能做到。 另外一部好電影就是一部好電影,大資料本身造就不了一部好電影。 有時你只能一步一個腳印地創造一些東西。 一本好書,一部電影,只有到了上架上映的時候才知道好不好。 「啞鈴」理論看起來非常站得住腳。
那麼我們是否應該告訴有些企業:「大資料不適合你」?
我們應該搞清楚這個問題。 因為如果我們不搞清楚,大家會很不高興。 你不能讓一個問題半死不活地吊著,而是要徹底搞定一個問題。 很多人只想立刻上馬搞大資料,但是如果你不想投資到一個有效的水準——那需要一筆重大的投資——而只是蜻蜓點水地投一點錢,就指望收穫巨額回報,這種好事是不會發生的。 所以如果你今年沒有足夠的預算,那麼或許你應該等等,因為這種技術會越來越便宜。 所以不妨寬心安坐,最好用軟體即服務(SaaS)和雲應用給你的公司打氣,讓你的市場部門放手拼搏。
從根本上看,企業的高管就是投資者。 高管是做什麼的? 就像我們的投資人之一本?霍洛維茨說的那樣,他們做的不是事,而是決策。 沒什麼比一個半生不熟的大資料項目目更悲劇了。 這樣做只會讓你對大資料的真正效益產生反感和不信任。
大資料超市還有哪些可以進入的空白領域? 哪些領域或行業是大資料可以輕易征服、但目前仍然是完全敞開的?
所有這些變化正在把所謂的負空間(即相連事物之間的空間)變成戰場。 如果這些領域不互相交流的話,單是你自己花多少錢沒有意義。 但由於發生了巨大的變化,所以我們看到了很多的負空間。 比如人們正在關掉傳統的資料存儲倉庫,還有我們發現很多企業應用轉移到了雲端。 Salesforce是這樣做的,Workday做的也很好,另外還有API、物聯網、資料...... 大資料還處於發展的早期階段,但它很可能將成為有史以來最好的資訊來源。 你能有多少條碼? 大家肯定會在工業方面看到大資料的賺錢能力。
把負空間結合在一起是個大問題。 但它們目前仍然是一片空白。 我們還有很長的路要走。