大資料自動挖掘”才是現在這些大資料的真正意義

來源:互聯網
上載者:User

標籤:http   使用   os   資料   問題   html   工作   時間   

http://www.cognoschina.net/club/thread-66425-1-1.html  僅供參考

 

“大資料自動挖掘”才是現在這些大資料的真正意義



  現在大資料火得不行,幾乎人人都在說大資料,但到底什麼是大資料,恐怕沒有多少人知道,魚目混珠的人太多。

  大資料不是指很多很多資料。

  所以不是儲存了很多資料就是在搞大資料了,因為“大資料”只是個簡稱,說全一點應是“大資料採礦”,沒經過挖掘的大資料只是沒有開採出來的原油,一點用處都沒有。

  大資料也不是指一般意義上的資料採礦。

  有很多人以前是搞資料分析或資料採礦的,當《大資料時代》這本書一問世、大資料開始火的時候,他們搖身一變就成了搞大資料的專家了。如果真是這樣,就根本沒必要提大資料這事兒,因為它本來就一直存在著,只不過換個說法。就好像我們沒必要今天突然提出個說法“飲H2O”來代替“喝水”.嗯,對,那叫玩概念。

  “大資料採礦”其實還沒有說全,再說完整點,應該是“大資料自動挖掘”。

  以前的資料分析或挖掘,是指人通過資料去進行分析,挖掘出一些規律性的東西以供以後使用。

  但面對大資料,由於不光是資料量太大,而且往往包括資料的維度也很多,人已不可能去處理這樣海量的資料,甚至是如何處理都不知道,這時必須用電腦來自動處理,挖掘出資料中的規律。

  但是目前電腦還不能像人那樣進行嚴密、複雜的邏輯思維,因此它們也無法用我們人的思維模式去分析資料,人可能只要較少的資料就能分析出其中的規律,資料多了反而沒有辦法,所以我們人類都是採用抽樣分析。

  電腦則正好相反,無法根據少量資料去分析出規律,但它有一個優勢,那就是運算速度非常快,因此有可能處理海量資料以後找出其中的規律。

  由於電腦還不能進行複雜的邏輯思維,所以它的處理方法很簡單,就是進行簡單的統計運算,也就是“硬算”,統計出在什麼情況會出什麼樣的結果,然後當類似的情況再出現時,它就會告訴我們可能會出現某種結果了。

  由這裡也可看大資料的另一個特點,即大資料主要是進行預測,告訴你未來將會出現什麼樣的結果。而不是只分析出過去的走勢和現狀,未來還是要由人去判斷。
為什麼這種簡單的方法會有效呢?這就回到“大資料”這個詞上來了,那就是因為資料量非常大,統計出來的結果就往往是正確的。

  大家一定都知道這個例子,扔硬幣來統計正、反面出現的機率,如果只扔10次,也許正面出現9次,以此來得出結論肯定是錯的;但如果你扔10萬次、100萬次,甚至更多,那你統計出來的結果基本是正確的,正、反面出現的機率一定是各50%.

  是的,大資料自動挖掘就是依據這一原理。

  這裡沒有嚴密的原因分析,不是通過資料分析出原因再推匯出結果;而是通過統計知道有這樣的情況,一般就會有這樣的結果,也即現象與結果的相關性。所以大資料就有一個顯著的特點,只關心相關性,不關心因果;用更通俗的話說就是“只知道結果,不知道原因”.

  這實際是人們根據電腦的優勢,找出了一個全新的資料分析、挖掘方式,與傳統的方式完全不同,所以傳統那些搞資料分析或挖掘的專家並不能稱作為搞大資料的。

  不過你一定要小心,冷不防你就會碰上一個這樣的專家,他們甚至可能是來自某名牌大學的知名教授之類。進到書店你也會看到許多講大資料的書,封面無一例外都有很大的“大資料”三個字,但其實都是在講傳統、人工的資料分析方式,和大資料一點邊都不沾。當然,這裡不包括《大資料時代》這本書。

  另外,傳統搞神經網路、深度學習等人工智慧的,也基本不算大資料,因為這裡面還是很多人為因素,包括建模型、對程式進行訓練等,這裡人仍需要對所分析的商務邏輯非常熟悉才能做,目前這種方法也難以達到實用的效果。而大資料只是讓電腦根據一些簡單卻巧妙的演算法,去進行大量資料的統計,找出連人都想不到的規律。大資料在這裡基本是與商務邏輯無關的,人不需要知道這是什麼業務,比如分析移動互連網行業的資料,他不需要知道這個行業的來龍去脈、當前狀況等,他只需要對大量曆史資料進行統計,就能夠找出其未來的走勢。

  說到這,你一定很想問,那就找不到一個真正搞大資料的了?

  先來講個小故事:

  80年代有倆電腦獃子在IBM做翻譯系統。當時的磚家都在探索語言之間的內在聯絡,文法、句法神馬的。倆獃子路數不同,他們把能找到的各種語言相對應的文獻全部做成資料,旁人批評“這種電腦蠻力不算科學”,後來他倆被一個對沖基金老闆招走了。現這倆獃子是複興科技co-CEO,老闆是Jim Simons.

  複興科技co-CEO每位年度營收大概是1億美元,比華爾街各大行CEO的年度營收要高一些,關鍵是這兩位幾乎名不見經傳。他們老闆James Simons比較有名,是位元學家,跟陳省身一起寫過定理,跟楊振寧是同事,年度營收超過10億美元,現在退休做慈善。清華有Chern-Simons樓,是楊振寧拉Simons掏錢修的。

  在金融投資領域,只關注相關性、不關注因果的對沖基金做得很好(複興科技,DE Shaw),但金融理論基礎深厚、大資料分析能力欠佳的公司卻沒有類似的業績,MIT金融學家羅聞全坦言不明白複興科技在幹什麼。
喂,說你呢,別老盯著人家年度營收1億美元。

  這裡關鍵的是很多人批評“這種電腦蠻力不算科學”(這些人肯定都是磚家,否則估計也沒資格批評),還有就是金融學家們完全不明白他們在幹什麼。

  這說明了什嗎?說明了在國外發達國家贊成這種方式的人很少,知道怎麼用這種方式的人就更少了,那麼各位可以想像下在中國能有多少人知道這種方法該怎麼做。

  在中國,如果誰用這種非主流的野路子做事,別說評專家、教授了,更別說什麼收入上億了,你估計不被餓死的機率有多大。

  反正筆者知道一個傢伙,從2000年開始,就像美國那兩個獃子,用這種“不科學的蠻力的硬算方法”進行語義相關度分析,做的事與那兩個獃子搞的翻譯系統異曲同工,都是有關語言的。可以說他在這方面做出了突破性成果,然而他寫的成果文檔,博士、專家們看都不看。他現在也就在一家小公司做一份普通IT工作,勉強維持溫飽,曾經好長一段時間找不到合適工作,差點去洗碗、當保安。

  也許有人要問了,搞語言方面的去搞數字,這靠譜嗎?用大資料的思路,你別管原因,那兩個複興科技的獃子已經告訴你結果了。

  非要知道原因,也可以跟你說說:

  其實語言比數字複雜太多了,舉個簡單的例子吧:1和2,電腦天然就知道它們的關係,知道哪個大、哪個小,以及大多少;但是“人”和“大”,電腦怎麼知道這二者有什麼關係,要知道也行,傳統的方法就是進行很多人工註解(專業叫詞性標註)。要讓電腦自己通過資料採礦來知道文字的意義和相關性,甚至連基本的詞庫都不給電腦,而讓它自己去建,那實在太難了點,簡直就是匪夷所思,然而那個傢伙做到了。

  也就是說在大資料方面,語言處理與數字相比,難度絕對不是一、兩個數量級的差別,因此能做語言的,做數字就很簡單了。在有就還是大資料的特點,大資料是不管你什麼樣的資料,它就是找出相關性,所以文字和數字並沒有太大區別。

  前段時間那傢伙碰到有人提出一個行業趨勢分析的問題,他說只用一個小時就想出了演算法,只要把大量資料拿來就能出結果,但是在中國沒人敢相信他。

  好了,有點跑題,不好意思。不過你現在知道什麼是真正的“大資料”了吧。首先記得大資料是用來進行預測的,即直接告訴你未來的結果,另外就是牢牢記住7個字“大資料自動挖掘”,那就誰也忽悠不了你了。

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.