讓我們重新認識下撲面而來的「大資料」

「大資料」的概念其實並不新鮮

大資料時代已經到來，但不是每個人都在接受它的洗禮。 更準確的說，現如今我們所謂的「大資料」，其實就是矽谷的互聯網大佬們若干年前所做的事，之所以現如今被人們所重新認識，覺得它是新鮮有趣的，那是因為現在推動大資料的技術，已經完全開源，並且普及到了大部分的企業和公司。

在與歐洲很多傳統企業的對話中，我們可以越發清楚的察覺到，大資料除了能夠讓開發應用專案在非矽谷的地方迅速成熟起來之外，無甚新奇之處。 之所以提及歐洲，那是因為在IT技術發展上，它落後于美國。 無論是雲計算或者大資料計算，歐洲都落後美國一到兩年的時間。 所以當我們看到歐洲的公司都在鄭重其事的談論大資料項目目，那麼就意味著大資料的概念確實開始深入人心。

「大資料」的概念，所涉及的範疇比我們想像的更為寬廣

Gartner報導稱：42%的IT企業領導已經深入到大資料項目目的開發中。 換句話說，它還有長足發展的空間。 但我懷疑這個數位被低估了，這涉及到了如何定義"大資料"這樣一個概念。 比如，當我問一個IT企業的專家是否會開發一個大資料項目目時，一般得到的回答都是"NO"。 但當我進一步闡明我的意思，你所要從事的專案並不是那種涉及兆百萬位元組甚至更大規模的資料量，相反，是一種可以從分散的埠來拉取資料的軟體，進而能夠進行即時分析的專案產品。 當換成這樣一個問法的時候，往往她的答案就是「YES"! 這樣的專案當然也是在"大資料"的範疇內。 但是"大資料"這樣的字眼，讓人們往往更加關注的是」大「，而非資料，所以人們就走進了誤區。

這個結論在NewVantage的調查中，變得更加清楚明朗，其中只有15%的受訪者是在處理超大規模的資料。 而從剩下的85%的受訪者那裡，我們可以看到企業最關心的目標，是要有能力不斷的管理日益多樣化，並且不斷膨脹的資料資源，而非簡單的處理超大規模資料。 所以，當我們看到連Hadoop公司，這家以存儲及加工超大規模資料聞名的公司，更加頻繁的介入到ETL過程中，也就不足為奇了。 （ETL：即構建資料倉儲的重要一環，資料來源抽取出所需的資料，經過資料清洗，最終按照預先定義好的資料倉儲模型，將資料載入到資料倉儲中去）

在大資料的概念裡，規模真的並不重要

Google公司和Facebook公司早已經發明出MapReduce以及NoSql這樣的資料庫，來應付應用軟體（這類軟體主要由資料來驅動）對即時資料分析處理的需要。 現在這樣的技術已經開源，隨處都可以得到並使用，以至於現在的互聯網大佬們已經將目光投向「更大規模資料」的技術開發和利用，而其他人，將在若干年後享受這些技術帶來的便利。 也許，讀寫網的布萊恩·普羅斯特對Hadoop網站價值的揭示更加能夠說明問題。 他說：「Hadoo也僅僅是讓本該變得昂貴的資料存儲變得便宜而已。 」而GigaOm的德里克·哈裡斯（Derrick Harris)也對NoSql這麼評論道：「它並沒有在管理複雜交易上，把其他資料庫的角色取而代之。 相反，NoSql催生出來一系列的應用軟體，能夠在處理半結構化資料方面反映更加迅速。 」所以在我看來，定義大資料最好的的方式，應該站在你處理資料的角度，而跟所要處理的資料規模沒有任何關係。

最近我遇到了一位歐洲的IT企業老闆，他說現在已經把他的工作團隊從」瀑布式」的開發方式轉換為更為靈巧機敏的開發方式。 該團隊面向市場上即時的客戶回函，從3000個伺服器中讀取資訊，每天要生成500G的資訊量，同時從開發到配置僅僅需要24分鐘的時間。 該公司毫無疑問，是在向由資料驅動的模式轉型。 這意味著他們要有能力一掃舊有僵化的資料基礎系統，同時在轉變過程中會遭遇很多阻力和挫折，但最終我相信能夠達到他們的目標。

不過最值得人們期待的是：是否更多的主流企業都將發展自身的大資料技術，來滿足那些互聯網巨頭不曾有過的一些需求，或者革新將「回流」至矽谷呢！

時間會告訴我們一切