Matt Turck：大資料行業資訊圖以及一些思考

編者按：本文來自潘星鍵投稿（@星鍵V；微信：akavir），他在湯森路透從事資料品質分析工作近7年，文章編譯自Matt Turck《The State Of Big Data in 2014: a Chart》，Matt Turck曾任Bloomberg Ventures常務董事，現為FirstMark Capital合夥人。

從我第一次嘗試為繁榮發展的大資料生態系統繪製一張資訊圖已經過去了兩年， 而這期間大資料行業發生了很多巨大的變化。 我早就該對這張圖做一個更新，現在終於完成了。

從VC的角度，我想談談對這張圖以及大資料行業的一些想法：

越來越擁擠：創業者們蜂擁至這個行業， VC們將大筆的資金投資到看起來有機會成功的創業公司，其結果是，這個行業正變得越來越擁擠。 一些類別如資料庫（不管是NoSQL還是NewSQL）和社交媒體資料分析正趨於成熟，且開始出現並購或者淘汰出局（Twitter對BlueFin和GNIP的收購可能意味著在社交媒體資料分析領域這種趨勢早已經開始了）。

對於後來者來說， 雖然空間依然存在，但看起來早期的大筆風投資金都下注在基礎設施（infrastructure）和分析（analytics）領域，導致成功的標準變得越來越高。 不過， 這並不意味著VC的資金會停止流入這些領域。

對於一些領域，公司的數量之多顯然已經達到了一張地圖所能容納的上限。 我相信還有一些不錯的公司我們沒能納入進來，也許是我們沒有發現，也許是因為地方不夠了， 我在此表示非常抱歉， 同時我也希望大家在評論裡對於應當納入那些公司提出回饋和意見。

尚處在早期階段： 總體而言，這個市場還處在發展的早期階段。 過去幾年， 一些被看好的公司失敗了（如Drawn to Scale），一些公司的創業者提前退出了(例如Precog、Prior Knowledge、Lucky Sort、Rapleaf、Nodeable、Karmasphere等 ) ，還有一些的結局稍好(例如Infochimps、Causata、Streambase、ParAccel、Aspera、GNIP、BlueFin labs、BlueKai)。

與此同時，一些公司看起來正越做越大，並獲得大筆驚人的風投注資（比如MongoDB已經融資超過2.3億美元， Palantir融資近9億美元， Cloudera近10億美元。 一些大公司正積極出擊進行並購（Oracle收購BlueKai， IBM收購Cloudant），但是總體而言，多數公司離成功實現IPO和投資者功成身退還差的很遠（雖然Splunk和Tableau做到了）。 在很多類別，創業公司和大公司互相競爭，但並沒有出現市場領導者。

市場宣傳遭遇現實：在經歷這些年狂轟濫炸的市場宣傳之後，大資料還是焦點麼？ 未來幾年，也許大資料不再是媒體的熱門，但對於大資料超市而言卻是至關重要的， 因為企業將要開始把大資料項目目從試驗轉而全面的部署實施。

雖然這意味著一些大資料供應商的利潤會迅猛增長，但同時這些專案也將成為大資料是否能帶來它所宣傳的價值的一塊試金石。 與此同時，隨著「物聯網」行業的迅速崛起，資料將會如潮水般加速增長，進一步推高市場對大資料技術的需求。

基礎設施：Hadoop似乎已經奠定了其作為整個大資料生態系統的關鍵區段，一些競爭者依然雖在， 這一領域也許會進一步發展和整合。 Sprak是另一個的基於Hadoop分散式檔案系統（HDFS）的開源框架，它試圖填補Hadoop的弱項，提供更快的的資料分析和良好的程式設計介面，目前正吸引大量關注（一些跡象顯示它做的還不錯）。

一些主題（比如即時資料處理）依然是重中之重，同時新的主題也在不斷湧現（比如新一代處理、變換、清洗資料的工具，包括Trifacta、Paxata 和 DataTamer）。 企業資料是否會真正的放到雲裡（公共雲或私有雲），如果是，還有多久才發生，將是另一個大的話題。 很多人認為財富500公司在接下來的幾年來會繼續把資料（以及處理資料的軟體）放在機房裡。 一批雲服務+Hadoop的創業公司則認為長期來看，所有的資料最終都會放到雲中。

分析工具：從創業公司和VC投資的數量來看，這一領域最為活躍。 從excel表格式的使用者介面，到時間軸動畫和3D動畫， 創業公司提供各種各樣的資料分析工具和使用者介面，而不同的客戶也確實有不同的需求，所以這一領域大概依然有足夠的發展空間。

推廣產品的策略也不盡相同 — 有些創業公司更針對于資料科學家，這群人目前不多但增長迅速。 另一些則正好相反，他們銷售自動化的解決方案給一般商業使用者，完全忽略資料科學家的存在。

大資料應用： 正如之前預測的，大資料緩慢但的確朝著應用層面發展。 這張圖列出了一些令人興奮的創業公司——他們本質上都是基於大資料技術和工具（當然我們無法把所有的相關公司都在這裡列出來）。 一些公司提供橫向應用——如基於大資料的行銷系統，客戶關係管理系統和欺詐甄別解決方案。

金融業和廣告科技業一直是大資料推廣的領導者和最早的擁躉，甚至早于大資料被稱作大資料。 慢慢的，大資料推廣到各行各業，如醫療行業和生化行業（特別是基因研究領域）和教育行業。 現在才剛剛開始。