大資料也有西大荒

大資料已經發展到了一個關鍵階段。 到 2017 年，整個大資料超市將增長到 500 億美金，但很不幸 55% 的大資料項目目都是失敗的。 與機遇同在的是炒作和不實的資訊，我們正處在大資料的西大荒階段。 大資料行業正處於一略僵持的局面之中：理解它的人通投資該行業採集、存儲大資料並從中獲益；然而另有人抱著半信半疑的態度為之買單，同時不曉得大資料將怎樣影響他們的生意。


　　良性失靈


　　大資料允許出錯率，這也許聽起來違背常識，可失靈也是有良性失靈和惡性失靈之分的。


　　雲裡霧裡？ 且聽解釋：「測試和學習」的方法是可以用在原始狀態大資料上的。 公司得通過提出假設然後驗證的方式發現這些失靈的情況。 這讓企業能夠通過深挖大資料發展出真正連貫的戰略方案來。


　　這些「錯誤」其實是發現正確解析結果的必要過程，它為各行各業創造了可觀的機會，如精准推薦、風險管理、設備故障預測和簡化物流管理流程等等。


　　在一些樂觀的案例中，這些企業正在利用大資料得出的判斷開發新產品，開闢新的收入來源甚至造就了大資料驅動的企業文化。 要進化到這個階段，企業必須打破僵化的量化和成本控制思路，發展靈活機動的解析和判斷方法，逐漸通過大規模自動化預測解析實現企業最優發展。 只有這樣它們才能真正通過大資料找到有利可圖的商業模式，依託資料開發出新產品來。


　　在大資料利用的早期，速度是個關鍵因素。 通過資料完成專案和積累組織專業技能的速度越快，就能越快創造價值，以及在新的高度上更精細地利用大資料。


　　Quantcast完美詮釋了成長為大資料公司的四步走模式。 第一步，它只是提供免費網站流量監測服務。 隨著市場認可度的提高——它每天的計算結果由數以千計增長至 10 億級的水準，Quantcast 很快超越了傳統的資料庫技術。 而業務一步步的擴張又賦予它提供更高品質的解析和判斷能力，更好地憑藉受眾分析為企業增值和維護客戶關係。


Quantcast 很快看到了投資大資料科學的必要性，因為在海量的活動資料中發現人口資料和興趣圖譜分佈狀態是極具挑戰性的。 緊接著，Quantcast 測試了許多產品和服務，其中非常成功的一個專案叫做 Lookalikes，它説明廣告商找到那些跟現有客戶具有高度相似性的新客戶。 Quantcast 現在每年收入達 1 億美金，其靈活性使其能夠及時應對大資料發展過程中的機遇。


　　Quantcast、Google、 Facebook 和 LinkedIn 都是大資料公司的先行者，它們已經經歷了這些發展階段。 當大資料業務在互聯網公司中越發成熟時，也正是其它企業擁抱大資料創造價值和積累競爭力的時候。 例如，大型 IT 供應商正在利用精細化的科技產品資料和交易資料生成解析預測模型，以達到提高推薦效果、優化交易體驗的目的。


　　惡性失靈


　　很不幸，許多企業仍然停留在非常僵化的模式中，他們還是一味地從成本控制和存儲可擴充性的角度來利用大資料。 也許他們還在觀望「靈活分析」（agile analytics）——打破傳統節約思維、靈活運用資料的方法。


　　這意味著，許多探索大資料的公司正在錯失改進業務、優化服務的機會，同時他們也在錯失利用大資料而非臆斷開發新產品的機會。 他們正在進入大資料發展的停滯期——學會了存儲資料，但卻不能夠從中提取價值。


　　大資料需要人力和資源的投入——從人的層面講就是，需要更多的掌握這門科技的人才，而傳統的成本節約方法要求的是裁員。 對大資料公司而言，情況剛好相反。 要實現大資料上的突破，企業就得捨得投人投錢。 不能快速應對變化、及時投資的企業將會讓更靈活的小型企業奪去更多機會。


　　不堪的失靈


　　沒有什麼比前面說的 55% 的失敗率更讓人難堪的了？ 失敗的原因何在呢？ 其中一種想法是，西大荒時代有太多開空頭支票的騙子，誇下海口卻看不見他們的成果。 他們意識到身邊炒作大資料的風氣便也跟風模仿。 儘管缺乏資質認證，那些遺產顧問和系統集成商硬是把自己定位為這方面的專家。


同樣地，許多傳統商人竟把上個時代的模式當作「大資料」來兜售。 他們之中很多還在不聯網的電腦上使用 SAS（始于 1976 年的 Statistics Analysis System）——這能是大資料？！ 另有其他們則是專注于資料採礦和彙報，提取、轉化和載入一些小型資料庫的內容。 這些商人通常使用一些與開放源碼並行運算程式設計工具（如 Apache Hadoop ）脫節的專用軟體。


　　我們正處在大資料發展的關鍵點上——需要源源不斷的資料結果來保證持續增長。 而企業把過時的技術或技能想像成大資料，最終因解析能力跟不上而受傷的還是他們的生意。 如果他們的專案不幸失敗或者提供資訊不准確，那麼他們將失去戰場，將機會拱手讓給真正懂數大據技術的競爭對手。