技術思考－－不要從技術的角度去思考大資料的落地

標籤：中國人   互連網   分析師   excel   切入點   

  在明確了自己在大資料方向裡的具體模組後，就只剩下來加強自己這一方面的突破跟技術積累了。我選擇是資料分析及可視化兩個方向。行業是傳統行業，為什麼是這樣？下面就從業務角度來層層分析。

    

    一直以來，都覺得太過高深的技術是沒有的！只不過是你在平時的積累跟細節的把控。而資料分析，現在各行各業都需要，小到年終的財務總結報告。大到公司的CRM系統。但是傳統行業對新技術都是處於一個觀望的態度。傳統的盈利模式已經使傳統行業對互連網這個時刻變行的行業心生畏懼。所以說，資料分析，對於大資料在傳統行業裡，是一個很好的切入點。而如何讓對方感知到效益，這一點，也是非常重要！記得我的資料採礦老師張磊（資料採礦領域大牛）跟我們說過，在傳統行業，如果你的資料採礦不能讓客戶與業務部門在半年內見到效益，那你將是一個非常失敗的資料分析師！

   

    中國人善於總結流程，並且見微知著。基於大量的觀察而去推測即將要發生的事情。這也是一種資料分析，而真正與大資料關聯的，可能是與使用者能夠直接介面的資料。而這一些資料前期的整理，清洗，分析.....基本上都是在一些EXCEL，或一些TXT，WORD中。而此時，你的業務分析邏輯是非常重要的,也就是你要對使用者的資料商務資訊有相當的瞭解才行。當後期，當使用者或業務部門發現你資料分析的價值的時候，這個時候，不用你說，他們就會再給你更大量的資料讓你去分析。

  

    當你有了更大的資料的時候，你就可以考慮資料庫的相關技術了，如何去存取你那原本存不下來的EXCEL，或TXT文檔。這時，你可以試一試結構化資料庫。此時，技術上的投入估計也就是資料庫的購買，但它的投入會遠遠小於你給公司業務創造的價值。資料如何擷取，如何讀入資料庫中，是你要考慮和重要。同時也要告知業務部分他們的關鍵資料在何處存取。

   當你在單機上分析到一定程度時，資料會越來越多，你也要開始考慮多個維度資料了。因為並不要只依考一個單一維度資料去推測你的勘探。這樣，會有效果，但效果很低，想想那些給你推薦廣告的系統吧！是不是挺失敗的。而影視行業的“猜你喜歡”這個選項是否對你有更多的價值。好了，當你開始從多個維度來給客戶帶來價值的同時，你就要開始對演算法有一些瞭解了，畢竟，這一塊，是直接決定著你的結果成功率是高是低。

   資料越來越多，一台儲存根本儲存不了怎麼辦！接下來就該搭建分布式架構了，異地容災，互為主備。伺服器，路由，這一些的技術概念就要開始出場了，因為接下來，你最好是系統的學習一下系統架構方面的知識。比如，網路上的，負載平衡，TCP單邊加速，TCP代理。伺服器裡的浪甬保護，雙活中心。儲存方面的磁碟陣列，SSD儲存。CPU方面的高效能運算.......到這一步，你就要開始加強你的技術能力了。

    有人說，現在都開始雲化了，這些我都不用管，全部託管不就可以了。我只負責我的業務運行不就行了嗎？但真正在雲上開始跑資料了，你是否就不會再招一個人來管理了嗎？技術的發展，只會淘汰低端的網路及IT的營運，轉而開始是對高端的營運需求越來越多。

    好了，今天就先寫這麼多吧！也算是對自己的思維有一個小的梳理。下一次再接著這個話題寫下去。

本文出自 “資料採礦與可視化” 部落格，轉載請與作者聯絡！

技術思考－－不要從技術的角度去思考大資料的落地