資深大資料專家？？？

標籤：朋友   領域   技術   人才   能力   

    最近朋友圈裡許多的人在為公司招"資深大資料"的人才，不禁思考，什麼樣的人才是資深的大資料專家？也許這個題目有點大，那就再落地一點，什麼樣的人才能幫我的公司帶入到大資料的領域，並為我的公司盈利？

技術角度

    先從技術角度來說，資深大資料專家首先要有相關的代碼能力，要能夠搭建Hadoop,Spark,Yarn這樣的架構，要知道在這樣的架構裡要用什麼語言來滿足自己的業務發展。

    然後又要懂得資料採礦及資料視覺效果，同時，也要掌握前端的所有技術（LVS,CDN,負載平衡....）及相應的語言選擇，有人說，大資料時代，要對R，Python,Scala都可以知道並明白它們的常用函數及相關的文法格式。

    同時，你也要對相關的演算法有一定的瞭解，經常用到的有決策樹，Apriori,K-NN,K-MEAN等等的演算法，當你開始使用這些演算法的時候，一定要瞭解它的原理。這樣，至少在你後期的演算法最佳化的過程協助你提高你的效能。

    好了，從上面的三個角度來說。看一看我們身邊是否有這樣的人。答案顯而易見，沒有！又或者有，都是在BAT這樣的大公司，一個新興的小公司如何去招到這樣資深的大資料人才，很難！因為，在你懂得Hadoop之後，業務要有較快的反應，此時你又要考慮Spark,隨著即時性的發展，你勢必又要學習Storm.這一方面的人才不可能技術非常專一，相反，他的技術感知，或者說相應的學習能力才更為重要!

    所以，從技術角度來說，資深大資料人才，不僅僅是一項技術很好，而是一個技術綜合能力及學習能力很強的人。

業務角度

    最近聽了兩個論壇，一個是IBM的，一個是R語言大會。感觸非常深，IBM在大資料領域可謂是引領了概念與潮流。上來他的本專業博士就說到，現在國內的大資料公司70%以上都跟大資料沒什麼關係！這是現實，我自己所從事的行來所從事的資料分析也僅限於TXT，EXCEL這類的原文本分析，非結構化的資料在傳統行業很少。

    大資料做的最好的行業可能就是廣告行業，開啟手機，你的朋友圈，PC，PAD。至少廣告是會隨著你的平台而至死追隨你的。而廣告，金融，醫學這三個行業，為什麼大資料會最先落地，不是因為他們這個行業技術成熟度等級高或是什麼，更為重要的可能就是這三個行業比較有錢吧！這是在R語言大會上李艦（至於說他是誰，相信用R做過文本分析的人可能知道，是寫RWordseg包的那位）說的。

    如何去理解你的業務，這一點可能是擺在大資料人才面前最為重要的問題。你的技術再強，演算法再精確，沒有對業務的詳細瞭解是不可能做出很有成效的結果。有人又說到，大資料是互連網行業，我們對傳統行業又不瞭解，而且也沒有積累，如何能夠快速掌握瞭解一個行業，進而對相關的資料有一個更深入的瞭解。

    在這裡，我個人比較欣賞獵頭的做法，當你想瞭解一個行業的時候，你不是去看書，而是去招人！我相信，在與人溝通的過程中，你會瞭解到更多的資訊。混論壇也是一個比較好的選擇，因為在論壇上，你能夠看到這個行業的方方面面。對你瞭解業務尤其重要。

    培訓業務思維，還有一個最簡單的辦法就是多和你們公司的銷售聊聊！

    綜上所述，我所理解的資深大資料人才，重點還是在於對業務的理解，說的落地一點就是對你所採集下來的TXT，EXCEL資料裡關鍵的幾個指標的把控。你要知道某一個指標數過大或過小意味著什嗎？如何讓這些指標為你產生價值跟利益！然後才是相關技術的學習，技術這一塊，個人建議多懂一些，當要用時，再深化細節裡邊的內容。

    舉一個例子，為什麼在人才市場裡，演算法工程師要比代碼工程師價格高，因為搞演算法的人必須要會代碼，同時要能明白演算法的內在邏輯。這一點是在自己學習過程中才體會到的，當你邏輯清楚之會的代碼實現就相對簡單一些了。

    架構，這一點對資深大資料工程師來說，是必須要有的能力。要能夠對傳統行業搭建起最好的架構並能夠運行，同時也要兼顧到後期的可擴充。還有一點，就是你要跟你的領導講明白。

    業務能力，落地一點就是能夠什麼時侯收回成本並實現盈利！記得我的資料採礦老師說過，對於傳統行業做資料分析與挖掘，你要能夠在3－6的時間裡讓客戶見到效益。否則你的資料採礦就沒有意義！

    好了，以上就是我所理解的資深大資料的概念。希望在大資料這個風口，自己能夠少點浮躁，多點踏實，把技術學好，把業務理解透徹。謙卑著努力，加油！

    

本文出自 “資料採礦與可視化” 部落格，轉載請與作者聯絡！

資深大資料專家？？？