拉勾網大資料相關崗位元據爬蟲分析

標籤：

拉勾網大資料相關招聘資料分析

觀察對象：大資料相關崗位的招聘資料

觀察時間：2016.3.28

資料來源：拉勾網

1、分析目的

目前，大資料是一個非常熱門的話題，受到很多人的關注和追捧，其創造的相關職業也受到大家的青睞。但大資料相關職業究竟是什麼樣，有怎麼樣的要求，有怎樣的待遇還不為多數人所知，為了更好的瞭解大資料相關職業要求及其福利待遇進行本次資料分析。

2、資料擷取

1　資料來源：拉勾網，拉勾網是專業的互連網招聘平台,專註互連網職業機會，其資料具有代表性；

2　資料類型：json類型資料；

3　採集方法：python爬蟲，輸入的關鍵字為‘大資料’，所以採集的資料包括所有大資料相關的崗位元據；

4　資料量：一共採集到99頁共條1476資料。

3、資料準備

本次採集的資料共1476條，每一條資料有個50變數。為了關注主要因素，在資料準備過程中將去除不必要的變數，由於資料量較多，對少數的存在缺失值的行也進行清除，重新構造易於分析和作圖的資料集。

4、資料分析

1. 大資料相關職業招聘資訊在全國各城市分布情況的分析

    由各城市大資料招聘資訊數量的分布可知，目前大資料相關職業的招聘主要集中在北京、上海、廣州、杭州、深圳這幾個經濟相對更發達的地區，尤其是首都北京，是這幾個城市的3倍之多。出現這種現象也不足為怪，畢竟大資料還是一個新型的產業，很多二三線城市的傳統企業和公司還處在觀望之中。對於北京數量之多，個人認為主要與國家政策、創業潮有關，畢竟是首都，能快速嗅覺到國家大力支援發展大資料的苗頭，同時‘互連網+’的創業大潮也推進了各公司對大資料人才的渴求。

2. 大資料相關職業類型分析

    由大資料相關職業工作類型的分布可知，大資料技術人才最受歡迎，其次是產品和運營。有人說大資料科學家是會編程的統計學家，從該圖可以看出這個‘編程的能力’以及處理、挖掘資料的能力還是佔據重要因子的。而對於產品和運營，可能與最近討論得很火的‘人物畫像’‘精細化運營’等有關，運用大資料的相關知識實現精準營銷。當然，大資料在金融、市場銷售等方面也逐漸受到重視，個人認為這是一個趨勢，畢竟大資料只是一種手段，更重要的是如何把大資料運用的各個行業，為行業服務。

3. 大資料相關職業招聘對技能要求的分析

上面討論到大資料技術人才最受歡迎，再繼續看看大資料究竟對那種技能或那種語言和工具比較青睞。

由氣泡分布圖（圓圈越大，表示其重要程度越高）可知最受青睞的前10個大資料工具是Hadoop、Java、Spark、Hbase、Hive、Python、Linux、Strom、Shell編程、MySQL。其中Hadoop和Spark都是分布式並行計算架構，目前看來Hadoop佔主導優勢，Spark位居其後，但Spark有迎頭趕上的趨勢。Hadoop是由Java實現的，所以java排在其後也不奇怪。Hbase是一個開源的分布式的列式資料庫，MySQL是一種開源的關係型資料庫，Hive是一種資料倉儲，Strom是一種串流架構，而Python/Shell是兩種指令碼程式設計語言，Linux是一個作業系統。

上面這個圖如果看起來比較費勁，我們來看看下面這個圖：

4. 大資料相關職業招聘對學曆要求的分析

由可知大資料相關職業對學曆的要求主要是本科以上，其次是大專，而對於學曆高的碩士和博士貌似不太感冒。由於大資料主要對技術人才感興趣，工作的實踐性比較高，可能學曆高的人才反而占不到優勢。我們可以接著對比一下對工作經驗的要求再做深入的分析。

5. 大資料相關職業招聘對工作經驗的分析

由可知，大資料相關職業對有3-5年工作經驗的人才最青睞，其次是1-3年和5-10年。對比上面對學曆的要求可知，大資料相關職業確實是青睞有工作經驗的本科生，而不是學曆高但經驗缺乏的碩士生和博士生。

6. 大資料相關職業的薪資分析

由圖可知，大資料相關職業總體工資水平還是有較大的波動，但也主要集中在10k-30k的範圍內。我們看看不同工作類型的工資的分布情況：

由圖可知金融行業相關的大資料職位的平均工資最高，其中產品、技術以及職能的平均工資相差不大，市場與銷售、運營的工資相對較低，但平均工資也在10K以上。總的來說，大資料相關職業的薪資水平隨工作經曆等存在一定的波動，但工資來說還是相對較高的。

7. 大資料相關職業的福利待遇分析

從有大資料人才招聘需求的公司提供的福利來看，其中最多的就是五險一金的基本保障、其次是帶薪休假、彈性工作、雙休、年終獎、績效獎等，總的來說這些公司福利還算不錯，但從這些資料裡可以看出，相比於一些大的國企，這些公司對於解決戶口等同學們關注得比較多的，沒有提及。

8. 有大資料人才招聘需求的公司融資情況分析

從可知，有大資料人才招聘需求的公司中上市公司還是佔據最大的比例，排在前面的幾位也都是成長型或成熟型的融過資的公司，排在後面幾位的公司除了一個成熟型D輪以上，其它要麼沒有融資，要麼不需要融資，這裡可以說明上市公司或剛拿到融資的成長型公司對於大資料人才的渴求更高。

5、結論

從面的分析，大致可以得出下面幾個重要的結論：

a. 大資料還只是北上廣等經濟發達城市發展得很熱的新型行業，二三線城市還有待發展，所以要找大資料相關的工作就去北上廣吧；

b. 大資料相關工作崗位主要以技術、產品、運營為主，而且技術佔據大半江山，而技術技能要求中主要以Hadoop/java/Spark/Hbase/Hive/Python/MySQL/Strom/shell等為主，所以才要從事大資料相關崗位不防從學習這些技能開始；

c. 大資料相關職業對學曆的要求主要以本科為主，就算是大專學曆也是很受歡迎的，而博士和碩士卻不受青睞，這是一個要求工作經驗為住的行業，所以就算你學曆不高，想從事大資料相關工作也是不成問題的；

d. 大資料相關工作崗位的薪資還是算比較高的，福利待遇方面也還不錯，其中金融大資料人才的工資最高；

目前招聘大資料人才的公司主要是以上市公司和成長型的融資公司為主。

6、有問題交流的可以關注Dataanswer大資料 http://www.dataanswer.top

拉勾網大資料相關崗位元據爬蟲分析