原 大資料入門學習，你要掌握這些技能

標籤：遇到   速度   工程師   資料科學   設計   kylin   自己的   產品設計   根據   

小編將此文獻給對資料有熱情，想長期從事此行業的年輕人，希望對你們有所啟發，並快速調整思路和方向，讓自己的職業生涯有更好的發展。

根據資料應用的不同階段，本文將從底層到最終應用討論這些資料人員的必要技能。

1、大資料平台

目前，它非常流行，資料來源，各種酷的新技術，構建Hadoop，蜂巢，星火，Kylin，德魯伊，Copy~，如果你想瞭解Java，很多平台都是用Java開發的。

目前，許多企業已經收集資料。對於傳統的業務資料，傳統的資料是完全足夠的。但是對於使用者行為和點擊行為或者許多非結構化資料，如文本、映像和文本，由於資料量太大，許多公司不知道如何處理。儲存。

如何構建即時、近即時、離線的大資料架構，如何對資料流進行耦合和解耦，如何?容災、平台穩定性和可用性，是我們需要解決的問題。

我的感覺是：在過去的兩三年裡，這個人才仍然稀缺，因為大資料炒作的概念是如此的激烈，很多企業被愚弄的說，讓我們也開始進入大資料行業吧。進入的先決條件之一是儲存資料，特別是在使用者行為的許多方面。企業的進步是顯而易見的。如果你能很好地描述使用者，它將有助於你的產品設計、市場營銷和市場開發。在這個階段，許多公司不得不採取第一步：儲存更多的資料。這也是員工流動性相對較高的原因。

這項工作最重要的部分是蜂箱速度慢，SQL查詢速度慢，叢集再次掛起。在Hadoop版本升級之後，資料是如何啟動並執行？

如果你想在這個領域做得好，你還需要有整個系統架構的設計能力，比較強的抗壓和解決問題的能力，資源收集能力，可以進入開源社區，這樣你才能跟上最新的發展趨勢和技術。吉斯隨時都可以。

2。資料視覺效果

這是一項令人眼花繚亂的工作。最好瞭解前端的一些東西，比如JS。資料視覺效果人員需要良好的分析思維，並且不能忽視對企業的協助程度，以便展示他們的技能。因為我沒有很多訪問者來這篇文章，我沒有任何深刻的見解，但我認為這篇文章需要分析能力，以做好可視化工作。

另一方面，從事資料應用的人應該理解資料視覺效果。他們應該知道材料的順序是：圖片>表格>文字。一個可以用圖片描述的機會不應該用文字來描述，因為它更容易讓別人理解。你知道，當向大領導解釋事情時，你需要把大領導想象成一個“資料白癡”，這樣你才能更生動地說出一件事。大資料學習群142973723

三。資料分析員

對於資料分析師的定位：就個人而言，很難成為一個優秀的資料分析師，市場上也沒有很多優秀的分析師。除了資料分析、結論提取和洞察資料背後的原因之外，資料分析人員還需要瞭解業務和瞭解演算法。

只有這樣，當遇到業務問題時，資料分析人員才能夠逐步解決問題，然後根據問題的位置對策略做出響應，如第一策略測試或最佳化演算法的應用，使用其中sce納裡奧，我們能用這個計算嗎？依法解決問題。

優秀的資料分析師是精通業務和演算法的萬能資料科學家，而不是只聽從業務需求來拉資料、做報告和做分析的懶漢。我們都說分析應該得出結論。優秀分析師的結論是一整套能解決問題的策略和反應。同時，許多需求被分析師積極發現並通過資料採礦。

從上面的描述可以看出，對資料分析員的要求是：編寫SQL資料、精通業務、洞察資料、精通演算法、主動性強、要求高。

4、資料採礦/演算法

對於這個職位的技能要求，你不需要從頭開始執行所有的演算法。有許多現有的演算法包要調用。基本要求是知道每個情境使用哪種演算法，比如分類情境，常用的分類演算法是LR/RF/Xgboost/ET等。當模型無效時，IMIZE。它還需要實現演算法的能力，Scala/Python／R/爪哇可以在語言中使用。我們常說：“工具不重要。重要的是你玩的是工具而不是工具。”

另外，對於監督學習演算法，演算法工程師最好有良好的商業意識，這樣在特徵設計時，可以更具有針對性，只有當特徵設計時，才能有良好的先驗性。

這麼多人說了又談。事實上，核心是如何用資料創造價值。如果你沒有能力用資料創造價值，你只能等待被資料淹沒，被工作場所的資料扼殺，及早達到事業的頂峰。

原 大資料入門學習，你要掌握這些技能