大資料生涯感悟

標籤：這一   redis   分布   壓力   2016年   迴歸   簡單   注意   自己的   

　　不知不覺，畢業一年半了，從實習開始接觸大資料技術。那時懵懂的我，不對，應該說懵逼的我在想，臥槽，這是啥這麼牛逼，我都不會啊。。。啥都不會完蛋了。。即便現在也是這樣認為= =

　　今年還是有很多變故的，不過絲毫無法阻擋我對技術的熱情，這種熱情猶如滔滔江水連綿不絕，嘩啦啦啦啦啦啦~，讓我們看下大資料工程師要掌握的技能有哪些呢？

　　

　　乍一看嚇尿了。。等我洗個澡先。。。

　　如果你願意犧牲自己的所有時間去學習，研究，實踐。我相信能夠完全掌握裡面的所有東西，只不過這是個漫長的過程。我覺得這張圖還是很形象的，左邊代表工程開發，右邊代表演算法開發。大公司基本分工非常明確。但在這個多元化的社會上，倘若你能掌握別人沒有掌握，或者需要很高學習成本才能掌握的知識，那麼你將會閃閃發光，猶如黑暗中的螢火蟲，稻田裡的金龜子~猶如太陽的光暈，猶如早起照射窗檯的第一縷陽光，猶如~~好了好了。。我們迴歸正題。

　　很多人說，這麼多我勒個去，我不知道怎麼學啊，從哪裡開始啊。。那麼我說下到現在為止，個人的學習之旅（僅個人）：

　　1、從2014年開始接觸hadoop。。這是啥？買了本書（Hadoop Yarn權威指南）。。完全懵逼看不懂，但是堅持下來把它看完，然後開始搭建環境，單節點，當運行起來的一瞬間簡直爽死我了~（注意，你要有Linux基礎）

　　2、開始看編程模型,MapReduce,MapReduce是啥。。好高大上啊，人總是對於未知的事物比較恐懼，可是恐懼也要看啊~看不懂也要看啊~搭開發環境，各種坑，我還沒畢業好麼，那麼多工具，我怎麼知道怎麼用。。這報的啥錯啊。。開始各種折騰。。

　　3、產品經理說，我們要用spark！那是在2014年年底了，但其實最初調研的時候選用shark，因為那時候spark還沒有商用，但最終還是用了spark，在決定之時突然spark1.3開始商用，加入DataFrame(當然那時候我是完全懵逼，這是啥？）。。受經理培養，我開始Spark之旅。那時對hadoop已經有了基本認知。

　　4、進入2015年，項目已經開始進行spark開發，當然對於應用開發而言，完全從0開始，於是我們開始各種不要臉的去請教傳說中的橘雲分布式團隊，我每次出差都買點東西孝敬他們老人家哈哈哈哈~~一點一點的學理論，一點一點的嘗試，一點一點的問。這裡要說下，做技術的，特別怕對方看不起自己，不敢問，怕被嘲笑。 其實真正熱愛技術的，會對技術極度的熱情，你要記住，丟人沒有什麼，再簡單的學會了就是自己的了~於是開始買關於Spark的書，開始總結各種知識點，嘗試，總結，嘗試。

　　5、2015年畢業前夕，第一次去湖北項目上線，將傳統的應用系統改造為支援spark的大資料項目。對於我這種初出茅廬的小菜比而言，我勒個擦，真實叢集，資料中心180多台的叢集，批處理，流處理，看得我眼花繚亂，好害怕啊~~怕毛啊~直接就上了~部署各種調參數，出問題了甚至弄到晚上2點~北京的同事遠程支援，各種前台背景問題應接不暇，最終成功的上線~（這裡有一點，搞技術的喜歡知根問底，在現場環境中，尤其是這種完全大資料環境，你要的就是不要臉的去問，一點不明白就問，這樣收穫的便是對整個大資料體系的流程與過程的熟知）

　　6、2015年底，項目已經正常運行了一段時間了，在工作中不忘補習各種知識，完善知識體系，然後突然一個點，我似乎全通了。雖然這隻是皮毛~慢慢的。。各個省市的上線，讓我開始覺得就那些東西（這是危險的預兆）

　　7、2016年初，由於某些原因，來到了上海某銀行，這裡是完全的大資料環境，當時其實有點害怕，為什麼呢，因為雖然建立了大資料知識體系，但是實戰經驗還是不足而我更多的是做spark，二話不說直接上手操練，各種折磨的每天12點以後還亮著燈。學習hbase,redis,storm,kafka以及更深入hadoop。。有時甚至有放棄的想法，在巨大的壓力下，每天頂著紅牛，學，練習，學，練習。

　　8、如今，某個時刻，突然又一次覺得，貌似我全都會了！彷彿腦海中能夠感受到資料在各個組件中的傳輸，網路中的傳輸，什麼時候會OOM，JVM佔用，網路通訊。。。也再一次開始應用spark,這一次，讓我激動地每天激情四射，為什麼呢？因為我發現曾經很多不懂的知識點，貌似全通了。。在寂靜的夜晚，想著身邊離開的人，默默地留下了眼淚，你怎麼不等我。

　　總結：技術，是在不斷地更新迭代，但是一定要有一套自己的知識體系，自己的理解，千萬不要認為啊~我會寫這個MapReduce了，我會寫spark後台代碼了，我會用hbase了，我會storm了，就沾沾自喜，看的更遠一點更深一點，你會發現，原來我啥都不會，學無止境！ 堅持！堅持！堅持！堅持！再堅持！用你堅韌的毅力與激情，感染身邊的人，影響身邊的人。

大資料生涯感悟