c#WEB轉入大資料HADOOP平台的2014總結

標籤：

       浮浮沉沉的那是流水，起起落落的才是人生嘛。

       抽根煙先～～（各位同學都知道我不抽煙哈，這個，哈哈，思考人生的時候還是會抽根）剛剛和同學吃完飯從濱江路回來，我和他在一起一般都是談談自己的近況。我和他住得不遠，上班離得很近，但是也不經常見面，但是需要對方的時候打個電話，總會在一個電話後及時出現在你的面前（搞得像基友一樣，罪過，罪過）。這個是必須的，我和他也算一種前世修來的緣份吧，認識馬上快10年了，大學同學中，我是他在這裡的唯一，他也是我在這裡的唯一，也許這輩子剩下的時間還得走下去，生活中的坎坷我們互相見證了（這TM怎麼越寫越像寫的一封送不出去的情書呢？打住，太煽情了！！！）。2014年他沒有到達自己的預期，認為自己loser。 每個人在年底多多少少都會給自己的過去一年打個分。我呢，也不例外，也想對自己過去的一年做個回顧。

當時計劃2014年是學個駕照以及那什麼的什麼（自行補腦）。不過人生的計劃永遠趕不上變化。最終在2014年完成的是考過了駕照以及工作崗位調整。

說到駕照，我都感覺我是天才-～～（裝個B不會被雷劈吧？）在2014的末尾以迅雷不及掩耳盜鈴之勢拿到了駕照。用了3個月時間 ，報了一個VIP，花了8K，全部一杆過，無補考。（牛叉撒？）以我的口頭禪就是，這些都是渣渣～～。

而說起我的工作我能滔滔不絕的說個幾天幾夜～～

       去年過年前，領導層年終找各個員工談話的時候，我當時就提出在WEB端走了4年，感覺自己的真的是沒有什麼前進的動力，覺得自己在WEB端所有的東西都掌握了，自以為很牛逼了（其實TM我只是一個不懂得HTTP協議，不懂SOCKET協議，不懂得作業系統原理，不懂資料庫原理，不懂演算法的一個水貨碼農，有多麼的水，就有多水，真實水平菜鳥中的戰鬥機，不是謙虛），所以對領導說轉入底層架構做資料採礦或大資料平台維護與開發，當時領導給的話是讓我在應用系統層帶團隊（其實我想他們當時考慮的從一個WEB轉入底層，無論是從語言（開發語言），平台（作業系統）還是思想（編程思想）還是其它什麼，說實話真的不是一個層次，因為公司需要花精力與金錢來陪養，這在任何一個公司都是不願意的，除非你是一個畢業生）。所以談完話之後，我當時的第一感覺是，難道我餘下的青春只能在這種大街上隨便都能找個代替你的職位上磨下去？跳糟吧，其實在WEB端，你無論是在重慶還是其它什麼城市，它都是有個上限，有個坎的，雖然我有4年工作經驗，開發無障礙（也就出了任何問題我都能解決），但是我跳出去，真心不一定能找到各方面能夠達我要求的，所以我當時想的就是走一步看一步，邊做邊找吧，這就是人生的無奈啊！！！在2013把我累成一條狗後，我就想在2014放鬆自己，讓自己在2014好好的做點其它事情。因此，定的計劃就是學個駕照，買個車開開耍，找個妹子，談談人生，談談理想～～咳咳，我就喜歡談人生與理想，不覺得很高大上嗎？但是在過完年後，意想不到的事情發生了，公司外面招聘的兩個底層資料架構人員被外面的P2P平台高薪挖走（P2P平台要玩的同學小心啊，最近好多跑路的老闆）。公司急了， 領導也急了，沒人？錢多了公司請不起，錢少了別人不來。怎麼辦？嘿，我想應該是想到 我這個自以為很牛掰的小角色了，恩，該我登場了。有一天突然找到我談話，說：“XXX啊，你是想去產品設計呢，還是去底層架構呢？”，哎呀，我的媽吧，機會啊，這種機會能放過嘛？肯定不能啊！我想都沒有想，果斷選去架構組，也想去玩玩大資料處理平台啊，有錢途～～打錯了，有前途啊！！產品這玩意，在我們公司真心不是我這種人能玩得轉的，不是說它有多麼複雜 ，只是我覺得這個東西目前來說不適合我玩。以許過幾年，幹不動開發，我會向產品設計上靠。然後呢，去了，就去了，一切都是新的，一切都是從零開始，真正的從零開始，可是這個崗位的薪資居然就給我調成這個價？？哎想想就TM的不爽，好吧，我承認我實力不濟，我忍了，我一定要努力學習，讓自己對起這個價，甚至要超過這個價。語言使用JAVA，其實吧，和C#一樣基於虛擬機器，但是語言的設計上比C#是差很多（不討論語言之論，免得有人打我）。我呢狠狠心，花了一百多，買了一套基礎書，叫什麼玩意，忘了，真的太基礎，我覺得有了C#基礎，可以直接買JAVA中的聖經—《JAVA編程思想》。說到這本聖經書，哥哥就要經不住吐糟，自己當年的無知啊，這本聖經書，哥哥當年在上大學的時候就在看，當時沒有任何開發經驗，所以看起來很累，效果也不理想，因此後來從事NET開發以後，就把它送個一個同學了，當時還是SB的說：“你拿去吧，我永遠也不會要它了，我永遠也不會使用JAVA語言了。“這是多少青春年少而幼稚的話語。以為擁有了C#就擁有了全世界。可以想想沒有前輩的指導是多麼的可怕。操作是LINUX，哎，完全無經驗，就是各種百度，百度。。。。百度這個垃圾，看到就想打死。GOOGLE這個玩意又被ZF（抱歉，我只能用拼音首字母代替，我怕跨省，所以謝絕一切跨省行為）屏蔽了，沒辦法啊，基本上把常用的一些LINUX命令用熟悉了，工作中基本無問題了，接下來又是學SHELL指令碼，啊，這也是一個痛苦的過程啊，分析學習HADOOP，IMPALA，ZOOKEEPER等一大堆聽沒聽過平台的安裝使用，必須得懂這個指令碼語言，不然，你自己知道它需要哪些目錄，需要哪些環境變數呢？然後就是不停的安裝使用，哎，這個過程，真TM不是一般人乾的，可能是我比較笨吧，反正是太痛苦了，只有人簡單給你說下，剩下你都得自己去搞，如果全部都讓別人搞了，你還有存在的必要嘛？就像如何我們又調一個以前WEB端的同事來架構組（據說還要在外面招人～～我去，我覺得人手應該夠了吧，有5個人了，各位哪個有3-5年以上JAVA服務開發經驗？WEB層端就免了，來了也沒多大用，外面招的人肯定是馬上上手的，不會像我們這種內調的讓你花時間去學的）。很多東西也是只是告訴他要做什麼，至於如何做，讓他自己百度去吧，哥哥也有一大堆東西要做呢！！！

我主要接手的任務是當時選定的一個IMPALA即時資料分析平台搭建作為WEB端日誌儲存與分析。我CA，這個東西畢竟還是很新（領導選了這個東西，其實也不熟悉），實際使用也很少，像我這種什麼經驗都沒有人的更談不上做好了，就在那一個人慢慢摸索，安裝，測試，還得寫JAVA  服務程式提供接串口，啊，那個過程啊，不過還好IMPALA平台8月還是準時上線了（所有配置都是官方的標配，10台物理機，128G記憶體，好爽），期間遇到的最大的一個坑爹的事情就是因為叢集內部防火牆沒有關閉，所以經常造成在更新中繼資料的時候通訊中斷，這個問題真是找了好久才找到的。所以給那些使用IMPALA的同學提個醒，當然，我不知道是否有什麼秘密開關，如果有的話，也請告之。其實每天的資料量到不是很大，大概在220W左右，一年大概8億條資料，相比於真正的大資料處理，這點資料就是渣渣。

       其實中間的心酸沒有真不是這幾行字能夠表達的，對於2014取得成就，我還是比較滿意的，人生職業規劃是再花兩年，不！！一年，一年時間再一次去提升自己，既然給了我這個機會，為什麼不把握？2015年新的一年，前不久，我在公司也寫了一個簡單的計劃，研究MHOUT演算法架構，能夠根據以有的曆史資料進行基本使用者個性推送，進一步研究學習impala平台 （貌似有被spark取代的趨勢，不過取代也好，IMPALA是用C++寫的，真心傷不起，想要調試太難了！！看起也難），研究學習HADOOP平台（至今還沒有看過原始碼呢），HBASE資料庫研究學習與使用。那個flume可能也得看看，是否需要取代我們現有的日誌記錄流程。

       2015，日拱一卒，總能成長起來。生活中，也是想讓自己更加的豐富，多找朋友耍耍，多出去走走，不要老宅在家。免得自己越來越孤寂。

       嗯，那誰誰結婚了，那誰誰又懷起了，那誰誰準備準備要結了，那些誰誰我就不點名了，NND的，就在我敲字的時刻，居然有人還丟紅色炸彈過來～～傷不起啊！！！！！

c#WEB轉入大資料HADOOP平台的2014總結