大資料行業裡的兩大誤區

標籤：http   os   io   strong   檔案   資料   ar   問題   

http://www.cognoschina.net/club/thread-68835-1-1.html

http://www.cognoschina.net/club/thread-68837-1-1.html

大資料行業裡的誤區

　　大資料這個詞，恐怕是近兩年IT界炒的最熱的詞彙之一了，各種、會議，言必談大資料，“大資料”這個詞，在IT界已經成了某果一樣的“街機”或者叫 “街詞”，不跟風說兩句“大資料長，大資料短”都不好意思跟人說自己是搞IT的。從某種程度來講，大資料這個“圈”太亂了，一點不比“貴圈”好。

　　先從概念上來說，大資料是什嗎？其實資料處理從人類誕生時期就有了，古人結繩記事就是基本的統計，統計自己吃了幾頓飯打了幾次獵等等；再往近說，皇帝每晚翻 嬪妃的牌子也是資料處理，在翻牌子之前，要從一大堆牌子裡分析“方便”、“熱度高”、“新鮮度”等指標；更近的說，資料倉儲早在大資料這個詞出現前就已經 成熟發展了好幾十年了。所以說，大資料並不新鮮，只是某些技術如Hadoop、MR、Storm、Spark發展到一定階段，順應這些技術炒出來的概念， 但是這些概念都基於一個基本的理念“開源”，這個理念是之前任何階段都沒有過，可以節省費用提高效率，所以大家才都往這個行業裡扔火柴（話說現在很多人跟 風亂吵，個人認為也不是壞事）。


誤區一：只有搞大資料技術開發的，才是真正“圈內人”。

　　筆者曾經參加過若干會議，70%是偏技術的，在場的都是國內各個資料相關項目經理和技術帶頭人，大家討論的話題都是在升級CDH版本的時候有什麼問題，在處 理Hive作業的時候哪種方式更好，在Storm、Kafka匹配時如何效率更高，在Spark應用時記憶體如何釋放這些問題。參會者都一個態度：不懂大數 據技術的人沒資格評論大資料，您要不懂Hadoop 2.0中的資源配置，不懂Spark在記憶體的駐留時間調優，不懂Kafka採集就別參加這個會！對了，最近Google完全拋棄MR只用Dataflow 了，您懂嗎？不懂滾粗！

　　在這裡我想說，技術的進步都是由業務驅動的，某寶去了IOE才能叫大資料嗎，我作為一個聾啞人按摩 師用結繩記事完成了對於不同體型的人，用什麼按摩手法進行全流程治療，就不叫大資料分析了嗎？技術發展到什麼程度，只有一小部分是由科學家追求極致的精神 驅動，大部分原因是因為業務發展到一定程度，要求技術必須做出進步才能達成目標的。


所以，真正的大資料“圈內人”至少要包含以下幾種人：

　　一、業務運營人員。 比如互連網的產品經理要求技術人員，必須在使用者到達網站的時候就算出他今天的心情指數，而且要實現動態監測，這時候只能用Storm或者Spark來處理 了；比如電信電訊廠商要求做到即時營銷，使用者進入營業廳的時候，必須馬上推送簡訊給使用者，提示他本營業廳有一個特別適合他的相親對象（呈現身高、三圍、體重 等指標），但是見面前要先購買4G手機；再比如病人來到銀行開戶，銀行瞭解到使用者最近1周曾經去醫院門診過兩次，出國旅遊過3次，帶孩子遊泳兩次，馬上客 戶經理就給客戶推薦相關的銀行保險+理財產品。這些業務人員，往往是驅動技術進步的核心原因。

　　二、架構師。架構師有多麼重 要，當一個業務人員和一個工程師，一個說著業務語言，一個說著技術術語在那裡討論問題的時候，工程師往往想著用什麼樣的代碼能馬上讓他閉嘴，而架構師往往 會跳出來說“不，不能那樣，你這樣寫只能解決一個問題並且會製造後續的若干問題，按照我這個方案來，可以解決後續的若干問題！”一個非技術企業的IT系統 水平，往往有70%以上的標準掌握在架構設計人員手裡，儘快很多優秀的架構師都是從工程師慢慢發展學習而來的，IT架構的重要性，很多企業都意識到了，這 就是很多企業有CTO和CIO兩個職位，同樣重要！架構之美，當IT系統平穩啟動並執行時候沒人能感受到，但是在一個煙囪林立、架構混亂的環境中走過的人眼 中，IT開發一定要架構現行，開發在後！

　　三、投資人。老闆，不用說了，老闆給你吃穿，你給老闆賣命，天生的基礎資料提供者，老闆說要有山便有了山，老闆說要做即時資料處理分析，便有了Storm，老闆說要做開源，便有了Hadoop，老闆還說要做迭代挖掘，便有了Spark……

　　四、科學家。他 們是別人眼中的Geek，他們是別人眼中的高大上，他們是類似於霍金一樣的神秘的早出晚歸晝伏夜出的眼睛男女，他們是驅動世界技術進步的核心力量。除了世 界頂級的IT公司（往往世界技術方向掌握在他們手中），其他公司一般需要1-2個科學家足以，他們是真正投身於科學的人，不要讓他們去考慮業務情境，不要 讓他們去考慮商務程序，不要讓他們去計算成本，不要讓他們去考慮項目進度，他們唯一需要考慮的就是如何在某個指標上擊敗對手，在某個指標上提高0.1%已 經讓他們可以連續奮戰，不眠不休，讓我們都為這些科學家喝彩和歡呼吧。在中國，我認為真正的大資料科學家不超過百人……

　　五、工程師。工 程師是這樣一群可愛的人，他們年輕，衝動，有理想，又被人尊稱為“屌絲”“鍵盤黨”，他們孜孜不倦的為自己的理想而拼搏，每次自己取得一點點進步的時候， 都在考慮是不是地鐵口的雞蛋灌餅又漲了五毛錢。他們敏感，自負，從來不屑於和業務人員去爭論。工程師和科學家的不同點在於，工程師需要頻繁改動代碼，頻繁 測試程式，頻繁上線，但是最後的系統是由若干工程師的程式碼群組合起來的。每個自負的工程師看到系統的曆史代碼都會鄙視的發出一聲“哼，這垃圾代碼”，之後便 投入到被後人繼續鄙視的代碼編寫工作中去。

　　六、跟風者。他們中有些是培訓師，有些是殺馬特洗剪吹，有些是煤老闆有些是失足 少女。他們的特點就是炒，和炒房者唯一不同的就是，他們不用付出金錢，他們認為只要和資料沾邊就叫大資料，他們有些人甚至從來沒碰過IT系統，他們是渾水 摸魚、濫竽充數的高手，他們是被前幾種人鄙視的隱形人。不過我想說，歡迎來炒，一個行業炒的越凶，真正有價值的人就更能發揮自己的作用。


誤區二：只有大資料才能拯救世界

　　大資料目前的技術和應用都是在資料分析、資料倉儲等方面，主要針對OLAP（Online Analytical System）， 從技術角度來說，包含我總結的兩條腿：一條腿是批量資料處理（包括MR、MPP等），另一條腿即時資料流處理（Storm、記憶體資料庫等）。在此基礎上， 部分情境又發現MR架構或即時架構不能很好的滿足近線、迭代的挖掘需要，故又產生了目前非常火的基於記憶體資料處理Spark架構。很多企業目前的大資料框 架是，一方面以Hadoop 2.0之上的Hive、Pig架構處理底層的資料加工和處理，把按照商務邏輯處理完的資料直接送入到應用程式資料庫中；另一方面以Storm流處理引擎處理實 時的資料，根據業務營銷的規則引發相應的營銷情境。同時，用基於Spark處理技術叢集滿足對於即時資料加工、挖掘的需求。

　　以上描述可以看出，大資料說白了就是還沒有進入真正的交易系統，沒有在OLTP（Online Transaction system）方面做出太大的貢獻。至於很多文章把大資料和物聯網、泛在網、智慧城市都聯絡在一起，我認為大資料不過是條件之一，其餘的OLTP系統是否具備，物理網路甚至組織架構都是重要因素。

　　最後還想說，大資料處理技術，再炫如Google的Dataflow或成熟如Hadoop 2.0、資料倉儲、Storm等，本質上都是資料加工工具， 對於很多工程師來說，只需要把資料處理流程搞清楚就可以了，在這個平台上可以用固定的模版和指令碼進行資料加工已經足夠。畢竟資料的價值70%以上是對業務 應用而言的，一個炫詞對於業務如果沒有協助，終將只是屠龍之術。任何技術、IT架構都要符合業務規劃、符合業務發展的要求，否則技術只會妨礙業務和生產力 的發展。

　　隨著時代變遷，大浪淘沙，作為資料行業的一員，我們每個人都在不同的角色之間轉換，今天你可能是科學家，明天就會變成架構師，今天的工程師也會變成幾年後的科學家，部分人還終將步入跟風者的行列。

 

誤區三：資料量特別大才叫大資料

　　在 “資料界”存在這樣有一波人，他們認為“只有Peta級以上的才叫大資料，甚至到了Zeta以上才叫大資料，目前還沒有到真正的大資料時代！”，每次聽到 這樣的話，我就知道這些人受IOE某巨頭的4V理論中的“容量”影響太巨大了。對此，我想說的第一句話是“盡信書不如無書，盡信巨頭不如去IOE”，去 IOE不只是要從硬體做起，還要從思想上敢於挑戰巨頭做起，儘管很多IT界的經典理論都是傳統巨頭提出的，但是隨著挑戰者的出現，萌發了新的思想和技術 後，傳統巨頭會被慢慢顛覆，這也是我們人類前進向前的一個重要因素。如果我們還停留在迷信巨頭的時代，如此刻板教條的去追求一個概念，那麼就不會有現在的 Hadoop，不會有現在的Spark，不會有現在的特斯拉，不會有機器學習人工智慧，更不會有未來的第N次工業革命。

　　首先我想強調，大 資料技術真的不是一個新鮮詞，在之前的文章中我已經說過，大資料的本質還是資料，資料這個行業已經發展了若干年，而資料量的規模永遠是超出該時代的想象 的，比如十幾年前，一張磁碟片的資料量也就1.44M，當時的資料如果達到1T都讓旁人咂舌。那麼按資料量的標準，當時如果有人收集了1T資料就已經進入大 資料時代了嗎？顯然不是！所以我想說，資料量的大小並不是衡量大資料的標準，如果按資料量去判斷是否大資料的話，那麼“大資料”這個詞真的是一個偽命題， 就如同“老虎比如是老的，小夥必須是小的，巨頭必須是腦袋大的，飛人必須是長翅膀的”這種純粹字面意思去定義的話題一樣。

　　那麼再回過來說，大資料的概念是什嗎？首先，大資料是一個完整的生態體系，從資料的產生、採集、加工、匯總、展現、挖掘、推送等方面形成了一個閉環的價值鏈，並且通過每個環節的多種技術處理後，為所在業務情境提供有價值的應用和服務。其次，大資料的核心是什嗎？一方面是開源，一方面是節流， 目前大資料技術的核心目標都是通過低成本的技術更好的滿足對資料的需求（尤其是處理近年來更多的非結構化資料），並在在滿足需求的基礎上儘可能多的為企業 節省投資。說一千道一萬，大資料的核心理念還是滿足應用需求，有明確目標的技術叫生產力，沒有營運目標的技術叫“浪費生命力”。


誤區四：為了大資料而大資料

　　這個誤區我認為是目前最嚴重的。在部分企業中，追求技術一定要最新、最好、最炫，一定要拿到國際先進、世界一流才行。所有的企業，不分行業不分性質不分地區 不分年代，一律高喊“趕超BAT，大資料助力**企業達到**目標”，接下來就是先去IOE，然後投資買叢集，把之前的各種高效能小型機大型主機都不用了， 之前買的O記授權全部停了，之前的幾十年投資一夜之間作廢，又投入了更多的資源去追趕“大資料”。

　　同學們，這種勞民傷財的事情相信大家每天都會聽到或者親眼看到，很多企業不計成本就是為了博領導一笑，這得是多麼大的誤區啊。對此我想說：

　　第一，從技術上來說，比如BAT或者很多互連網企業去追求大資料，是因為業務發展的需要。任何一個互連網企業一出生就是為了流量和點擊而活著，這就意味這大 量的非結構化資料需要進行快速處理，這時候就決定了互連網企業只能通過一些並發手段去分解底層的資料，然後進行快速加工，並滿足其服務使用者和市場的需要。 互連網企業的商務程序和業務模型就決定了必須得採用大資料技術。反之，很多企業根本用不著這些技術，有些企業簡單的一兩個Excel檔案裡面做幾個公式就 可以滿足它的發展，而且資料的周期還是按月處理的，根本不需要運用這些技術。

　　第二，從投資上來說，互連網企業出生都是平民，根本買不起大 型裝置，就算一夜暴富後，也沒有一個傳統的小型機大型主機可以更好的滿足它們的發展，故只能另闢蹊徑創造價值鏈和標準了，在之前的低投資、輕量級架構上，不 斷進行小量的線性硬體投資滿足業務的發展。反倒是一些傳統企業，甚至是巨無霸，其投資計劃已經在一年前明確，而且在原來的基礎上投資會更有ROI（投資回 報率），現在反倒為了追求大資料的口號，犧牲了之前的大量投資，除了“得不償失”，剩下的只能是滿地的節操了。

　　大資料技術甚至任何一種技 術都是為了滿足特定的營運目標而生的，在具備了明確的業務目的後，順勢設計符合自身業務架構的技術架構，才是一種科學的健康的發展觀。如果您是一位老闆、 CEO或者投資人，千萬要明白，大資料技術對於企業來說，有時候像水，而企業的營運目標就是那艘船，“水能載舟，亦能覆舟”。

　　隨著生產關 系的不斷調整，又會出現若干輪生產力的不斷進步，大資料之後的技術也會日新月異的進步著，比如現在開始潮流湧現的“機器學習、深度學習”等諸多的人工智慧 方面的技術，也出現了比如“小資料”、“微資料”等更細方向技術的細分，在技術的洪流到來時，只要保持清晰的以滿足業務為導向的頭腦，根據自身的業務需要 設計自身的技術架構，就不會被各種流派，各種概念淹沒。