【Hadoop】如何形象描述大資料生態？

標籤：

千歲大王
連結：https://www.zhihu.com/question/27974418/answer/39845635
來源：知乎
著作權歸作者所有，轉載請聯絡作者獲得授權。

Google內部早就開始玩大資料，發現時代跟不上他們的節奏，擔心技術後繼無人，於是發表了三篇論文（搜下gfs bigtable mapreduce）。有幾個工作不飽和，整天沒事乾的人，想搞個開源的網頁搜尋（lucene nutch）。看到那三篇論文被震驚了，於是開始依葫蘆畫瓢，在一個二流的互連網公司(Yahoo)開始實踐。這正中Google下懷。倒騰幾下，出來了一頭大象（hadoop），這隻是個代號而已。大資料，不僅僅是儲存海量的資料，更強調利用好資料的價值，這就是分析和計算。好比一個龐大的原子彈研發團隊，愛因斯坦只有一個，把愛因斯坦壓榨成瘋子模樣也只是杯水車薪，但是可以往裡面投入能力差一點、各個大學、研究機構量產的、也有一定能力的學渣們（我靠），來一起搞，人海戰術被證明是可行的，因為cpu不就是很多二極體（2貨們）組成的嘛。每個學渣要能記住一些資訊和處理一些資訊。這就是分布式儲存和計算（hdfs mapreduce），上層由愛因斯坦之類的來統一把控。好吧，開始跑，羅斯福問愛因斯坦，學渣們靠得住嗎。愛因斯坦回答，這個系統本來就假設學渣們靠不住，他們天天dota，泡妹子，但系統有足夠好的容錯性，一個不行就換另一個，一個太慢就兩個一起跑，誰快用誰，內部還有信用機制和黑名單呢。羅斯福說，我看行。  

【Hadoop】如何形象描述大資料生態？