超人學院大資料技術沙龍

標籤：

頭一次，參加技術沙龍哈哈哈哈哈

第一個牛人演講概要

1.圖計算

2.Tungsten

3.建議

圖儲存與電腦中是一個矩陣，在矩陣中標識各個定點和邊的屬性。

在圖中求取關鍵路徑則需要圖計算，相對於hadoop的技術要快很多。主要因為圖計算的每次迭代都會去掉一些資訊（點和線）。hadoop則是全部在進行運算。所以相對於一些圖的問題，還是圖計算比較快。

圖計算的幾個架構

GIRAPH(開源)、GraphLab(開源，速度快)、GoolgePregel（未開源）

圖計算的應用：

PageRank圖，權重

User_Item Graphs 

Triangle Counting三角形計算

Social NetWorks 社交網路

 

Tungsten比較快，在dateset中自動引用。由於使用了java中的sun.misc.unsafe。不使用jvm的記憶體回收策略，自己控制後大大提升了計算速度。

例如：字串“abcd”正常應該是4個位元組，但是如果是對象的表示則添加object head12位元組，而後還加了一些其他的東西，一共是24位元組。在java中使用unicod儲存，則24*2=48位元組。

這個就是使用jvm的差異，在gcTime中

圖中使用BSP模型

建議：

不一定是分布式就會快，網路傳送資料會有很多的延遲消耗。只要將大資料計算中的模型，基本的原型搞懂，不一定非要分布式才會高效。最好高效的演算法需要自己實現。

巨量資料能力：儲存、計算、查詢、挖據

pasal語言很重要？？？？不知道什麼語言了。媽的

go語言

scala語言

 

超人學院大資料技術沙龍