AshPatel：大資料的四個趨勢

Morado Ventures是由雅虎前高管阿什·派特爾(Ash Patel)注資發起的早期的天使基金。 在「」2013雲世界大會「上，Ash Patel用他們投資過的企業案例，來解說大資料的四個趨勢，以及你用資料可以做什麼。 第一個趨勢，即時的資料的分析。 看一下全球的情況，有90億的設備是和互聯網相關的，到2020年會有150億的設備，包括手機、機器、感應器。 我們的資料量是不斷爆炸的，機器量會比人們原來帶來的資料大很多，這是一個大的趨勢。 舉一個例子，比如我這次坐的飛機，每小時會帶來22T的資料。 每天24小時生成的資料是非常巨大的，我們生活在這個世界當中，每一分鐘都有不同的資料產生。 資料在現階段是最有效的，所以在全球我們必須進行即時的資料處理。 不進行資料處理，你都沒有辦法進行很好的儲存，這就是我們為什麼要考慮對即時的資料進行處理。 我們曾經投資過一家公司，叫做DATA TORRENT。 Hadoop會處理你的資料，每天每小時會發給你報告，告訴你資料的變化。 對於DATA TORRENT也是這樣的，在Hadoop上可以利用這樣的架構，給你一個即時的可精簡的流資料。 你可能只有一個小的硬體，每小時、每分鐘你都可以處理很多的資料，做一些可預測的分析。 為什麼這一點是非常重要的?因為你可以進行即時的資料的監測，也可以讓業務的狀態即時的來進行更新。 這就是我們所說的即時的平臺，它的即時性是非常重要的。 現在很多回饋都可以生成資料，像金融行業。 金融詐騙發生的時候，你需要找到金融詐騙的管道。 或者在石油鑽井的平臺上，你發現哪一口井的油壓發生的問題，這都是需要即時資料分析的。 圖像就是一個一個的節點聚在一起，放在一起資料量是非常大的。 在Hadoog資料當中，我們通過一定的形式來存儲資料。 現在全球的形勢是非常複雜的，社交網路實際上就是圖表的一種。 運輸網路、供應鏈等等這些設備，一個機器是來自于全球幾千個部件組合在一起的，每一個企業都有自己的運輸網路。 如果有一家企業出現了問題，或者他們的運輸線，或者鐵路線出現了問題，你要對圖表進行分析，測量它產生的影響。 這是很難的，因為對於圖表的分析，這也是大資料分析當中很困難的一點。 這方面也有一個技術，我們對其進行了投資。 充分的利用圖表當中有效的數位進行不斷的擴展和升級。 為什麼圖表的資料非常重要?比特幣最近炒的很熱。 在銀行帳戶當中裡可以進行資金的轉移，如果你想知道這個人是不是在「洗錢」。 A把錢給了B，在金融的交易當中，正常的銀行帳戶會有一個記錄，錢從帳戶A挪到了帳戶B。 但是現在有上百萬的金融資料，你想追蹤，從A帳戶到B帳戶，你沒有資料庫就沒有辦法來做。 對於客戶來說也有一些客戶的資料，我們可以通過幾百萬的資料中來看A是不是給B發送了錢。 所以對於金融行業來說這也是非常重要的。 這就是我們所說的圖表的重要性。 對於圖表型的資料，你可以進行分析，它不僅僅應用在社交網路，還可以應用在其他的領域，像基礎設施。 另外一個趨勢，隨著人們大量的使用雲計算，你有沒有能力管理。 人們已經看到了這種變化，就像集裝箱把一個東西發送到另一個地點。 在軟體的領域你沒有辦法很容易的把軟體像集裝箱一樣打包進行轉移。 但有一家企業docker他們可以讓人們將資料打包，應用可以很容易的像集裝箱一樣打包。 現在在雲上每個人都在用虛擬化，打包的方式變得更加的容易。 可以把你的網路流程進行分類，不一定是只有虛擬化才能夠實現。 你有整個的操作體系，你有你的硬體，在這個基礎之上你有自己的瀏覽器，對於每一個應用都要進行收集，在此基礎之上進行分析。 這是很複雜的流程，docker公司可以將你的軟體進行打包，放在集裝箱當中，可以在同一個作業系統上部署。 你可以更加的準確應用所有的應用，我們可以通過虛擬化的方式獲得所有的收益。 這家公司有開源的軟體，google等其他的合作夥伴都在與他合作。 docker未來可以做更多的事情，可以把整個流程打包，從開發生產到拓展實現一體化，以非常簡單的方式就可以實現。 最後一個趨勢，軟體定義資料中心。 出現雲之前，所有技術都是基於硬體基礎之上的，現在我們需要對架構進行重新的思考。 老的資料中心有一些機器有比較低的平衡度，這是非常常見的資料中心的結構，發明了雲之後，我們可以對硬體進行應用虛擬化，在雲的環境當中運行。 看一下網路，這個網路仍然是硬體，我們需要進行串聯，現在有辦法進行一些改變。 所以現在的計算是由軟體所定義的。 有一家公司PLURIBUS提供的設備可以對整個架構進行虛擬化，對路由等等都進行虛擬化。 隨著拓展，隨著加入新的客戶，你可以把整個網路進行重新的配置，在軟體上就可以實現，不需要更大的變革。