【大資料論文筆記】大資料技術研究綜述

標籤：style   blog   http   os   ar   檔案   資料   sp   2014   

大資料的基本概念：

1.大資料的產生

       a.科學研究

       b.物聯網的應用

       c.海量網路資訊的產生

2.大資料概念的提出

3.大資料的“4V”特徵

        a.Volume（容量大）：大資料巨大的資料量與資料完整性

        b.Variety（種類多）：要在海量、種類繁多的資料間發現其內在關聯

        c.Velocity（速度快）：更快地滿足即時性需求

        d.Value（價值密度低）：將資訊轉化為知識

4.大資料的應用領域

        a.商業

        b.金融

        c.醫學

        d.製造業

大資料的處理流程

 

1.資料擷取

2.資料處理與整合（過濾）

3.資料分析（核心）

4.資料解釋（資料視覺效果）

大資料關鍵技術

1.雲端運算和MapReduce

雲端運算：

       a.服務IaaS

       b.平台即服務PaaS

       c.軟體即服務SaaS

MapReduce：

 

2.Distributed File System

GFS：主要採取主從結構（Master-Slave）,通過資料分塊、追加更新等方式實現海量資料的高速儲存

3.分布式並行資料庫

BigTable：

NOSQL：

4.開源實現平台Hadoop

5.大資料視覺效果

 

大資料帶來的挑戰：

1.大資料的安全與隱私問題

2.大資料的整合與管理問題

        a.資料存放區

        b.資料清洗

3.大資料的IT技術架構問題

        a.大資料分析技術

        b.資料融合

        c.大資料能耗問題

4.大資料的生態環境問題

【大資料論文筆記】大資料技術研究綜述