資料採礦——資料預先處理

標籤：blog   http   io   資料   2014   問題   資料庫   log   

資料預先處理（Data Preprocess）：通過採用資料清理、Data Integration與變換以及資料規約等方法對資料預先進行處理，處理後的資料用於資料採礦。

在當前社會中，由於大資料、資料來源不唯一等原因使得在真實資料庫存放的資料存在雜訊、缺失和不一致的問題。基於資料的資訊挖掘在資料不能保證的情況下，挖掘得到的資訊也很難具有說服力。（地基都沒夯實就去建造高樓大廈誰敢住？）為瞭解決實際中遇到的這些問題，資料預先處理技術順勢產生。常見的幾種資料預先處理的方式主要有：

1.資料清洗。主要用於去除雜訊資料（包括錯誤資料和離群資料）以及解決資料不一致問題；

2.Data Integration。通過資料整合可以將多個資料來源的資料合併為一個統一資料集合。

3.資料變換。在資料變換中常用的操作例如標準化（normalization），可以提高資料採礦的準確性。

4.資料規約。通過資料聚集、屬性子集選擇以及維度規約等方法對資料集合進行簡化表示，但能夠產生同樣的（幾乎同樣的）分析結果。

有關資料預先處理技術的內容將在接下來的章節逐漸展開。