資料採礦概述

最近有機會接觸到一些資料採礦的東西.
個人感覺,這項技術一定會有較大的發展前景.
所以藉助這篇文章,闡述一下自己對資料採礦(Data Mining)的看法.
並一步一步地解釋資料採礦技術的概念.

(一)資料採礦的產生

資料存放區技術的發展與應用:
任何技術都必須與應用相結合.資料採礦的應用是建立在資料存放區的基礎上的.簡單地來說.
在過去的10年裡.Internet的廣泛應用以及企業的資訊管理整合導致了資料存放區技術的迅速發展

企業們已經習慣於將過去的紙面工作遺植到電腦上進行.資料庫的使用為這項工作提供了基礎.
也湧現了一大批優秀的資料庫管理系統,類似於Oracle , Sqlserver. DB2 等等..但總的來說,這些資料庫
都提供了同一個功能:資料存放區.

人們可以自行構件程式來使用和管理這些資料.最初的應用聚集在檢索和更新2項上.舉個簡單的例子:
當我們在cnblogs上提交一份隨筆時.文章的實際內容將被運行於伺服器端的Web應用程式提交到一個
資料庫(一張表)裡.
有人希望瀏覽它時,Web應用程式又會從資料庫中將它檢索出來.並通過網路將內容發送到瀏覽者的瀏覽器上.
我們也可以刪除該隨筆,資料庫會負責將該文章的記錄刪除掉(或者是更新一個IsDeleted欄位)

出現的問題:海量資料和資料墳墓:
海量資料是一個很形象的詞彙.
一個大型超市(我確信它應用了銷售管理系統)每天能產生多少銷售記錄?
回答是:上萬條.
一年能產生多少資料?
回答是:海量資料.

但是,資料集是否能稱作資料墳墓並非以資料的多寡來界定的.
當資料集多到失去意義的時候,便墮落成資料墳墓了.

以大型超市的銷售記錄為例,檢索任何一條銷售記錄都失去了意義.
這些龐大的銷售記錄老實地呆在資料庫裡,10年沒人去問候.也不會有任何人有精力去一條條地檢索.
單純地儲存他們沒有任何好處...也沒有為企業帶來任何的價值.
因為它實在是太巨大了.

統計.挖掘的雛形:
有人會說:我們面對大量銷售記錄的時候.當然不會去一條一條地檢索,而是形成一張統計報表,提交到銷售
經理的辦公桌上.銷售經理可以從上面查看今年的銷售記錄,每個季度的銷售記錄,每月平均銷售記錄等等.
這些,利用資料庫是可以很容易辦到的.當然有很多企業也確實這樣做了.

大量的企業表示:我們的管理系統能夠做到這樣,已經足夠了,我們很滿意.
但是.在競爭如此激烈的經濟世界中,有人提出:
儲存在資料庫中的資料,是否只能提供這些?它們是否蘊涵了更多的知識和規律,我們並沒有成功的
發現.
我們的銷售經理在決定下一年的銷售策略時,往往會研究最近幾年的銷售額統計.而策略的決定僅僅依靠這些
仍然顯得太主觀.於是有一種感覺漸漸形成:我們沒有充分利用我們以有的資料.

資料採礦:
是否覺得資料採礦仍然顯得很空乏
一個具體的例子可以說明問題:
在資料採礦中,有一個非常典型的應用,被稱為購物籃分析.
在決定超市下一年貨物架擺放方法時,銷售經理總是主觀地把麵包和牛奶放在一塊.但貨物實際上
是非常多的.除了主觀地決定策略,銷售經理還希望他們的系統能夠通過已有的銷售記錄給出一些更直觀的
提示,甚至是直接形成一張貨架擺放圖.依據是:顧客通常更習慣於把什麼樣的貨物放在構物車裡.

所以,新的系統需要自動地從資料中挖掘出規律和對決策制定有協助的資訊.

這樣,資料採礦便產生了.
經曆了:
資料存放區技術--->統計--->資料採礦與決策支援
產生的原動力是企業對"通過曆史資料制定決策"的期望.
資料採礦的定義最後也很容易的歸結為:從海量資料中提取有價資訊和知識".