讀懂BI商業智慧與大資料應用的區別

標籤：

之所以要區分大資料應用與BI(商業智慧)，是因為大資料應用與BI、資料採礦等，並沒有一個相對完整的認知。

BI（BusinessIntelligence）即商務智能，它是一套完整的解決方案，用來將企業中現有的資料進行有效整合，快速準確的提供報表並提出決策依據，協助企業做出明智的業務經營決策。

伴隨著BI的發展，是ETL，Data Integration平台等概念的提出。ETL，Extraction Transformation Loading，資料擷取、轉換和下載，Data Integration平台主要功能對各種業務資料進行抽取和相關轉化，以此來滿足BI、資料倉儲對資料格式和內容挖掘的要求。

Data Integration平台的基礎工作與ETL有很大的相似性，其主要功能是實現不同系統不同格式資料地抽取，並且按照目標需求轉化成為相應的格式。Data Integration開始是點對點的，慢慢地發現這種模式對於系統之間，不同所有權的企業資料流向以及資料標準控制很難，為此，誕生了對統一企業資料平台的需求，來實現企業級之間的資料互動。

Data Integration平台就像網路中Hub，可以串連所有應用系統，實現系統之間資料的互連有無。Data Integration平台以BI、資料倉儲需求而產生，現在已經跨越了最初的需求，上升到了一個更高的階段。

如今大資料應用更多關注非結構化資料，更多談論互連網，Twitter、Facebook、部落格等非結構化資料，如此理解大資料應用，顯然就有些走偏了。結構化資料也屬於大資料，且呈現出相同的特點和特徵，如資料量大，增長越來越快，對資料處理要求高等。

結構化資料是廣義大資料中含金量或者價值密度最高的一部分資料，與之相比，非結構化資料含金量高但價值密度低。在Hadoop平台出現之前，沒有人談論大資料。資料應用主要是結構化資料，多採用IBM、HP等老牌廠商的小型機或伺服器裝置。

採用傳統方法處理這些價值密度低的非結構化資料，被認為是不值得的，因為其產出實在是有限。Hadoop平台出現之後，提供了一種開放的、廉價的、基於普通商業硬體的平台，其核心是分布式大規模平行處理，從而為非結構化資料處理創造條件。

大資料應用的資料來源應該包括結構化資料，如各種資料庫、各種結構化檔案、訊息佇列和應用系統資料等，其次才是非結構化資料，又可以進一步細分為兩部分，一是社交媒體，如Twitter、Facebook、部落格等產生的資料，包括使用者點擊的習慣/特點，發表的評論，評論的特點，網民之間的關係等，這些都構成了大資料來源。另外一部分資料，也是資料量比較大的資料，就是機器裝置以及感應器所產生的資料。以電信行業為例，CDR、通訊記錄，這些資料都屬於原始感應器資料，主要來自路由器或者基站。此外，手機的置感應器，各種手持功能、門禁系統，網路攝影機、ATM機等，其資料量也非常巨大。

對於分析大資料的工具，目前所有的分析工具都側重於結構化分析，例如針對社交媒體評論方向的分析，根據特定的詞頻或者語義，通過統計正面/負面評論的比例，來確定評論性質。如果有一個應用系統是接收結構化資料的，例如一個分析系統，接收這些語義就可以便於分析。

讓大資料應用落地，其中的關鍵在於與行業應用的深度融合。

公安行業的視頻影像處理是一個特定應用領域，傳統BI、ETL工具拿這些資料沒有辦法，採用分布式Hadoop進行處理能夠帶來很好的效益，因為Hadoop可以處理資料量足夠大。公安行業實際上已採集了大量視頻影像資料，利用這些資料，可以追蹤一個嫌疑犯的行蹤，什麼時間在全國哪些地區出現過。這些應用不可能單純依靠人的力量，需要藉助Face Service、Image Recognition技術、模式處理，資料壓縮等技術，需要海量處理軟體，抓出相關特徵，協助公安人員提高工作效率。

在電信行業，計費系統實際上是對各種資料進行整合後的結果，是一個縮小的資料。藉助大資料應用，電訊廠商可以原始大資料進行分析，例如分析感應器資料是否有異常，從而判斷裝置異常等，這些都是一些用傳統BI工具無法實現的分析，其結果往往會出乎意料，協助電訊廠商提高服務水平以及使用者的滿意度。

在互連網行業，通過分析手機上網軌跡，可以分析瞭解客戶群，瞭解使用者的偏好，此外，擷取地理位置的資訊，也具有特定價值。

從這些行業大資料應用分析來看，一個是視頻影像處理，一個是日誌分析，另外一個是處理特定檔案格式的分析處理，彼此之間顯然沒有任何通用性的特點，其共同點就是利用了廉價的大資料處理平台。

讀懂BI商業智慧與大資料應用的區別