機器學習已成為大資料的基石

機器學習幾乎無處不在，即便我們沒有專程調用它們，它們也經常出現在大資料應用之中。 我曾經在博客中描述了一些典型的大資料使用案例。 換句話說，這些應用都能夠在「極端情況下」提供最佳的結果。 在結尾部分，我還提到了拍位元組級資料容量、即時資料速度和/或多結構資料多樣性的結合。

當時我還列出了一個應用清單，在收集過程中刻意避開了「機器學習分析」。 主要原因是，儘管在這些使用案例中機器學習即便不是主要的，也是一個常用的工具，但是它們自身並不是一個使用案例。 換句話說，它們不是一個憑藉自身力量而形成的特殊應用域。 出於同樣的原因，我也沒有像大資料使用案例那樣列出模式設計、中繼資料管理或資料整合。 但與機器學習一樣，它們也都為實現大資料分析應用的價值做出了自己的貢獻。

機器學習對大資料應用投資回報的貢獻主要體現在兩個方面：一是促進資料科學家們的多產性;二是發現一些被忽視的方案，有些方案甚至遭到了最好的資料科學家們的忽視。 這些價值來自于機器學習的核心功能：即讓分析演算法無需人類干預和顯式程式即可對最新資料進行學習。 解決方案允許資料科學家們根據典型資料集創建一個模型，然後利用演算法自動概括和學習這些範例和新的資料來源。

許多情況下，機器學習是大資料創新的最佳投資回報。 對機器學習的投資能夠深化任何對企業定制的大資料案例。 這是因為機器學習演算法在容量、速度和類型(即大資料的3個V特性)中正變得日益高效。 正如Mark van Rijmenam在近期有關機器學習的文章中所說的那樣：「處理的資料越多，這種演算法就越能體現出優勢。 」他認為，包括語音與面部識別、點擊流處理、搜尋引擎優化、推薦引擎在內，許多機器學習應用可能被描述為意會分析法(sense-making analytics)。

意會分析法需要對從資料流程中推斷出來的使用者語義方式、內容和重要性進行持續監控。 為了支援意會的自動化，機器學習演算法必須要經常性地處理一些極為複雜的東西。 這其中包括組成物件或環境中隱藏的語義分類，這需要通過多種不同的資料流程即時收集整體含義。 這些資料流程必須包括不同的物件，例如資料、視頻、圖像、語音、表情、動作、地理資訊和瀏覽器點擊等元素。 通過機器學習從這些資料流程中自動提取出來的含義，可能會混合有認知、情感、感覺和意志特徵。

為了在這些素材當中找到線索，「深入學習」(deep learning)成為了大資料科學家的機器學習指令系統中的一個重要工具。 正如van Rijmenam所說的那樣，利用神經網路開展的深入學習有助於從這些資料流程中提取感知能力，因為這些資料流程可能涉及組成物件之間語義關係的層次結構安排。 「深入學習能夠打破資料中具有不同特點的組成成分之間的隔閡，利用這些特點從中找出不同的特徵組合，從而搞清楚它們看到了什麼或者是正在做什麼。 」van Rijmenam說。

顯然，對於創建能夠感知和處理動態分散式方案的環境來說，機器學習一個基礎性工具。 人類對即時威脅和恐怖主義活動、自然災難、颶風等其他威脅的偵測與應對能力，取決於對海量資料中的資訊進行自動篩選、分類和關聯。 如果沒有這種能力，那麼人類就有被「淹死」在大資料海洋之中的危險。

36大資料知識圖譜：關於機器學習

機器學習(Machine Learning, ML)是一門多領域交叉學科，涉及概率論、統計學、逼近論、凸分析、演算法複雜度理論等多門學科。 專門研究電腦怎樣類比或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能。

它是人工智慧的核心，是使電腦具有智慧的根本途徑，其應用遍及人工智慧的各個領域，它主要使用歸納、綜合而不是演繹。