Splunk 會議回顧: 大資料的關鍵是機器學習，splunk回顧

Splunk 會議回顧: 大資料的關鍵是機器學習，splunk回顧

作者 Jonathan Allen ，譯者 張曉鵬 

Splunk的使用者大會已經接近尾聲。三天時間的會議裡，共進行了160多個主題研討，涵蓋了從安全、運營到商業智慧，甚至包括物聯網，會議中一遍又一遍出現相同的中心主題：大資料的關鍵是機器學習。

儲存不再是一個問題。從運行Hadoop相容節點的專用儲存硬體，到數百台使用普通硬碟的電腦群組成的叢集，毫無疑問，我們具備了處理這類儲存問題的能力。另一方面，像Splunk這樣的分析和視覺化檢視也應運而生。如果你知道你要找什麼，這些工具可以很快給你所需要的答案。

但是，你應該找什麼呢？對於絕大多數的基層供應商來說，問題的答案就在機器學習裡面。無論你是在談論網路流量、使用者行為，或者是消費趨勢，這都不要緊，你能真正洞察你所監控的東西的方式是找到資料中的模式和相關性。雖然人類操作員可以通過試錯法蹣跚而行，但他們相信，可以通過訓練電腦來得到結果，並且速度更快和不帶偏見。

當然，這並不是說人類已經過時。必須有人來確認相關性不只是種巧合，並找出對資訊採取行動的方法。而這也正是前面所提到的視覺化檢視可以發揮作用的地方。

大資料和機器學習的主要用例

雖然大資料的潛力幾乎是無限的，但不可避免的是一或兩個行業會在前面帶頭衝鋒。如果再過一年問我，我可能會說不同的話，但現在的預測是，無論是安全還是運營，都會處在第一線。

只要比那些只收現金的咖啡亭大的公司，都需要考慮資訊的安全性。即使他們沒有智慧財產權可言，但他們都在處理一些敏感資訊，如信用卡號碼。有方法可以可靠地檢測和阻止那些正在發生的違約行為，對公司的長期成功是至關重要的。基於機器學習的安全產品承諾提供這種能力，並且它的易用性接近“交鑰匙工程（譯者註：意為賣方把所有事情都做好了，買方只要拿鑰匙驗收就可以了）”的水準。

與此類似，運營分析將會流行起來。現在你就可以買到工具來監視你的網路，解碼資料包，或向你精確呈現一個給定的REST調用是如何經過伺服器的中介層一路到達資料庫或檔案系統的，然後把它和一周，一個月或一年以前的行為做對比。這不是未來的概念，而是今天現成的東西，並可以在一周內運行起來。

其它領域的研究將會繼續下去，但不會有如此快的速度。欺詐檢測是非常重要的，但大多數公司會依靠他們的金融機構來設計和實施必要的控制措施。我預計在這方面不會有太多商業化的、現成的產品。

商業智慧是另一個會看到大量金錢投入的研究領域。但可口可樂與百事可樂公司用來確定下一個流行口味的演算法，看起來一點也不像通用和福特公司用來預測每種尺寸的車型會有多少量的演算法。如此類推，商業化產品對大資料的運用目前可能會主要局限於基本的分析和可視化方面。

其他的會議思考

總而言之，Splunk舉辦了一次非常好的會議。一切都組織得很好，每個人，從初學者到最進階的資料採礦工程師，都會有相關的議題研討。我唯一的抱怨是，議題研討沒有記錄。因為有這麼多的內容，人們勢必會因為衝突錯過一兩個重要的議題。

即使你對Splunk本身不感興趣，但對大資料、機器學習以及相關主題感興趣的任何人來說，這都是一次重要的會議。

查看英文原文：Splunk Conference Recap: The Key to Big Data is Machine Learning