大資料分析會揭開馬航MH370失蹤謎底

馬航MH370客機失蹤謎底如果被大資料分析揭開，對此我並不感覺到意外。 人在做，天在看，瞞天過海是不可能，只是需要發現真相的細節和線索。

如今，美國衛星運營商DigitalGlobe(數位全球)啟動了Tomnod眾包網站平臺(crowdsourcing)，發佈疑似事發區域的衛星圖像，供志願者進行「地毯式」搜索。 類似人肉搜索，這也是一種大資料應用，我想也許真相就隱藏在衛星圖像資料的背後。

人肉搜索當然是一種迫不得已的方式。 其實，目前公安辦案也是依賴這種辦法，通過人工來排查事發當地的監控錄影。 波士頓馬拉松爆炸案就是一個成功案例，通過錄影排查，發現了疑犯的線索，最後成功破案。 波士頓警方採用了什麼樣方法，大資料，還是人肉搜索，不得而知。 但有一點，如果能夠依賴系統，則辦案的效率會提升，依靠人肉，除非是一場人們戰爭，否則人力和物力都會受限，效率很難有保障。

據說，用機器對資料進行排查並不難，核心是建模，其餘事情就可以交給機器了。 大資料應用的難點也是在建模。 以Google為例，針對搜索的特點，通過建模，構建了Google搜索的商業模式，取得了成功。 行業企業要進行大資料應用，成功建模至關重要。

針對MH370，如果有一個成功建模，一定會為事件追蹤創造更多有力的線索。 有關資料也不一定局限在DigitalGlobe提供衛星資料。 萬物之間都有聯繫，任何事情都會有蹤跡，當把這些散落在各地的資料聚集起來的時候，有些事物的本質、真相就會浮現出來。 DigitalGlobe之所以採用「地毯式」搜索，我想也是受困于建模，沒有一個合理分析資料的思路，也只好用人海戰術了。

公安破案也經常採用人海戰術，對各個卡口的視頻監控資料進行人工排查。 如果通過建模，能夠自動繪製嫌疑車輛、嫌疑人的行動軌跡，這對於公安辦案而言，堪稱福音。 對於視頻資訊的排查，也許會牽涉到影像識別這樣的技術，實際上，技術並不是難點，建模才是難點。 建模完成之後，如何通過Map/Reduce對資料進行分析檢索/聚合，最終形成結果，這也是需要考慮的問題。

對於互聯網企業而言，由於聚集了大量的軟體人才，自身具備足夠的軟體發展能力，可以根據自己的業務需要，建模、Map/Reduce自己的商業模型。 但對於MH370、對於公安，這就不是一件簡單的事情了。 以我看來，MH370更加負載，車輛好歹還有一個車牌，而Mh370連一個明顯的標識都沒有，所以大海撈針。

正因為難，大資料對MH370才是雪中送炭。 透過MH370事件，但願會有一個大資料分析的模型，果真如此，則是人類的福音。 相信大資料，相信大資料的力量。　　通過大資料的實際應用，圖型搜索技術能夠為企業帶來貨真價實的價值——Neo Technology公司軟體工程師Max De Marzi。

不同的事物之間有哪些聯繫，通過找到這些聯繫就能夠揭示出隱藏在背後的洞察和模式。 Max De Marzi的工作就是利用Neo4j NoSQL資料庫與Cypher查詢語言，為客戶建立一套概念驗證(poc)模型。 換句話說，他能夠向我們展示如何運用這一新技術來解決特定的業務難題。

Max De Marzi最近的一個poc專案受到了Facebook社交搜索工具Graph Search的啟發，這相當於是一個通過「自然語言」查詢來為使用者提供特定結果的搜尋引擎。 這今年的Big Data TechCon大會上，Max De Marzi將為我們展示如何利用大資料來創建企業自身的Graph Search。

讓大資料發揮效能

最能從大資料中獲取價值的往往是那些面向消費者的企業，或者更直接點說就是零售企業。 Max De Marzi表示，他去訪問的大部分零售企業網站，都僅僅會問消費者的一般興趣點。 在他看來這是不夠的，如果零售商能夠深入地收集關於消費者家庭情況，年齡以及其他感興趣的事物的時候，他們就能夠更精准地向消費者推送感興趣的商品。

「這關係到你如何利用資料，你可以利用社交媒體資料，比如微博的資料。 你並不一定非要自己去向消費者收集這些資料。 在社交媒體上已經有大量的資訊可供挖掘，你所需要的只是一個動態的手段來加以整合和利用。 」 Max De Marzi說。

雖然零售企業最能從graph search中獲取價值，但並不是說企業行業就不行。 Max De Marzi還舉了結果例子，比如銀行可以通過大資料來檢測可以的連接，從而避免欺詐行為。 如果一張信用卡被20個人拿來用，那麼它很可能就存在欺詐的行為。

一些更複雜的情況，比如團夥詐騙等，都是通過將資料隱藏在誤導的背後。 傳統欺詐檢測的方法會講這些資訊作為單獨的資料點進行處理，而忽視了資料之間的關係，就比如上述的那種20個人用一張卡的情況。 而在大資料分析的指導下，銀行就能很快地查找到這其間存在的蹊蹺。

創建你自己的graph search

「無論是傳統的DBA還是熟悉NoSQL的技術人員，這期間都會有一個學習的過程。 」 Max De Marzi說。 首先，開發者需要學習如何理解自然語言，以便創建新的Cypher查詢。 他認為過渡階段的難點並不是在技術層面，而是思維的轉變。 開發者需要轉變傳統的思維方式，更多地接受動態資料點以及相互連線物件的概念。

「這種思維的轉變也許只用幾個小時，也可能會用上好幾天。 但一旦開發者完成了這一過程，所有的事情就變得簡單易用了。 」 Max De Marzi說。

幸運的是，這是一個資訊爆炸的時代，目前無論是在網上還是書店都有很多相關的內容資料可供開發者來入門。