企業大資料-之機器資料

標籤：

機器資料的來源

      何為機器資料，就對其字面意思理解，機器產生的資料。那機器資料具體都是怎樣的？比如：日誌資料、監控攝像圖傳過來的資料、手機傳過來的資料、感應器傳過來的、掃碼.....幾乎遍布生活的點點滴滴。

機器資料的傳統解決方案

     對於這樣的資料，以前的IT營運監控、視頻監視軟體、動力環境系統都有實現過，主要對裝置的健康度閾值做臨界警示，而視頻中就是對攝像圖的傳過來的影像分 屏展示，獨立環境對機房的溫濕度監測，臨界警示。以前對於機器資料分析在很大意義上是沒有進展的，而分析就是用資料說話，隨著大資料產生新的生產形態已經 產生。

現在的解決方案

    

     現在機器資料解決方案就是依靠大資料的技術，將資料整合建立索引，提供便利的搜尋和查詢服務，在此基礎上分析整合資料，為客戶提供資料的分析展示。

架構

      對於大資料機器資料處理應當是這樣一種邏輯，資料擷取過來，我們根據資料來源對資料做分組管理、應用程式模型構建，構建好之後根據需要抽取資料重要欄位，抽取欄位時我們可根據現有的經驗對資料一種預警處理，欄位抽取之後對資料進行索引，構建查詢服務。構建定時任務之後去分析這些資料的規律性，總結一些事件發生的規律為生產和維護提供一些建設性的意見，我強烈建議這些事件數目據儲存習而來，作為一個機器的病例，十年的這份資料是一個什麼樣概念的含金量，對使用者和生產者來說是有什麼樣的價值。對待這樣一個處理邏輯的應該採取什麼樣的技術架構呢？如：

         在這個架構中，虛線框中的Spark、Hadoop、Zookeeper、Hive、ES這些構建是一個運算和儲存的平台，在這塊ES和SOLRcloud 都是一樣的，兩者都是分布式的，至於運算以流式計算為主，Strom和Streaming各有優勢，任意取捨，ES和Solr都能自己儲存亦可以放到HDFS中，兩種方法也各有優勢。

      es節點加多時，自動遷移資料分區，倘若資料存到HDFS中，儲存是一整塊，沒有遷移這樣一說，當查詢的服務量大時我們只需要建立查詢節點做負載平衡即可，不用考慮資料的遷移等等不變，而且資料存在Distributed File System中不管是儲存量和安全性的要求上來說，都是不錯的選擇。

 

未來是怎樣

隨著大資料技術的興起，這些傳統的東西正在演變，正在演變為一種新的模式，而且藉助於大資料分析的可視化和儲存，讓這些沉默了許久的語言發出它應有的聲 音，讓人們知道他們雖然是機器，但是也有生老病死的、也有喜怒哀樂，它們也在用用自己的方式發聲。我們都知道“啤酒與尿布”的故事，這兩個看似毫無關係的 兩件事物，硬是被人給發現了規律並廣泛的應用在推薦系統中，這就說明一種莫名聯絡的重要性。而對於機器資料來說，那就更重要了，資料本身並沒有特徵，但是 在發生其他事物對自己的影響這種關係，是最不容易被注意的。其實萬事萬物都有關係，沒水人活不了，沒電機器跑不起來，機器CPU長時間峰值對應用肯定是有 影響的，CPU大了是誰在消耗，對其他有沒有影響，生產線上的生產流程，中間的這一環節斷了，是什麼原因產生，再發生這件事時，伴生是什麼事情，他們之間 都有什麼樣的聯絡呢？工業的4.0是一場革命，可這一場革命到底會給生產一個什麼樣的顛覆呢？

      我的答案是沒人說得清，倘若有生產廠家願意花錢去搞一個大資料研發團隊做自己的一套定製售後服務的大資料平台，或者是請軟體公司做一個大資料這樣的平台， 完成都是可以的，生產消費的資料共用，連鎖推薦，一系列的一站式選擇購買服務，將會成為很有競爭力的，那每個廠家將不再是生產商，它是一個體系，他有自己 的採購、自己的生產、自己的人事調度，自己的銷售平台。廠家的角色正在演變，所有的資源被整合起來，它有自己的固定的客戶群，自己的客戶不光需要的自己生 產的物品，還有其他的廠家的產品，這樣就演變為了廣告商，強強聯合的最佳組合。假若事務發展的極端化，我想應該是這些大的網購平台的小型化，工廠要發展就 必須拿回自己生態體系缺失的那一塊。

      工業4.0說，資料將會是第一生產力，工廠能將這生產力拱手交給其他人嗎？以前聽說，互連網到後來的互連網+，而後面的我想應該是大資料時代和大資料+的這樣一種生產模式。

企業大資料-之機器資料