物聯網(IOT) 資料庫需求和當前技術解析,iot當前
物聯網是當前最具發展潛力的技術潮流,到2020年全球將有200億—2000億物聯網裝置(Gartner 預測260億,ABI預測300億,Oracle 預測500億,Intel 預測2000億)。 管理眾多的連網裝置產生的(動態)資料,相比管理傳統檔案(靜態)資料要複雜很多 —— 最重要的痛點是“資料量”大幅提升和“處理即時性”要求顯著加強。
- 資料量:資料量提升包含資料總量和資料產生速度兩個方面。物聯網應用系統演化過程中,感應器數量不斷增多;資料採樣頻率不斷提升;資料積累時間也越來越久,因此產生的資料量非常大(動即十億、百億、千億儲存規模),而且資料產生速度也非常快(動即每秒十萬、百萬紀錄)。
- 即時性:感應器時序資料很多時候用於異常預警、趨勢預測等目的,要求能根據資料立刻做出反應。因此資料必須能即時查詢、即時分析。
資料量變和即時性要求提升的大前提下,面向於IOT的資料庫樸素需求細化:
讀寫特性
- 寫操作多於讀操作,但讀寫都要求高速
- 追加為主,但應允許少量更新操作
- 順序追加為主,但應允許亂序入庫
- 可按時間段刪除記錄,但應允許刪除給定紀錄
- 支援(最佳化)給定時間段查詢,允許給定欄位的精確、模糊、首碼等查詢;
- 讀寫並發要求較高,尤其讀並發
- 海量儲存支援(T-P層級)
即時性
- 資料入庫即可用(ingest realtime),即任意資料入(input)庫後就可立即被第三方應用使用。
- 資料Adhoc 查詢/分析
檢索和分析特性
- 支援過濾投影
- 支援彙總分析
- 支援關聯分析(Join 分析)
- 支援資料採礦
高可擴充性 : 可按需線上水平擴充高可用性 : 7*24小時線上 當前IOT資料庫的備選技術手段的優勢和不足
- 關聯式資料庫: 具備複雜檢索能力,但受限於資料存放區規模和錄入速度不足
- NOSQL 資料庫 :具備可擴充性和高效能,但受限於檢索和分析能力不足
- HADOOP :具備資料分析能力和可擴充性,但受限於資料處理即時性不足