視頻大資料技術在智慧城市中的應用

標籤：

現代社會的資訊量正以飛快的速度增長，這些資訊裡又積累著大量的資料。預計到2025年，每年產生的資料資訊將會有超過1/3的內容駐留在雲平台中或藉助雲平台處理。我們需要對這些資料進行分析和處理，以擷取更多有價值的資訊。在未來的“智慧城市”中，會有越來越大的結構化以及非結構化的資料。那麼我們如何高效地儲存和管理這些資料，如何分析這些資料呢？答案是，我們需要強有力的大資料處理系統進行支撐。

作為目前最火熱的詞彙之一，大資料在各個領域都已有了較為成熟的應用。在視頻監控領域，大資料時代正悄悄來臨。在城市安全、交通管理中將部署大量的視頻監控裝置，這些視頻監控裝置將產生大量的視頻及其相關的資料，如交通卡口資料達到十億條甚至更大層級，人臉庫資料量達到千萬條甚至更大層級。針對如此大層級的資料量，當前系統會逐漸暴露出資料檢索速度越來越慢；資料統計、分析效率越來越低等問題，這些問題都需要一個成熟的技術來解決。

隨著“智慧城市”中城市安全、智慧交通等的迅速發展，城市中非結構化的資料量越來越大。視頻大資料技術側重協助各類客戶從日趨海量的非結構化視頻資料中快速發掘高價值的資訊，協助客戶提升其決策的效率和精準度。因此，視頻大資料的處理好壞成了客戶關注的焦點，視頻大資料的處理技術也成了廠家能力的體現。針對“智慧城市”建設中大量視頻資料的快速檢索、統計分析的需求，海康威視等視頻領域的領軍企業已有了成熟的視頻大資料的解決方案，目前已應用多個“智慧城市”的建設中。

一、視頻大資料平台技術

針對結構化或半結構化資料的資料量特別大的情境，大資料平台作為應用平台的支撐平台，提供海量資料的高效處理能力。通過大資料平台，應用能夠對這些資料進行高效地儲存、檢索(秒級)、分析和統計，切實地提高效率，提升使用者體驗度。

視頻大資料平台一般以分布式叢集的方式進行建設，叢集能夠對資料處理進行負載平衡，同時，叢集能夠方便地進行擴充，能夠通過增加叢集節點來提昇平台整體效能。資料存放區需要考慮以下幾個方面：一、哪些資料需要儲存到視頻大資料平台；二、如果對原有系統進行改造，原有系統中已存在的那些資料該如何處理；三、如何保證資料的可靠性。視頻大資料平台採用分散式運算，同時結合記憶體加速、負載平衡、本地處理，提供高效的資料計算能力。

視頻大資料處理系統，在應對視頻大資料處理中的儲存問題，採用了分布式儲存方式，提高了讀寫速度，並擴大了儲存容量；在應對視頻大資料處理中的計算問題，採用分散式運算系統，提高了資料分析和挖掘能力。視頻大資料處理系統總體架構如所示，包括資源層、平台層、應用程式層三個層次。

視頻大資料處理系統總體架構

資源層：包括IT基礎資源、資料資源、視頻資源等。能夠產生、儲存、處理海量資料的資源如過車資料、人臉資料、案事件數目據等。

平台層：即視頻大資料平台，包括資料存放區、資料處理、資料移轉、叢集管理等功能，同時為上層應用提供介面。視頻大資料平台地位類似於資料庫，但是它比資料庫的處理能力要強大很多，可以對海量資料進行處理。

應用程式層：基於視頻大資料平台提供的高效資料處理服務，行業應用平台(公安、交通、司法、能源、教育等)能夠為使用者提供海量資料的高效儲存、檢索、分析和統計等功能。

二、視頻大資料技術在智慧交通中的應用

在智慧交通的道路交通應用中，卡口過車資料呈爆炸式增長。對於一個城市，每個卡口每天會經過成千上萬輛車，假設一個城市有1000個卡口，每個卡口每天平均過車記錄數為10000次，需要對一年內的資料進行處理，則過車記錄總數為36.5億。當卡口過車資料規模達到十億層級甚至更大後，當前系統的運行速度越來越慢，過車資訊檢索、研判和分析的耗時越來越長，使用者體驗越來越差。使用傳統的關係型資料庫解決方案會使效率大大降低，或者在保證效率的情況下，會使軟體、硬體投入成本大大增加，如採用小型機等。針對此類情境，可採用大資料技術，資料量特別大的過車資料由視頻大資料平台來處理，視頻大資料平台可提供足夠大的記憶體和本機存放區，同時，採用分散式運算，各節點並行進行計算，極大地提高資料處理的能力。視頻大資料平台具有系統可靠、資料安全、資料處理能力高效、投入成本低、擴充能力強等特點。

交通卡口大資料應用設計如所示：

交通卡口大資料應用

交通卡口大資料應用的不同之處在於後端子系統的設計。傳統方案中，只有一個智慧交通平台；而大資料方案中，智慧交通平台之下多了一個視頻大資料平台，海量的過車資料存放區於視頻大資料平台中，大資料平台為上層平台提供海量資料的高效處理服務。以10億條資料為例，在檢索、研判和統計分析等應用中傳統方案檢索時間是分鐘級，採用大資料技術檢索時間可以達到秒級。基於視頻大資料平台，智慧交通平台實現了高效的檢索、分析、統計等功能，能夠為使用者提供更好的服務。以下是目前可實現應用功能主要功能：

1.快速檢索

能夠根據精確條件/模糊條件快速查詢出過車資料記錄。大資料方案可以從數十億條資料中快速篩選出目標過車記錄，提高交通管理部門的執勤效率。

2.研判分析

研判分析包括頻度研判、特定時間段車輛研判、初次入城、行車軌跡、跟車研判等應用。大資料方案可以迅速及時的發現事件資訊，提高交通管理部門的快速響應能力。

3.統計分析

統計分析包括車流量統計、車流量對比、車輛違法統計、特定時段車流量、行車軌跡統計等應用。大資料方案可以實現更大範圍的交通流量資料統計，可以更加全面完整的反應一個城市的交通狀況，為交通管理部門決策提供資料支撐。

三、視頻大資料技術在智慧安全中的應用

在智慧安全的案例偵緝等應用中，經常需要進行人員資訊的查詢，人員資訊庫中的一個重要組成部分是人臉庫，人臉庫包括人員的基本資料、頭像圖片以及根據頭像建模而得的人臉特徵向量。其中案例偵緝中一個重要的應用是人臉檢索，即從視頻映像中提取人帶人臉的特徵向量跟人臉庫中的資料進行比對，查詢出來此人的基本資料。當人臉庫數量達到1000萬層級甚至更大後，目前人臉檢索方式會出現瓶頸。因為在人臉的檢索過程中需要檢索整個人臉庫，需要將整個人臉庫匯入到記憶體中以提高檢索效率，對伺服器記憶體要求高，而當前大多人臉檢索方案不支援叢集架構，只能增加單伺服器的記憶體以滿足需求，容易出現瓶頸。針對此類情境，可採用人臉檢索的大資料解決方案，人臉庫儲存於視頻大資料平台中，視頻大資料平台採用叢集架構，並且可平滑擴充，可以提供足夠大的記憶體，同時，採用分散式運算，各節點並行進行計算，極大地提高資料處理的能力。

人臉檢索大資料應用設計如所示：

人臉檢索大資料方案

人臉檢索大資料應用的不同之處在於後端子系統中加入了視頻大資料平台。智慧安全應用平台為使用者提供人臉檢索功能；視頻大資料平台儲存人臉庫資料，進行高效的人臉分析比對，為應用平台提供人臉檢索服務。以1000萬條資料為例。如果傳統的方式資料庫需要管理員進行手動的分庫分表操作，隨著資料的增長維護工作量會越來越大，同時也很難保證系統的正常運行；採用視頻大資料技術可以輕鬆的做到系統的橫向擴充，保證系統高效的運行。基於視頻大資料平台，智慧安全應用平台能夠為使用者提供快速的人臉檢索功能。

四、總結展望

視頻大資料技術能夠解決當前系統處理海量視頻及相關資料能力不足的問題，協助客戶從海量的視頻資料中快速挖掘高價值的資訊，協助客戶提升其決策的效率和精準度。可以預見在未來的“智慧城市”建設中，視頻的資料量會爆炸性增長，對海量視頻資料處理系統的要求會越來越高，對視頻資料採礦的能力要求越來越強，視頻大資料平台將引入越來越多的機器學習、圖演算法等尖端技術來提高整個系統的智能化水平。

視頻大資料技術在智慧城市中的應用