用大數據技術挖掘視頻監(jiān)控數據的價值

1、用大數據技術挖掘視頻監(jiān)控數據的價值隨著數據量的增加，哪怕對 TB 級別的視頻數據進行對視頻內容的數據分析和檢索，傳統技術模式下可能需要花費數小時的計算，已遠遠不能勝任時效性的要求。用戶希望能夠對海量數據進行有效管理和使用，快速辨別有效數據，提高數據利用價值。得益于 IT 信息技術的快速進步，人類可以隨時隨地記錄下產生的各類數據，同時數據存儲的成本也正以前所未有的速度下降，大數據時代正悄然來臨。在視頻監(jiān)控領域，高清化，大聯網數據匯聚推動視

2、頻大數據形成，業(yè)務實戰(zhàn)化推動大數據分析需求。一、視頻監(jiān)控業(yè)務的大數據特征 視頻監(jiān)控業(yè)務的大數據特征在視頻監(jiān)控領域，大數據的特點，可用 Volume、Variety、Velocity、Value 這 4 個 V 來概括(如圖 1)。大數據的特點包括以下幾點：第一，數據體量巨大(Volume)。高清化帶來單個監(jiān)控點數據量即以指數級增長，例如單個 1080PIPC30 天就會產生 2T數據;IP 化大聯網后，各平臺實現互聯，平安城市網內攝像頭

3、數量達數萬數十萬級別，其數據量之巨大可想而知。第二，數據類型繁多(Variety)。視頻監(jiān)控領域的視頻編碼格式包括：H.264、MPEG-4、MJPEG 等多樣化的編碼方式。而同時隨著各類物聯網技術的融入到視頻監(jiān)控業(yè)務，匯聚了包括各種傳感器、IT、CT 系統產生的多樣的數據。業(yè)務系統需要把結構化與非結構化數據相互關聯，統一存儲。第三，處理速度快(Velocity)。視頻數據隨時間快速增長，并以持續(xù)順序到達。在視頻監(jiān)控領域，視頻分析的效率

4、決定價值，更低的延遲、更準確的分析是平安城市這類客戶的普遍需求。隨著數據量的增加，哪怕對 TB 級別的數據進行視頻內容的數據分析和檢索，采用串行計算模式都可能需要花費數小時的計算，已遠遠不能勝任時效性的需求。第四，價值密度低(Value)，效率要求高。在視頻監(jiān)控業(yè)務中，價值密度的高低與數據總量的大小成反比。一小時的視頻監(jiān)控內容，可能有用的數據僅僅只有一兩秒。如何通過強大的機器算法更迅速地完成數據的價值“提純”是目前大數據洶涌背景下亟待解

5、決的難題。二、視頻監(jiān)控業(yè)務的大數據應用需求 視頻監(jiān)控業(yè)務的大數據應用需求隨著數據量的增加，哪怕對 TB 級別的視頻數據進行對視頻內容的數據分析和檢索，傳統技術模式下可能需要花費數小時的計算，已遠遠不能勝任時效性的要求。用戶希望能夠對海量數據進行有效管理和使用，快速辨別有效數據，提高數據利用價值。分析大數據產生小數據。攝像頭 7×24 小時工作，如實記錄鏡頭覆蓋范圍內發(fā)生的一切，僅僅記錄信息是不夠的，因為對于客戶來講可能大部分信

6、息是無效，有效信息可能只分布在一個較短的時間段內，按照數學統計理論，信息是呈現出冪律分布的，或稱之為信息密度，往往密度越高的信息對客戶價值越大。實時涌入的海量數據容易產生大量的休眠數據，浪費大量存儲資源。對海量數據進行智能分析，提取出價值數據片段。建立摘要信息，減少用戶需要面對處理的數據量，形成元數據信息庫。提純小數據產生價值數據，例如在公安系統中希望能集中分析過去和現在的犯罪數據和視頻圖片，整合所有信息，能提供對犯罪趨勢更全面的看法。

7、這就需要針對海量歷史數據實現快速檢索，并對貌似非關聯的數據進行關聯，并在可視化DAU(分布式分析單元)：支持流式計算，可分布式部署，對含視頻在內的媒體內容進行智能分析;通過媒體數據預處理，支持插件業(yè)務框架，可引入各類第三方算法插件，基于 ONVIF/PSIA 數據封裝器，對協議進行適配;DPU(數據處理單元)：提供包括第三方數據接入適配，進行數據的匯聚，并對非結構化數據歸檔，通過數據轉換引擎，實現數據的清洗和轉換，另外根據規(guī)則引擎下發(fā)實

8、時告警規(guī)則上報實時告警信息;DMU(數據挖掘單元)：規(guī)則模型管理，采用可視化界面定義業(yè)務規(guī)則(Schema);為加快數據處理實時性，引入高效率的內存數據庫技術。經過前面數據處理層處理后的數據，以關系型數據形式進行存放;AE(應用環(huán)境)：業(yè)務應用及呈現，提供業(yè)務生成框架，用戶可進行靈活的業(yè)務配置。統一數據訪問接口，應用開發(fā)環(huán)境，便于第三方合作伙伴進行整治業(yè)務應用開發(fā)。五、大數據視頻監(jiān)控構架帶來的價值 五、大數據視頻監(jiān)控構架帶來的價值大數據