摘要:隨著中國經濟的迅速騰飛,發展中的環境污染問題愈演愈烈,霾在全國各地區肆虐,PM2.5指數頻頻「爆表」,對百姓的日常生活造成了極大困擾,引發輿論的強烈關注。 政府高度重視並將PM2.5監測工作擺在環保工作的重心。 雲創存儲自主創新的PM2.5雲監測平臺破傳統的研發方式,運用創新的設計理念,使環保與雲計算高端技術有機結合,架構海量監測資料存儲、處理平臺,可微觀上反映各區域的空氣品質,為公眾生活和城市治理帶來便利。
關鍵字:PM2.5 PM2.5雲監測平臺 雲創存儲 環境保護
一、建設背景
今年初《中華人民共和國國家環境分析》報告稱,中國500個大型城市中,只有不到1%達到世界衛生組織空氣品質標準。 多位專家接受《經濟參考報》記者採訪時表示,治理PM 2.5超標,應儘快在工業結構、能源結構、城市規劃等方面採取措施,頂層設計治本之策。
目前國內環境監測中心網站較少,分佈分散,環境監測的資料能夠從宏觀上反映城市整體的空氣品質,但是不能從微觀上反映局部區域、特定區域的空氣品質的好壞,這就需要建設更多的環境監測網站,提供更多的即時的環境監測資料。
國內目前350米以下都有顆粒污染物,污染程度比較嚴重,加之公眾對於PM2.5的關注度不斷提升,使得PM2.5的監測重要性日益突出。 國外一套PM2.5環境監測儀器價格在10萬美金,國產價格在10萬人民幣,價格昂貴。 建設更多的環境監測網站需要巨大的資金投入,成本太高。 高性價比的PM2.5雲監測平臺能夠解決資金投入問題,同時滿足測量精度,和現有的空氣環境自動監測系統形成互補,為環保部門服務。
可大規模部署的PM2.5雲監測平臺的物聯網專案正是基於物聯網技術,結合雲計算存儲、處理技術,結合自主研發的低成本PM2.5環境監測硬體系統,針對目前國內重點區域大氣污染防治、改善城市空氣品質的管理需求,結合天氣狀況、 城市交通、人口密度、工業產值等元素,進行系統的研究,為保護環境,改善區域大氣環境品質改善起到技術支撐作用,其作為大型監測設備的補充, 重點解決PM2.5突出的區域大氣污染問題,監控環境污染狀況,正確分析評價環境品質,尋求改善大氣環境的途徑措施,具有非常廣泛的應用價值,可為決策者帶來科學決策的依據,從而系統全面的對本區域的環境進行監管。
二、國內外發展情況
1、國外PM2.5監測發展狀況
PM2.5的標準,是由美國在1997年提出的,主要是為了更有效地監測隨著工業化日益發達而出現的、在舊標準中被忽略的對人體有害的細小顆粒物。 PM2.5指數已經成為一個重要的測控空氣污染程度的指數。
到2010年底為止,除美國和歐盟一些國家將PM2.5納入國標並進行強制性限制外,世界上大部分國家都還未開展對PM2.5的監測,大多通行對PM10進行監測。
美國國家航空航天局(NASA)2010年9月公佈了一張全球空氣品質地圖,專門展示世界各地PM2.5的密度。 地圖全球空氣品質地圖由加拿大達爾豪斯大學的兩位研究人員製作。 他們根據NASA的兩台衛星監測儀的監測結果,繪製了一張顯示出2001年至2006年PM 2.5平均值的地圖。 在這張圖上紅色(即PM2.5密度最高),出現在北非、東亞和中國。 中國華北、華東和華中PM2.5的密度,指數甚至接近每立方米80微克,甚至超過了撒哈拉沙漠。 在這張2001-2006年間平均全球空氣污染形勢圖上,全球PM2.5最高的地區在北非和中國的華北、華東、華中全部。
圖1 機動保有量200萬輛以上城市PM2.5濃度值分布圖
國際城市的空氣品質監測點位通常較多,以倫敦為例,僅PM10(直徑小於或等於10微米的顆粒物)的監測點就有103個。 此外,巴黎、香港等國際城市均監測並公佈道路兩邊地段的空氣污染狀況。
值得注意的是,2011年報告稱,倫敦、巴黎、紐約等對PM2.5進行頻密監測和發佈的國際城市,與此同時,不少發展中國家的大城市如墨西哥城和新德里等城市,也早已開展了PM2.5的頻密監測和發佈。
2、我國PM2.5監測平臺發展現狀
據統計,我國目前有74個城市已經具備對PM2.5的監測條件,目前國內已有PM2.5監測點600余個,但與國際城市的PM2.5監測系統相比,我國城市的環境空氣品質監測位點設置雖然也能反映整體環境品質狀況,但監測位點少、 代表性和覆蓋面不足,監測專案、監測網、測點數目和位置設計不能滿足重點區域人體健康影響暴露評價的需要。
目前,江蘇環保雲平臺是國內最先進、集納環境資訊最多的一個環保雲平臺,「1831」 環保雲平臺不僅是觀照江蘇生態環保的「睛雨表」,更是江蘇環境智慧決策的重要依據和手段。 「1831」雲平臺採用國際先進的物聯網感應器以及資訊分析雲技術, 能夠即時感知全省4萬億經濟總量下10.26萬平方公里區域內生態環境的安全與健康程度,並將人類社會與環境業務系統進行整合,從而以更加精細和動態的方式,實現環境管理與決策的智慧化。 事實上,雲平臺雲集的資料不僅包括重點污染源自動監控、流域水質自動監控等即時的資料,環保部門的作為情況、12369的舉報資訊、環境創建情況等均以資料形式集入了平臺,每天平臺集納資料超過300萬條。
由於經濟技術條件的限制和我國環境空氣監測工作發展的階段性,我國許多地區環境空氣品質監測網路還不夠不成熟,而造價昂貴的PM2.5監測點位更讓雲平臺無法起步,社會需要更多的像「1831」這樣先進系統在全國遍地開花。
三、可大規模部署的PM2.5雲監測平臺
PM2.5雲監測平臺是由PM2.5雲監測節點、雲平臺和Web介面及scervices組成的系統。 PM2.5雲監測節點由先進的PM2.5採集器來進行資料獲取,通過GPRS進行無線資料傳輸,資料進入雲平臺通過雲創存儲自主研發的資料立方一體機進行歷史資料匯總處理、即時資料入庫系統、資料存儲、資料查詢分析和資料管理。 PM2.5雲監測平臺利用cStor和cProc來構建應用PM2.5雲監測平臺。 平臺對外提供Web服務,可通過網頁的形式展示當前部署環境的PM2.5值,並追蹤污染源。 下圖2為PM2.5雲監測平臺概念架構。
圖2 PM2.5雲監測平臺概念架構
1、PM2.5雲監測平臺前端方案
(1)前端技術架構
PM2.5前端設備主要是由電源模組、採集模組和通信模組組成,前端設備採集到相關的資訊,通過GPRS進行無線資料傳輸,在有公網IP的伺服器上進行資料接收和初步的處理,然後資料存入資料立方進行存儲和計算, 並且通過WEB伺服器進行資料的最後處理和公佈。 具體的架構詳見圖3。
圖3 PM2.5雲監控平臺前端設備架構
(2)部署方式
在城市的不同區域佈局並有效使用PM2.5雲監測平臺,能夠比較全面地掌握城市不同區域,在不同時間段、不同氣候特點(包括氣溫、風向、季節)下的 PM2.5 的即時監測資料。
PM2.5雲監測平臺環境資料獲取設備採用先進的感應器、低功耗單片機技術和網路通訊技術相結合,可提供方便的資料查詢方式,直接通過瀏覽器可以直接存取測試資料。
目前環境監測站的監測設備一般部署在離地面高度20m-25m之間,而雲創存儲的PM2.5雲監測平臺環境監測設備根據實際的情況來進行部署。 設備小巧,部署方式靈活,可以部署在電線杆等公共設施上。 詳見圖4。
圖4 部署在電線杆上前端設備
(3)採集通信方式
目前國內外環保部門監測PM2.5普遍採用濾膜稱重、β射線吸收和微量振盪天平等方法。 除了以上三種測試方法外,還有利用光散射的原理測定顆粒物濃度的方法。 該測定方法的原理是:空氣中的顆粒物濃度越高,對光的散射就越強。 測定光的散射後,就可以算出顆粒物濃度。 該測試方式測定速度快,自動化程度高,操作簡單。
PM2.5雲監測平臺使用的是紅外光散射法來進行測試相關的資料。 通過相關的探頭來進行採集相關的資料。 通過採集的通道利用紅外光散射來進行獲取顆粒濃度。 採集空氣的通道有固定的加熱源,通過加熱源來進行空間的動態的採集。 將相關的顆粒濃度轉換成相關的資料通過無線通訊進行資料傳輸。
前端設備的通信主要是通過GPRS進行資料的無線傳輸。 具體的資料傳輸的網路示意圖詳見圖5。
圖5 GPRS資料傳輸
資料在前端設備基於TCP/IP協定,經過GPRS的資料傳輸,通過移動網路傳輸資料,利用公網的伺服器接受資料,然後將資料入庫後,進行資料的處理,最後通過WEB伺服器將資料展現出來。
(4)供電方式
PM2.5雲監測平臺的供電方式有兩種,一種是鋰電池和市電互補的供電方式,另一種是太陽能供電供電方式。 詳見圖6。
圖6 太陽能供電方式的前端設備實物圖
2、PM2.5雲監測平臺後端方案
(1)後端技術架構
PM2.5雲監測平臺是一個處於PM2.5資料獲取與PM2.5資料監測應用之間的系統。 從系統基本組成與構架上來看,該共用平臺由以下主要部分組成:歷史資料匯總處理系統,即時資料入庫系統, PM2.5雲監測平臺資料存儲系統,PM2.5雲監測平臺資料查詢分析應用系統,資料管理系統。 詳見系統架構圖7。
圖7 系統概念架構圖
(2)PM2.5雲監測平臺主要功能
即時資料入庫系統
即時資料入庫系統主要負責全市所有PM2.5監測點產生的資料即時存到PM2.5雲監測平臺資料存儲中心。
l PM2.5雲監測平臺資料存儲系統
原始PM2.5資料,將全部存儲在PM2.5雲監測平臺分散式檔案系統,用於存儲海量的非結構化資料。 為了滿足和適應資料量、資料特徵和查詢處理的不同需求,部分存存儲于關聯式資料庫中。
l PM2.5雲監測平臺資料查詢分析應用系統
PM2.5資料查詢分析應用提供包括即時監控空氣品質PM2.5,查看歷史記錄和分析資料等功能。 PM2.5歷史查詢處理時,由於PM2.5資料量巨大,需要調度使用多台伺服器節點進行並行處理。
資料管理系統
在實際使用中,可能使用者會對某一時間段或者類型的資料特別關心,就可以通過資料管理系統查詢並匯出這部分資料以供使用。
(3)後端平臺特性
l 系統擴充性
PM2.5雲監測平臺充分運用雲創自主研發的資料立方技術優勢,加監測點只需要簡單的配置即可連接到PM2.5雲監測平臺資料存儲中心,統一規範標準,名稱體現PM2.5雲監測平臺監測點理位置、 PM2.5雲監測平臺監測點編號等資訊,便於快速檢索;客戶需要隨時更加存放裝置和資料分析伺服器只需要根據資料立方規範做簡單修改配置即可。 例如如果後續根據PM2.5雲監測平臺的存儲資料量量增加的情況下可以動態的添加存儲節點。 查詢速度變慢只需要動態的添加少量處理節點。 最大程度的節省客戶成本;與原有系統資料對接支援各個版本的資料庫對接接入Oracle ,SQLServer, Mysql均可。
l 系統可靠性
隨著系統越做越大越複雜,其可靠性越來越難保證。 應用本身對系統運行的可靠性要求越來越高,在一些關鍵的應用領域,如航空、航太等,其可靠性要求尤為重要,在銀行等服務性行業,其軟體系統的可靠性也直接關係到自身的聲譽和生存發展競爭能力。 特別是軟體可靠性比硬體可靠性更難保證,會嚴重影響整個系統的可靠性。 PM2.5雲監測平臺系統利用資料立方的可靠性機制保障和提高資料可靠性。
l 資料查詢與統計分析子系統
cProc雲處理是雲創公司研發的處理海量資料的處理框架,特點是即時性高。 主從式的管理節點監控著所有處理節點(slave),並接受任務,分配子任務,監控任務以及處理各類異常情況。 處理節點(slave),接受子任務,監控子任務,向主節點彙報任務。 資料查詢子系統構架如下圖8:
圖8 資料查詢子系統構架
對前臺頁面傳來的json字串資訊進行解析並分析各個變數,得到需要查詢的資訊,然後把這些資訊在封裝成與資料庫端相合的協定,調用資料庫提供的介面對後臺資料庫進行查詢。 資料庫端查詢完畢後將byte形式的結果存放在指定檔中。 介面伺服器受到信號,讀取檔,並將結果封裝成字串發送到前臺介面顯示。 下圖9、10是網頁查看即時PM2.5監測平臺資料。
圖9 資料網頁查詢介面
圖10 PM2.5監控資料地圖
3、PM2.5雲監測平臺優勢特性
(1)海量資料綜合存儲、處理、監測優勢
大規模部署高性價比的監測點位形成的海量資料,利用雲計算技術,進行高可靠存儲、秒級處理,做到即時監測、分析資料,及時告警,説明決策。
(2)高性價比優勢
採用X86架構廉價電腦構建雲計算平臺,用軟體容錯替代硬體容錯,大大節省成本。 在目標性能和可靠性條件下,可比傳統的小型機加商用資料庫方案節省10倍左右的成本。 即可滿足PM2.5監測、資料傳輸功能,無需國外昂貴的監測設備,和現有的環境監測點形成有利互補,對PM2.5資料發佈有參考意義。
(3)即時監控優勢
平臺在高效率並行分散式軟體的支撐下,可以即時完成PM2.5資料入庫、分析和管理工作,如資料匯總、資料上報、資料入庫、資料查詢、資料計算和資料管理等。 測定速度快,自動化程度高。 測試方法決定了測試的即時性,採集時間實現秒級回應,且採集時間可以任意設定,採集的資料即時入庫,可即時查詢,具有前所未有的高效性。
(4)高可靠優勢
基於對雲計算可靠性深厚的研究積累,徹底解決了當前分散式運算平臺易出現的單點故障問題。 任何一個節點出現故障,系統將自動遮罩,而且不會出現遺失資料的現象。 包括查詢任務分配節點、計算任務分配節點、HDFS中繼資料節點、HDFS資料存儲節點、MapReduce Job Tracker節點、MapReduce Worker節點、HBase管理節點、HBase Region節點等。
處理平臺在不停機的情況下,增加節點,平臺的處理能力自動增加;減少節點,平臺的處理能力自動縮減,做到與雲計算平臺的無縫對接,根據計算和存儲任務動態地申請或釋放資源,最大限度地提高資源利用率。
PM2.5雲監測平臺前端設備可以根據需求進行增加設備,擴展整個系統的覆蓋面積,但不需要繼續複雜的操作,可以動態的增加PM2.5測試的節點,接入到該系統,並能自動組網,具有很強的擴容性。
(5)採集資料的準確性優勢
採集的資料經過精確的校準,且靈敏度很高,和環保部分發布的PM2.5資料及趨勢接近,資料真實有效。 下圖11為測試對比曲線圖。
圖11 PM2.5測試對比曲線圖
綜合上述,PM2.5雲監測平臺架構雲計算海量資料處理平臺,存儲本區域海量資料,積累長期監測資料,為研究環境容量、實施總量控制、目標管理、預測預報環境品質、環境治理提供資料。
四、PM2.5雲監測平臺建設效益
中國正在加速工業化、城市化的建設步伐,自然環境變化對社會和公眾的影響越來越大,政府和社會都對應急管理工作提出了更高的要求。 為增強防災救災能力,提高氣象災害應急反應水準,迫切需要建立一個權威、客觀、暢通、可信的資訊發佈管道,使社會及公眾及時瞭解各類災害事件的現狀、進展、趨勢、原因等資訊,採取有效防範措施, 最大可能減輕和避免各類災害對經濟建設和人民生活的危害。 PM2.5雲監測技術在環保領域為政府與公眾之間搭建了一個良好的溝通、監督平臺,對迴圈經濟發展和和諧社會建設大有裨益。
1、經濟效益
PM2.5雲監測平臺的經濟效益主要體現在平臺建設、運維產生的直接經濟效益和政府部門通過使用該平臺所節約的資金轉而投入核心業務發展而帶來的間接經濟效益。
目前PM2.5雲監測平臺已經運用在江蘇省環保局固定風險源監測專案,已在昆山實施,並擬做為PM2.5監測平臺示範工程,目前該平臺已經在南京環保局做驗證,誤差率小於5%,已計畫在南京市進行推廣應用。 今年9月, PM2.5雲監測平臺在秦皇島市環境保護檢測站、海港區環保局、北戴河區新華社療養院、山海關區環境保護局監測站、北方玻璃工業園五個監控點完成部署,運營2年內,將實現年營業收入超過1000萬元,年淨利潤達300萬元, 為環保部門節約監測點位部署投入1000萬元。
專案實施3-4年,服務環保部門將達40家以上,實現年度營業收入超過3000萬元,年淨利潤達1000萬元,為環保部門節約監測點位部署投入3000萬元。
未來5-6年內,完成長三角地區直至華東地區的平臺擴容,形成點面結合的PM2.5雲監測大平臺局面,實現年營業收入超過3億元,年淨利潤6000萬元,為環保部門節約監測點位部署投入近億元。
2、社會效益
目前PM2.5監測的產業化還存在很多缺口,如缺乏高可靠低成本的感應器、可進行大規模存儲與處理的雲計算技術等。
在上述背景下,南京雲創存儲科技有限公司自主開發的可大規模部署的PM2.5雲監測平臺,包括自主研發的高可靠低成本的感應器、目前國內領先技術的雲存儲與處理技術、尤其是在前端PM2.5監控小型化技術、 後端資料雲計算存儲與處理技術等領域形成自主研發、精密製造和配套加工能力,將打破國外在PM2.5監控系統的壟斷,有利於加快環保監控系統普通化、國產化和產業化的發展速度,配合城市現有的環境監測網站,準確、及時、 全面地反映環境品質現狀及發展趨勢,為環境管理、污染源控制、環境規劃等提供科學依據,並結合天氣狀況、城市交通、人口密度、工業產值等元素,進行系統的研究,為保護環境,改善城市的大氣環境品質改善起到技術支撐作用, 關鍵技術的突破將對行業技術進步具有較大的推動作用,促使PM2.5監測技術標準等重大技術國產化的突破,促進和帶動我國關聯產業的結構調整與發展,提升國內PM2.5雲監測平臺的國際競爭力,具有重要的戰略意義。