20年氣象資料增長數千倍
與世界大資料時代的進程相同,氣象資料量不斷翻番。
上世紀HTTP://www.aliyun.com/zixun/aggregation/16333.html">90年代及之前,氣象資料大部分局限於地面及高空觀測。 當時,2000多個地面站以小時為單位收集氣象資訊;120多個高空站每天觀測最多不超過4次。 從資料量上看不算太多,即便考慮到衛星和雷達資料,其總體日增量也局限在GB量級。
現在,地面觀測站大約有4萬個,每10分鐘觀測一次,未來還將加密至分鐘級;在空間密度上,至少增加20倍,頻度將增加60倍,地面及高空觀測資訊總量增加了1200倍。
而這些只占整個氣象資料的30%,雷達、衛星以及數值預報資料占到了70%.目前,每年的氣象資料已接近PB量級(1000GB=1TB,1000TB=1PB)。
這也正是大資料規律的體現,即對大資料進行相對簡單的運算永遠比對小資料進行複雜運算得出的結果準確。 觀測資訊量越大,所蘊藏的真實資訊越多,就更能做好預報。
國家氣象資訊中心副總工沈文海總結氣象部門大資料特徵:從某種程度上說,氣象部門一直在運用大資料方法,例如,氣候因數「正相關」「遙相關」以及一些統計學方法。
業界定義的「大資料」特點除了大容量、多種類型、高速增長,還有價值稀缺,即在龐大的資料中找出所需要的有價值資料如同大海撈針,需要通過相應的數學模型進行計算。 反觀氣象行業,儘管資料量逐步變大,但每個資料都有特定的價值,因此氣象行業的資料不完全符合業界所定義的「大資料」特徵。
中國科學院院士倪光南分析,到目前為止,「大資料」主要運用物件是社會科學部門,例如政府、公共衛生、社會安全等部門,而運用在自然科學界的案例很少。
氣象服務盤活資料
海量氣象資料怎麼用? 這是大資料時代亟待考慮的問題。 就現有情況看,資料在氣象預報、氣候預測診斷方面運用得比較充分;而在氣象服務領域,大量實況觀測資料往往被擱置。
目前的實況資料氣象服務主要基於單要素單一網站的形式。 這意味著,人們收到的氣象服務只是周邊氣象站點的天氣情況,並且總有延遲。
為此,科研人員正在引進國際先進的空間資料融合數值模式方法,即將周邊幾個網站的資料以及其他感應器所獲得的資料融合進模式中,反演出整個區域的天氣情況。 從試驗結果看,運算速度達到分鐘級,社區域可達到秒級。
「這些工作都是在大資料的基礎上才能夠進行,無論模式如何先進,沒有海量的資料進入,都不能達到很好的效果。 」中國氣象局公共氣象服務中心高級工程師唐千紅說。
讓科研人員欣喜的是,在大資料時代,資料並非單純指人們在互聯網上發佈的資訊。 全世界的工業設備、汽車、電錶上有著無數的數碼感應器,隨時測量和傳遞著有關位置、溫度、濕度乃至空氣中化學物質的變化。 可以設想,這些資訊都可以被氣象部門所用。
大資料時代下的氣象服務是什麼樣子? 唐千紅認為,在看得見的未來,融入了地理資訊、社會經濟資料的氣象服務,能夠讓人們知道任意時間地點可能會發生什麼,例如這陣風是否會吹翻門口的看板,前面一個高速路口是不是在下雨、會不會發生山洪。