標籤:大資料 地理資訊 互連網 nosql 科學研究
科學研究與大資料概念的濫用
Esri 中國 盧萌
突如一夜春風來,千樹萬樹梨花開。2012年興起的“大資料”潮流,讓“data”這個IT圈子裡面的名詞一下風靡各個行業。可以說,沒有任何一個IT界的術語能夠受到如此之大的關注和使用。除了傳統IT界以及和IT圈子相關的行業以外,各種如餐飲業、房地產業、金融業等都迫不及待的宣布了自己的”大資料“戰略。
微軟研究院的《第四範式:資料密集型的科學研究》,將人類的科學研究從實驗型科學研究、理論型科學研究和類比計算型科學研究三個範式的定義之後,推出了第四個範式,即資料密集型的科學研究。
所以,大資料的風潮不可避免的刮進了科學研究領域。
就在這種全民熱炒的時代,還是有一群科技工作者保持著冷靜的。大資料這個名詞雖然是科學研究界最早提出來的,但是真正被推廣和使用的,都是在互連網領域,特別是對於大資料的公認的那些個V不管是最早的3V還是4V,到現在的11V,無一不是與互連網所產生的資料洪流的特性相匹配的,科學研究界真的需要這些嗎?
首先,大資料從概念上講究資料的“快”,這裡的快可以是產生快、傳播快、變化快、處理速度快等。但是在科學研究領域,很多資料的並沒有這麼多快的概念。比如在地理資訊相關的很多領域,如土地利用、土壤變化、行政區劃等資訊中,多年不變,或者變化很少是很常見的現象。
其次,關於維度問題。大資料有一種思想,就是去收集更多的資料,不管這個資料是否目前能夠用得上,是否是我們目前所關注的資訊,只要有可能,就去收集,不怕全不怕多,就怕沒有(很多時候,很多公司和研究者,都進入一種為了資料而資料的走火入魔的狀態)。特別是NoSQL這種資料思想的流行,讓很多研究者高呼“媽媽再也不用擔心我的資料存放區範式了……”。但是,我們知道
在科學領域,首先要定義的就是你的科學研究目標,目標必須要界定清晰,那麼你的資料結構一開始就要設計得符合你的研究目標,這樣才能有目的性的開展工作,如果不預先進行詳細界定和設計,在研究的過程中就會導致目標的弱化以至於迷失。
還有關於資料價值的問題。互連網的資料可用“得來全不費工夫”來形容,特別是我們常用來舉例的推特、Google、臉書這樣的互連網行業。但是科學研究的每一份資料都得來不易,無論是從實驗中擷取,還是實地考察採樣,每一份資料後面都可能有極其高昂的人力和時間成本。
擷取更多的資料,是一個理想的狀態,但是如果每一份資料都有很大的成本,要想在科學研究領域達到互連網領域那種資料量,是一個幾乎無法完成的任務。
當然,《大資料時代》的思想來看,大資料的大並不是單純的數量龐大的概念,還包含有完整性分析的概念。
在科研領域,擷取完全的資料,進行分析也是一個理想狀態。就從地理資訊領域來看,採樣點以點方式存在,根據地理資訊要素的概念,點要素只有(X,Y)的性質,只表示位置,不能表示大小,所以不管怎麼進行採集,也無法鋪滿整個研究地區。所以各種以樣本來估算整體的演算法,在地理資訊領域才如此重要,包括空間抽樣、地統計分析等。
大資料是一種思想,但是在使用的過程中不能犯教條主義,不是資料量才加大資料,也不是符合各種V才叫大資料,我們需要在真正理解的情況下,去應用。正如小平同志說的:黑貓白貓,抓住老鼠,才是好貓!
科學研究與大資料概念的濫用