科學研究與大資料概念的濫用

&HTTP://www.aliyun.com/zixun/aggregation/37954.html">nbsp;       突如一夜春風來,千樹萬樹梨花開。 2012年興起的「大資料」潮流，讓「data」這個IT圈子裡面的名詞一下風靡各個行業。 可以說，沒有任何一個IT界 的術語能夠受到如此之大的關注和使用。 除了傳統IT界以及和IT圈子相關的行業以外，各種如餐飲業、房地產業、金融業等都迫不及待的宣佈了自己的」大資料 「戰略。

微軟研究院的《第四范式：資料密集型的科學研究》，將人類的科學研究從實驗型科學研究、理論型科學研究和類比計算型科學研究三個范式的定義之後，推出了第四個范式，即資料密集型的科學研究。



所以，大資料的風潮不可避免的刮進了科學研究領域。

就在這種全民熱炒的時代，還是有一群科技工作者保持著冷靜的。 大資料這個名詞雖然是科學研究界最早提出來的，但是真正被推廣和使用的，都是在互聯網領域， 特別是對於大資料的公認的那些個V不管是最早的3V還是4V，到現在的11V，無一不是與互聯網所產生的資料洪流的特性相匹配的， 科學研究界真的需要這些 嗎？

        首先，大資料從概念上講究資料的「快」，這裡的快可以是產生快、傳播快、變化快、處理速度快等。 但是在科學研究領域，很多資料的並沒有這麼多快的概念。 比 如在地理資訊相關的很多領域，如土地利用、土壤變化、行政區劃等資訊中，多年不變，或者變化很少是很常見的現象。

        其次，關於維度的問題。 大資料有一種思想，就是去收集更多的資料，不管這個資料是否目前能夠用得上，是否是我們目前所關注的資訊，只要有可能，就去收集， 不怕全不怕多，就怕沒有（很多時候，很多公司和研究者，都進入一種為了資料而資料的走火入魔的狀態）。 特別是NoSQL這種資料思想的流行，讓很多研究者 高呼「媽媽再也不用擔心我的資料存儲范式了......」。 但是，我們知道在科學領域，首先要定義的就是你的科學研究目標，目標必須要界定清晰，那麼你的資料結構一開始就要設計得符合你的研究目標，這樣才能有目的性的開展工作，如果不預先進行詳細界定和設計， 在研究的過程中就會導致目標的弱化以至於迷失。

        還有關于資料價值的問題。 互聯網的資料可用「得來全不費工夫」來形容，特別是我們常用來舉例的推特、谷歌、臉書這樣的互聯網行業。 但是科學研究的每一份數 據都得來不易，無論是從實驗中獲取，還是實地考察採樣，每一份資料後面都可能有極其高昂的人力和時間成本。

        獲取更多的資料，是一個理想的狀態，但是如果每一份資料都有很大的成本，要想在科學研究領域達到互聯網領域那種資料量，是一個幾乎無法完成的任務。

        當然，《大資料時代》的思想來看，大資料的大並不是單純的數量龐大的概念，還包含有完整性分析的概念。

        在科研領域，獲取完全的資料，進行分析也是一個理想狀態。 就從地理資訊領域來看，採樣點以點方式存在，根據地理資訊要素的概念，點要素只有（X,Y）的性 質，只表示位置，不能表示大小，所以不管怎麼進行採集，也無法鋪滿整個研究區域。 所以各種以樣本來估算整體的演算法，在地理資訊領域才如此重要，包括空間抽 樣、地統計分析等。

大資料是一種思想，但是在使用的過程中不能犯教條主義，不是資料量才加大資料，也不是符合各種V才叫大資料，我們需要在真正理解的情況下，去應用。 正如小平同志說的：黑貓白貓，抓住老鼠，才是好貓！

原文連結：HTTP://blog.csdn.net/allenlu2008/article/details/39611789