大資料與資料採礦的相對絕對關係

來源:互聯網
上載者:User

洩密者愛德華·斯諾登(Edward Snowden)還在尋求容身之所的時候,美國HTTP://www.aliyun.com/zixun/aggregation/1727.html"> 國家安全局(NSA)全方位收集電話和電子郵件記錄之事經過他的披露,已經引發了不安和憤怒。

奧巴馬當局聲稱,監聽資料帶來了安全,然而左翼和右翼都在譴責這種窺探行為是對隱私的侵犯。

資料不是資訊,而是有待理解的原材料。 但有一件事是確定無疑的:當NSA為了從其海量資料中「挖掘」出資訊,耗資數十億改善新手段時,它正受益于陡然降落的電腦存儲和處理價格。

麻省理工學院的研究者約翰·古塔格(John Guttag)和柯林·斯塔爾茲(Collin Stultz)創建了一個電腦模型來分析之心臟病病患丟棄的心電圖資料。 他們利用資料採礦和機器學習在海量的資料中篩選,發現心電圖中出現三類異常者一 年內死于第二次心臟病發作的機率比未出現者高一至二倍。 這種新方法能夠識別出更多的,無法通過現有的風險篩查被探查出的高危病人。

資料採礦這一術語含義廣泛,指代一些通常由軟體實現的機制,目的是從巨量資料中提取出資訊。 資料採礦往往又被稱作演算法。

威斯康星探索學院主任大衛·克拉考爾(David Krakauer)說,資料量的增長——以及提取資訊的能力的提高——也在影響著科學。 「電腦的處理能力和存儲空間在呈指數增長,成本卻在指數級下降。 從這個意義上來講,很多科學研究如今也遵循摩爾定律。 」

在 2005年,一塊1TB的硬碟價格大約為1,000美元,「但是現在一枚不到100美元的U盤就有那麼大的容量。 」研究智慧演化的克拉考爾說。 現下關于大 資料和資料採礦的討論「之所以發生是因為我們正處於驚天動地的變革當中,而且我們正以前所未有的方式感知它。 」克拉勞爾說。

隨著我們通過電話、信用卡、電子商務、互聯網和電子郵件留下更多的生活痕跡,大資料不斷增長的商業影響也在如下時刻表現出來:

你搜索一條飛往塔斯卡魯薩的航班,然後便看到網站上出現了塔斯卡魯薩的賓館打折資訊

你觀賞的電影採用了以幾十萬G資料為基礎的電腦圖形圖像技術

你光顧的商店在對顧客行為進行資料採礦的基礎上獲取最大化的利潤

用演算法預測人們購票需求,航空公司以不可預知的方式調整價格

智慧手機的應用識別到你的位置,因此你收到附近餐廳的服務資訊

大資料在看著你嗎?

除了安全和商業,大資料和資料採礦在科研領域也正在風起雲湧。 越來越多的設備帶著更加精密的感應器,傳回愈發難以駕馭的資料流程,於是人們需要日益強大的分析能力。 在氣象學、石油勘探和天文學等領域,資料量的井噴式增長對更高層次的分析和洞察提供了支援,甚至提出了要求。

2005年6月至2007年12月海洋表面洋流示意圖。 資料來源:海面高度資料來自美國航空航天局(NASA)的Topex/Poseidon衛星、Jason-1衛星,以及海形圖任務/Jason-2衛星測高儀;重力資料來自NASA/德國航空航太中心的重力恢復及氣候實驗任務 ;表面風壓資料來自NASA的 QuikScat任務;海平面溫度資料來自NASA/日本宇宙航空研究開發機構的先進微波掃描輻射計-地球觀測系統;海冰濃度和速度資料來自被動微波輻射計;溫度和咸度分佈來自船載、系泊式測量儀器, 以及國際Argo海洋觀測系統。

這幅2005年6月至2007年12月海洋表面洋流的示意圖集成了帶有數值模型的衛星資料。 漩渦和窄洋流在海洋中傳送熱量和碳。 海洋環流和氣候評估專案提供了所有深度的洋流,但這裡僅僅使用了表層洋流。 這些示意圖用來測量海洋在全球碳迴圈中的作用,並監測地球系統的不同部分內部及之間的熱量、水和化學交換。

在醫學領域,2003年算是大資料湧現過程中的一個里程碑。 那一年第一例人類基因組完成了測序。 那次突破性的進展之後,數以千計人類、靈長類、老鼠和細菌的 基因組擴充著人們所掌握的資料。 每個基因組上有幾十億個「字母」,計算時出現紕漏的危險,催生了生物資訊學。 這一學科借助軟體、硬體以及複雜演算法之力,支撐著新的科學類型。

精神障礙通常是具體病例具體分析,但是一項對150萬名病人病例的研究表明,相當多的病人患有超過同一種疾病。 芝加哥大學的西爾維奧·康特中心利用資料採礦 理解神經精神障礙的成因以及之間的關係。 「好幾個(研究)團隊都在致力於這個問題的解決。 」中心主任安德列·柴斯基(Andrey Rzhetsky)說,「我們正試圖把它們全部納入模型,統一分析那些資料類型...... 尋找可能的環境因素。 」

圖片來源:Andrey Rzhetsky,芝加哥大學

另 一例生物資訊學的應用來自美國國家癌症研究所。 該所的蘇珊·霍爾貝克(Susan Holbeck)在60種細胞系上測試了5000對美國食品和藥品管理局批准的抗癌藥品。 經過30萬次試驗之後,霍爾貝克說:「我們知道每種細胞系裡面每 一條基因的RNA表達水準。 我們掌握了序列資料、蛋白質資料,以及微觀RNA表達的資料。 我們可以取用所有這些資料進行資料採礦,看一看為什麼一種細胞系 對混合藥劑有良好的反應,而另一種沒有。 我們可以抽取一對觀察結果,開發出合適的靶向藥品,並在臨床測試。 」

(責任編輯:mengyishan)

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.